text-generation-inference 文件
張量並行
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
張量並行
張量並行是一種用於在多個 GPU 中擬合大型模型的技術。例如，當輸入張量與第一個權重張量相乘時，矩陣乘法等效於按列拆分權重張量，將每列與輸入單獨相乘，然後連線單獨的輸出。然後將這些輸出從 GPU 傳輸並連線在一起以獲得最終結果，如下所示 👇
您可以從 `transformers` 文件中瞭解有關張量並行的更多詳細資訊。
< > 在 GitHub 上更新