Hugging Face 與 AMD 合作，加速 CPU 和 GPU 平臺上的最先進模型
無論是語言模型、大型語言模型還是基礎模型，Transformer 模型在預訓練、微調和推理方面都需要大量的計算。為了幫助開發者和組織充分利用其基礎設施的效能，Hugging Face 長期以來一直與硬體公司合作，以利用其各自晶片中存在的加速功能。
今天，我們很高興地宣佈 AMD 已正式加入我們的 硬體合作伙伴計劃。我們的執行長 Clement Delangue 在 AMD 於舊金山舉行的 資料中心和 AI 技術首映會 上發表了主題演講，啟動了這一激動人心的新合作。
AMD 和 Hugging Face 攜手合作，在 AMD CPU 和 GPU 上提供最先進的 Transformer 效能。對於廣大的 Hugging Face 社群來說，這項合作是一個極好的訊息，他們很快將受益於最新的 AMD 平臺進行訓練和推理。
多年來，深度學習硬體的選擇一直有限，而價格和供應日益成為人們關注的問題。這項新合作不僅能與競爭對手匹敵，還有助於緩解市場動態：它還將設定新的成本效能標準。
支援的硬體平臺
在 GPU 方面，AMD 和 Hugging Face 將首先在企業級 Instinct MI2xx 和 MI3xx 系列上進行合作，然後是客戶級 Radeon Navi3x 系列。在初步測試中，AMD 最近報告 MI250 訓練 BERT-Large 比其直接競爭對手快 1.2 倍，訓練 GPT2-Large 快 1.4 倍。
在 CPU 方面，兩家公司將致力於最佳化客戶端 Ryzen 和伺服器 EPYC CPU 的推理效能。正如之前幾篇文章所討論的，CPU 對於 Transformer 推理來說是一個極好的選擇，尤其是在使用量化等模型壓縮技術時。
最後，此次合作還將包括 Alveo V70 AI 加速器，該加速器能夠以更低的功耗提供令人難以置信的效能。
支援的模型架構和框架
我們打算支援用於自然語言處理、計算機視覺和語音的最先進的 Transformer 架構，例如 BERT、DistilBERT、ROBERTA、Vision Transformer、CLIP 和 Wav2Vec2。當然，生成式 AI 模型也將可用（例如 GPT2、GPT-NeoX、T5、OPT、LLaMA），包括我們自己的 BLOOM 和 StarCoder 模型。最後，我們還將支援更傳統的計算機視覺模型，如 ResNet 和 ResNext，以及深度學習推薦模型，這對於我們來說是第一次。
我們將盡最大努力在上述平臺上測試和驗證這些模型，適用於 PyTorch、TensorFlow 和 ONNX Runtime。請記住，並非所有模型都適用於所有框架或所有硬體平臺的訓練和推理。
未來展望
我們最初的重點將是確保對我們社群最重要的模型在 AMD 平臺上開箱即用。我們將與 AMD 工程團隊密切合作，最佳化關鍵模型，以便利用最新的 AMD 硬體和軟體功能提供最佳效能。我們將把 AMD ROCm SDK 無縫整合到我們的開源庫中，從 transformers 庫開始。
在此過程中，我們無疑將發現進一步最佳化訓練和推理的機會，我們將與 AMD 密切合作，找出透過此次合作在何處進行最佳投資。我們預計這項工作將導致一個專門用於 AMD 平臺的新 Optimum 庫，以幫助 Hugging Face 使用者以最少的程式碼更改（如果有的話）來利用它們。
結論
我們很高興能與 AMD 這樣的世界級硬體公司合作。開源意味著可以自由地構建各種軟體和硬體解決方案。得益於此次合作，Hugging Face 使用者很快將擁有新的硬體平臺，用於訓練和推理，並享有出色的成本效能優勢。在此期間，歡迎訪問 Hugging Face 中心上的 AMD 頁面。敬請期待！
本帖 100% 未使用 ChatGPT。
