🌸 隆重推出全球最大的開放式多語言語言模型：BLOOM 🌸

大型語言模型 (LLM) 對人工智慧研究產生了重大影響。這些功能強大、通用的模型能夠根據使用者的指令處理各種新的語言任務。然而，學術界、非營利組織和小型公司的研究實驗室發現建立、研究甚至使用 LLM 困難重重，因為只有少數擁有必要資源和獨家權利的工業實驗室才能完全訪問它們。今天，我們釋出了 BLOOM，這是第一個以完全透明的方式訓練的多語言 LLM，旨在改變這種現狀——這是人工智慧研究人員有史以來參與單個研究專案最大規模合作的成果。

BLOOM 擁有 1760 億個引數，能夠生成 46 種自然語言和 13 種程式語言的文字。對於幾乎所有這些語言，例如西班牙語、法語和阿拉伯語，BLOOM 將是第一個擁有超過 1000 億個引數的語言模型。這是一年工作的結晶，涉及來自 70 多個國家和 250 多個機構的 1000 多名研究人員，最終在法國巴黎南部的 Jean Zay 超級計算機上進行了 117 天（3 月 11 日至 7 月 6 日）的 BLOOM 模型訓練，這得益於法國研究機構 CNRS 和 GENCI 提供的約 300 萬歐元的計算資助。

研究人員現在可以 下載、執行和研究 BLOOM，以深入探究近期開發的大型語言模型的效能和行為，直至其最深層的內部操作。更普遍的是，任何同意模型負責任 AI 許可證（在 BigScience 專案本身開發）條款的個人或機構都可以在本地機器或雲提供商上使用和構建該模型。本著合作和持續改進的精神，我們還首次釋出了訓練的中間檢查點和最佳化器狀態。沒有 8 塊 A100 可以使用？由 Google TPU 雲和 FLAX 版模型支援的推理 API 也允許快速測試、原型設計和低規模使用。您已經可以在 Hugging Face Hub 上試用它了。

這僅僅是個開始。BLOOM 的能力將隨著工作坊對模型的持續實驗和調整而不斷提升。我們已經開始努力使其像我們早期的 T0++ 一樣可指令化，並計劃新增更多語言，將模型壓縮成效能相同但更易用的版本，並將其作為更復雜架構的起點……研究人員和實踐者一直想進行的所有實驗，現在都可以利用 1000 億引數以上模型的強大功能來實現。BLOOM 是一個活生生模型家族的種子，我們打算讓它成長壯大，而不僅僅是一個一次性模型，我們已準備好支援社群擴充套件它的努力。