Hugging Face 和 IBM 在 watsonx.ai 上合作,watsonx.ai 是面向 AI 構建者的下一代企業級工作室

拋開一切炒作不談,人工智慧對社會和企業產生的深遠影響是不可否認的。從初創公司到企業再到公共部門,我們交談過的每一位客戶都在忙於嘗試大型語言模型和生成式人工智慧,確定最有前景的用例,並逐步將其投入生產。
我們從客戶那裡得到的首要反饋是,沒有一個模型能包打天下。他們明白,為每個用例構建最佳模型,以最大限度地提高其在公司資料上的相關性,同時最佳化計算預算的價值。當然,隱私和智慧財產權也是首要關注點,客戶希望確保他們保持完全控制。
隨著人工智慧進入每個部門和業務單元,客戶也意識到需要訓練和部署許多不同的模型。在一個大型跨國組織中,這可能意味著隨時執行數百甚至數千個模型。鑑於人工智慧創新的速度,更新、更高效能的模型架構也將導致客戶比預期更快地更換他們的模型,這進一步強化了快速無縫地訓練和部署新模型到生產環境的需求。
所有這些都只有透過標準化和自動化才能實現。組織無法為新專案從頭開始構建模型、工具和基礎設施。幸運的是,過去幾年出現了一些非常積極的發展。
- 模型標準化:Transformer 架構現已成為深度學習應用(如自然語言處理、計算機視覺、音訊、語音等)的事實標準。現在,構建在許多用例中表現良好的工具和工作流變得更加容易。
- 預訓練模型:數十萬預訓練模型只需點選即可獲取。您可以在 Hugging Face 上直接發現和測試它們,並快速篩選出對您的專案有前景的模型。
- 開源庫:Hugging Face 庫讓您只需一行程式碼即可下載預訓練模型,並且您可以在幾分鐘內開始使用您自己的資料進行實驗。從訓練到部署再到硬體最佳化,客戶可以依賴一套一致的社群驅動工具,這些工具在任何地方都以相同的方式工作,從他們的筆記型電腦到他們的生產環境。
此外,我們的雲合作伙伴讓客戶可以大規模使用 Hugging Face 模型和庫,而無需擔心基礎設施的配置和技術環境的構建。這使得以快速的速度推出高質量模型變得更加容易,而無需重複造輪子。
繼我們與 AWS 在 Amazon SageMaker 和與 Microsoft 在 Azure Machine Learning 上的合作之後,我們很高興與 IBM 在他們的新 AI 工作室 watsonx.ai 上進行合作。watsonx.ai 是面向 AI 構建者的下一代企業級工作室,用於訓練、驗證、調整和部署傳統的機器學習和新的生成式 AI 功能,並由基礎模型提供支援。
IBM 決定開源應該是 watsonx.ai 的核心。我們完全同意!watsonx.ai 基於 RedHat OpenShift 構建,將以雲端和本地部署的形式提供。這對於那些由於嚴格的合規性規定而無法使用雲,或者更喜歡在自己的基礎設施上處理機密資料的客戶來說,是一個好訊息。在此之前,這些客戶通常不得不構建自己的內部機器學習平臺。現在,他們擁有了一個可以使用標準 DevOps 工具部署和管理的開源現成替代方案。
在底層,watsonx.ai 還集成了許多 Hugging Face 的開源庫,例如 transformers(10萬+ GitHub 星標!)、accelerate、peft 以及我們的 Text Generation Inference 伺服器等等。我們很高興與 IBM 合作,並在 watsonx AI 和資料平臺上進行協作,以便 Hugging Face 的客戶可以原生使用他們的 Hugging Face 模型和資料集,從而在企業中倍增 AI 的影響力。
此外,IBM 還開發了自己的大型語言模型集合,我們將與他們的團隊合作,將其開源並使其在 Hugging Face Hub 中易於獲取。
要了解更多資訊,請觀看 IBM 研究院高階副總裁兼院長 Darío Gil 博士和我們的執行長 Clem Delangue 在 IBM THINK 2023 主題演講中宣佈我們的合作,演示 watsonx 平臺,並介紹 IBM 的大型語言模型套件。
我們的聯合團隊目前正在努力工作。我們迫不及待地想向您展示我們取得的成就!最具標誌性的科技公司與一家新興初創公司攜手合作,共同應對企業人工智慧領域……誰能想到呢?
激動人心的時代。敬請期待!