Snorkel AI x Hugging Face:為企業解鎖基礎模型

釋出於 2023 年 4 月 6 日
在 GitHub 上更新

本文是 Friea Berg 於 2023 年 4 月 6 日最初發表在 Snorkel 部落格上的文章的交叉釋出。

隨著 OpenAI 釋出 GPT-4 以及 Google 首次推出 Bard 的 Beta 版,世界各地的企業都對利用基礎模型的力量感到興奮。隨著這股熱情的增長,人們也意識到大多數公司和組織並沒有準備好正確地利用基礎模型。

基礎模型給企業帶來了一系列獨特的挑戰。它們前所未有的龐大規模使得公司難以自己託管,成本高昂,而將現成的基礎模型用於生產用例可能會導致效能不佳或存在重大的治理和合規風險。

Snorkel AI 彌合了基礎模型與企業實際用例之間的差距,併為像 Pixability 這樣的 AI 創新者取得了令人矚目的成果。我們正在與以其龐大的即用型開源模型庫而聞名的 Hugging Face 合作,為企業開發 AI 應用程式提供更大的靈活性和選擇。

Snorkel Flow 中的基礎模型

Snorkel Flow 開發平臺使使用者能夠為他們的特定用例調整基礎模型。應用程式開發首先檢查所選基礎模型在其資料上的“開箱即用”預測。這些預測成為這些資料點的訓練標籤的初始版本。Snorkel Flow 幫助使用者識別該模型中的錯誤模式,並透過程式化標註高效地糾正它們,這可以包括使用啟發式方法或提示來更新訓練標籤。然後,可以在更新後的標籤上對基礎模型進行微調並再次評估,這個迭代的“檢測和糾正”過程將持續進行,直到調整後的基礎模型質量足夠高可以部署為止。

Hugging Face 透過從單一來源立即提供超過 150,000 個開源模型,幫助實現了這一強大的開發過程。其中許多模型都針對特定領域的資料進行了專門化,例如用於演示如何使用機器學習發現藥物不良事件的 BioBERT 和 SciBERT 模型。一個——或者更好的是,多個——專門的基礎模型可以為使用者在初始預測、改進標籤的提示或微調最終模型進行部署方面提供一個良好的開端。

Hugging Face 有何幫助?

Snorkel AI 與 Hugging Face 的合作極大地增強了 Snorkel Flow 的基礎模型能力。最初,我們只提供了少量基礎模型。每個模型都需要專門的服務,這使得我們為企業提供利用快速增長的各種模型的靈活性變得成本高昂且困難。採用 Hugging Face 的推理端點服務使我們能夠擴大使用者可以利用的基礎模型的數量,同時保持成本可控。

Hugging Face 的服務允許使用者只需點選幾下即可建立模型 API 並立即開始使用。至關重要的是,這項新服務具有“暫停和恢復”功能,使我們能夠在客戶需要時啟用模型 API,在不需要時使其休眠。

“我們驚喜地發現 Hugging Face 推理端點服務的設定是如此直接……所有的配置選項都非常不言自明,但我們也能獲得所需的所有選項,包括在哪個雲上執行、需要什麼樣的安全級別等等。”

– Snorkel 首席技術官兼聯合創始人 Braden Hancock

這對 Snorkel 客戶有何幫助?

很少有企業擁有從頭開始訓練自己的基礎模型的資源。雖然許多企業可能擁有內部專業知識來微調自己的基礎模型版本,但他們可能難以收集完成該任務所需的大量資料。Snorkel 的以資料為中心的平臺用於開發基礎模型,以及與 Hugging Face 等行業領先創新者的合作,有助於將基礎模型的力量交到我們使用者的指尖。

“透過 Snorkel AI 和 Hugging Face 推理端點,公司將以開源為核心,加速其以資料為中心的 AI 應用。機器學習正在成為構建技術的預設方式,而基於開源進行構建,使公司能夠為其用例構建正確的解決方案,並掌控他們為客戶提供的體驗。我們很高興看到 Snorkel AI 能夠利用開源的 Hugging Face 模型和我們的機器學習生產服務——推理端點,為企業實現自動化資料標註。”

Clement Delangue,Hugging Face 聯合創始人兼執行長

結論

Snorkel 和 Hugging Face 攜手合作,使大公司、政府機構和 AI 創新者比以往任何時候都更容易從基礎模型中獲得價值。能夠使用 Hugging Face 全面的基礎模型中心意味著使用者可以選擇最符合其業務需求模型,而無需投入訓練這些模型所需的資源。這一整合是使基礎模型更容易為全球企業所用的重要一步。

如果您對公司的 Hugging Face 推理端點感興趣,請在此聯絡我們 - 我們的團隊將與您聯絡,討論您的需求!

社群

註冊登入 以發表評論

© . This site is unofficial and not affiliated with Hugging Face, Inc.