簡介

Hugging Face 為 Amazon Web Services 客戶構建了深度學習容器 (DLC)，以便他們在最佳化的環境中執行任何機器學習工作負載，無需進行配置或維護。這些 Docker 映象預裝了深度學習框架和庫，例如 🤗 Transformers、🤗 Datasets 和 🤗 Tokenizers。DLC 允許您直接提供和訓練任何模型，從而跳過從頭開始構建和最佳化服務和訓練環境的複雜過程。

這些容器由 Hugging Face 和 AWS 團隊公開維護、更新和定期釋出，所有 AWS 客戶都可以在 AWS 的彈性容器登錄檔中獲取它們。它們可以用於任何 AWS 服務，例如：

• Amazon SageMaker AI：Amazon SageMaker AI 是一個完全託管的機器學習 (ML) 平臺，供資料科學家和開發人員快速、自信地構建、訓練和部署 ML 模型到生產就緒的託管環境。
• Amazon Bedrock：Amazon Bedrock 是一項完全託管的服務，它透過統一的 API 提供來自領先 AI 公司和 Amazon 的高效能基礎模型 (FM)，供您構建生成式 AI 應用程式。
• Amazon Elastic Kubernetes Service (EKS)：Amazon EKS 是在 AWS 雲中執行 Kubernetes 叢集的頂級平臺。
• Amazon Elastic Container Service (ECS)：Amazon ECS 是一項完全託管的容器編排服務，可幫助您輕鬆部署、管理和擴充套件容器化應用程式。
• Amazon Elastic Compute Cloud (EC2)：Amazon EC2 在 Amazon Web Services (AWS) 雲中提供按需、可擴充套件的計算容量。

Hugging Face DLCs 是開源的，並根據 Apache 2.0 許可。如果您有任何問題，請隨時在我們的社群論壇上聯絡我們。

功能與優勢

Hugging Face DLC 提供了即用型、經過測試的環境，用於訓練和部署 Hugging Face 模型。

只需一條命令

透過新的 Hugging Face DLC，您可以透過一行程式碼訓練和部署最先進的基於 Transformer 的 NLP 模型。用於訓練的 Hugging Face PyTorch DLC 預裝了所有必要的庫，可以透過一條命令（例如透過 TRL CLI）在任何設定下（無論是單 GPU、單節點多 GPU 還是其他）對 LLM 進行微調。

加速機器學習，從科學到生產

除了 Hugging Face DLC，我們還為推理建立了一個一流的 Hugging Face 庫，即 sagemaker-huggingface-inference-toolkit，該庫隨 Hugging Face PyTorch DLC 一起提供用於推理，全面支援在 AWS 上提供任何 PyTorch 模型。

只需再一行程式碼即可部署訓練好的模型進行推理，或者從不斷增長的公共可用模型 Hub 中選擇任何模型。

高效能文字生成和嵌入

除了面向 PyTorch 的 DLC，Hugging Face 還透過分別用於文字生成推理 (TGI) 和文字嵌入推理 (TEI) 的 Hugging Face DLC 提供高效能推理，用於文字生成和嵌入模型。

用於 TGI 的 Hugging Face DLC 使您能夠部署 Hugging Face Hub 中支援的 225,000 多個文字生成推理模型中的任何一個，或任何自定義模型，只要其架構在 TGI 中受支援即可。

用於 TEI 的 Hugging Face DLC 使您能夠部署 Hugging Face Hub 中支援的 12,000 多個嵌入、重排序或序列分類模型中的任何一個，或任何自定義模型，只要其架構在 TEI 中受支援即可。

此外，這些 DLC 完全支援 AWS，這意味著從 Amazon Simple Storage Service (S3) 部署模型也非常簡單，無需任何配置。

內建效能

Hugging Face DLC 具有針對 PyTorch 的內建效能最佳化功能，可更快地訓練模型。DLC 還使您可以靈活地選擇最適合您的工作負載價格/效能比的訓練基礎設施。

Hugging Face 推理 DLC 為您提供可與您的 AWS 環境快速擴充套件的生產就緒端點、內建監控以及大量企業級功能。

< > 在 GitHub 上更新