在 AWS 上部署的文件
Hugging Face on AWS
並獲得增強的文件體驗
開始使用
Hugging Face on AWS
Hugging Face 與亞馬遜網路服務 (AWS) 合作，共同致力於人工智慧 (AI) 的民主化，讓開發者能夠利用 AWS 強大的雲基礎設施，無縫地構建、訓練和部署最先進的機器學習模型。
此次合作旨在讓開發者能夠訪問 Hugging Face Hub 上日益增長的預訓練模型和資料集目錄，並在廣泛的 AWS 服務和硬體平臺上使用 Hugging Face 的開源庫。
我們為開發者打造了全新的體驗，無論他們使用 Amazon SageMaker AI 和 AWS Bedrock 等 AWS AI 平臺，還是使用彈性容器服務 (ECS)、彈性 Kubernetes 服務 (EKS) 和 Amazon 彈性計算雲 (EC2) 上的虛擬伺服器等 AWS 計算服務，都能夠無縫地訓練和部署 Hugging Face 模型。
我們開發了新工具來簡化對 AWS Inferentia 和 AWS Trainium 等定製 AI 加速器的採用，這些加速器旨在提高機器學習工作負載的效能和成本效益。
透過將 Hugging Face 的開源模型和庫與 AWS 的可擴充套件且安全的雲服務相結合，開發者可以更輕鬆、更經濟地將先進的 AI 功能整合到他們的應用程式中。
在 AWS 上部署模型
透過各種服務，在 AWS 上部署 Hugging Face 模型變得非常簡單，每種服務都適用於不同的部署場景。以下是您如何使用 AWS 和 Hugging Face 的產品來部署模型。
您可以在 AWS 上透過以下方式部署任何 Hugging Face 模型：
- Amazon Sagemaker SDK
- Amazon Sagemaker Jumpstart
- AWS Bedrock
- Hugging Face Inference Endpoints
- ECS、EKS 和 EC2
使用 Sagemaker SDK 部署
Amazon SageMaker 是一項完全託管的 AWS 服務，用於大規模構建、訓練和部署機器學習模型。SageMaker SDK 簡化了以程式設計方式與 SageMaker 的互動。Amazon SageMaker SDK 提供了專為 Hugging Face 模型設計的無縫整合，簡化了託管端點的部署過程。透過此整合，您可以快速將預訓練的 Hugging Face 模型或您自己微調的模型直接部署到 SageMaker 託管的端點上，顯著降低了設定複雜性和投產時間。
使用 Sagemaker Jumpstart 部署
Amazon SageMaker JumpStart 是一個精選的模型目錄，您只需點選幾下即可部署模型。我們在該目錄中維護了一個 Hugging Face 專區，讓您可以在您的 VPC 中，透過效能最佳化的預設配置，自託管最著名的開源模型，其底層由Hugging Face 深度學習容器 (DLC) 提供支援。
使用 AWS Bedrock 部署
Amazon Bedrock 使開發者能夠透過單一 API 輕鬆構建和擴充套件生成式 AI 應用程式。藉助 Bedrock Marketplace，您現在可以將 SageMaker JumpStart 的易用性與 Amazon Bedrock 的完全託管基礎設施相結合，包括與 Agents、Knowledge Bases、Guardrails 和 Model Evaluations 等高階 API 的相容性。
使用 Hugging Face Inference Endpoints 部署
Hugging Face Inference Endpoints 允許您部署由 Hugging Face 直接託管的模型，這些模型完全託管併為效能進行了最佳化。它非常適合快速部署和可擴充套件的推理工作負載。
Hugging Face Inference Endpoints 快速入門.
使用 ECS、EKS 和 EC2 部署
Hugging Face 向 AWS 使用者提供推理深度學習容器 (DLC)，這些容器是預配置了 Hugging Face 推理庫的最佳化環境，並原生整合在 SageMaker SDK 和 JumpStart 中。然而，HF DLC 也可以在 ECS、EKS 和 EC2 等其他 AWS 服務中使用。
AWS 彈性容器服務 (ECS)、彈性 Kubernetes 服務 (EKS) 和彈性計算雲 (EC2) 允許您直接利用 DLC。
在 AWS 上訓練模型
透過各種服務，在 AWS 上訓練 Hugging Face 模型變得非常簡單。以下是您如何使用 AWS 和 Hugging Face 的產品來微調模型。
您可以在 AWS 上透過以下方式微調任何 Hugging Face 模型：
使用 Sagemaker SDK 訓練
Amazon SageMaker 是一項完全託管的 AWS 服務，用於大規模構建、訓練和部署機器學習模型。SageMaker SDK 簡化了以程式設計方式與 SageMaker 的互動。Amazon SageMaker SDK 提供了專為 Hugging Face 模型設計的無縫整合，簡化了訓練作業的管理。透過此整合，您可以快速建立自己微調的模型，顯著降低了設定複雜性和投產時間。
使用 ECS、EKS 和 EC2 訓練
Hugging Face 向 AWS 使用者提供訓練深度學習容器 (DLC)，這些容器是預配置了 Hugging Face 訓練庫的最佳化環境，並原生整合在 SageMaker SDK 中。然而，HF DLC 也可以在 ECS、EKS 和 EC2 等其他 AWS 服務中使用。
AWS 彈性容器服務 (ECS)、彈性 Kubernetes 服務 (EKS) 和彈性計算雲 (EC2) 允許您直接利用 DLC。
< > 在 GitHub 上更新