部署於 AWS 文件
Hugging Face 在 AWS 上
並獲得增強的文件體驗
開始使用
AWS 上的 Hugging Face
Hugging Face 與 Amazon Web Services (AWS) 建立合作夥伴關係，旨在實現人工智慧 (AI) 平民化，讓開發人員能夠使用 AWS 強大的雲端基礎設施，流暢地建構、訓練並部署最先進的機器學習模型。
此合作旨在讓開發人員能夠存取 Hugging Face Hub 中日益增加的預訓練模型和資料集目錄，並在各種 AWS 服務與硬體平台上使用 Hugging Face 的開源函式庫。
我們致力於打造全新的開發體驗，讓開發人員無論是使用 Amazon SageMaker AI 和 AWS Bedrock 等 AWS AI 平台，還是使用 Elastic Container Service (ECS)、Elastic Kubernetes Service (EKS) 以及 Amazon Elastic Compute Cloud (EC2) 虛擬伺服器等 AWS 運算服務，都能流暢地訓練與部署 Hugging Face 模型。
我們開發了新的工具來簡化 AWS Inferentia 和 AWS Trainium 等客製化 AI 加速器的採用，旨在提升機器學習工作負載的效能與成本效益。
透過結合 Hugging Face 的開源模型與函式庫以及 AWS 可擴展且安全的雲端服務，開發人員可以更輕鬆、更實惠地將先進的 AI 功能整合至其應用程式中。
[!警告][SageMaker Python SDK v3 最近已發布](https://github.com/aws/sagemaker-python-sdk)，因此除非另有說明，所有文件和教學仍使用 SageMaker Python SDK v2。我們正在積極更新所有教學和範例，但在此期間，請務必按照以下方式安裝 SageMaker SDK：
pip install "sagemaker<3.0.0"。
在 AWS 上部署模型
在 AWS 上部署 Hugging Face 模型已透過多種服務進行簡化，每種服務皆適用於不同的部署場景。以下介紹如何使用 AWS 和 Hugging Face 產品來部署您的模型。
您可以使用以下服務在 AWS 上部署任何 Hugging Face 模型：
使用 Sagemaker SDK 部署
Amazon SageMaker 是一項全託管式 AWS 服務，用於大規模建構、訓練與部署機器學習模型。SageMaker SDK 簡化了以程式設計方式與 SageMaker 互動的過程。Amazon SageMaker SDK 提供專為 Hugging Face 模型設計的無縫整合，簡化了託管端點的部署流程。透過此整合，您可以快速將預訓練的 Hugging Face 模型或您自己微調的模型直接部署至 SageMaker 託管的端點，顯著減少設定複雜度並縮短產品上市時間。
使用 Sagemaker Jumpstart 部署
Amazon SageMaker JumpStart 是一個精選的模型目錄，您只需點擊幾下即可部署模型。我們在目錄中維護了一個 Hugging Face 專區，讓您能夠在 VPC 中以高效能的預設配置自行託管最熱門的開放模型，這些模型底層由 Hugging Face 深度學習容器 (DLC) 提供支援。
使用 AWS Bedrock 部署
Amazon Bedrock 使開發人員能夠透過單一 API 輕鬆建構並擴展生成式 AI 應用程式。透過 Bedrock Marketplace，您現在可以將 SageMaker JumpStart 的易用性與 Amazon Bedrock 的全託管基礎設施結合，並支援諸如代理程式 (Agents)、知識庫 (Knowledge Bases)、防護機制 (Guardrails) 和模型評估 (Model Evaluations) 等高階 API。
使用 Hugging Face Inference Endpoints 部署
Hugging Face Inference Endpoints 讓您能夠部署由 Hugging Face 直接託管的模型，這些模型皆經過全面管理並針對效能進行了最佳化。這是快速部署和進行可擴展推論工作負載的理想選擇。
Hugging Face Inference Endpoints 快速入門.
使用 ECS、EKS 和 EC2 部署
Hugging Face 為 AWS 使用者提供推論深度學習容器 (Inference Deep Learning Containers, DLCs)，這是預先配置了用於推論之 Hugging Face 函式庫的最佳化環境，並已原生整合於 SageMaker SDK 和 JumpStart 中。然而，這些 Hugging Face DLCs 也可用於其他 AWS 服務，如 ECS、EKS 和 EC2。
AWS Elastic Container Service (ECS)、Elastic Kubernetes Service (EKS) 和 Elastic Compute Cloud (EC2) 讓您可以直接使用 DLCs。
在 AWS 上訓練模型
在 AWS 上訓練 Hugging Face 模型已透過多種服務進行簡化。以下介紹如何使用 AWS 和 Hugging Face 產品來微調您的模型。
您可以使用以下服務在 AWS 上微調任何 Hugging Face 模型：
使用 Sagemaker SDK 訓練
Amazon SageMaker 是一項全託管式 AWS 服務，用於大規模建構、訓練與部署機器學習模型。SageMaker SDK 簡化了以程式設計方式與 SageMaker 互動的過程。Amazon SageMaker SDK 提供專為 Hugging Face 模型設計的無縫整合，簡化了訓練作業的管理。透過此整合，您可以快速建立自己微調的模型，顯著減少設定複雜度並縮短產品上市時間。
使用 ECS、EKS 和 EC2 訓練
Hugging Face 為 AWS 使用者提供訓練深度學習容器 (Training Deep Learning Containers, DLCs)，這是預先配置了用於訓練之 Hugging Face 函式庫的最佳化環境，並已原生整合於 SageMaker SDK 中。然而，這些 Hugging Face DLCs 也可用於其他 AWS 服務，如 ECS、EKS 和 EC2。
AWS Elastic Container Service (ECS)、Elastic Kubernetes Service (EKS) 和 Elastic Compute Cloud (EC2) 讓您可以直接使用 DLCs。
在 GitHub 上更新