快速入門 — 在 Amazon Bedrock Marketplace 上使用 Hugging Face 模型

為什麼要將 Bedrock Marketplace 用於 Hugging Face 模型？

Amazon Bedrock 現在透過單個目錄公開 Hugging Face 的開放權重模型，包括 Gemma、Llama 3、Mistral 等。您可以使用與 Titan、Anthropic、Cohere 等相同的 Bedrock API 來呼叫它們。在後臺，Bedrock Marketplace 模型端點由 Amazon SageMaker AI 管理。透過 Bedrock Marketplace，您現在可以將 SageMaker JumpStart 的易用性與 Amazon Bedrock 的完全託管基礎設施相結合，包括與高階 API（如 Agents、Knowledge Bases、Guardrails 和 Model Evaluations）的相容性。

1. 先決條件

	要求
在 Bedrock 區域中的 AWS 賬戶	Marketplace 是區域性的；請先將控制檯切換到 14 個受支援區域之一，例如 `us-east-1`。
許可權	對於快速試用，請附加 `AmazonBedrockFullAccess` 和 `AmazonSageMakerFullAccess`。
服務配額	SageMaker 端點使用 GPU 例項（例如 ml.g5）。請驗證您是否有配額或請求配額。
僅限 JumpStart	如果您選擇路徑 B，請先建立 SageMaker Studio 域和使用者配置檔案（控制檯 ▸ SageMaker ▸ 域）。在繼續之前開啟 Studio。

在 Amazon Bedrock 中註冊 SageMaker Jumpstart 端點時，您只需支付 SageMaker 計算資源的費用，並適用常規 Amazon Bedrock API 價格。

2. 端點部署

有兩種等效路徑可將 Hugging Face 模型與 Amazon Bedrock Marketplace 結合使用。

路徑 A 來自 Bedrock “模型目錄”

控制檯 → Amazon Bedrock → 基礎模型 → 模型目錄
篩選提供商 → “Hugging Face”，然後選擇您的模型（例如 Gemma 2 27B Instruct）
如果您看到“訂閱”，請檢視定價和條款，點選“訂閱”，然後繼續
點選“部署” → 命名端點 → 保留推薦例項 → 接受 EULA → 部署
等待“基礎模型” → “Marketplace 部署”顯示“服務中”狀態（需要幾分鐘）
點選部署名稱並複製 SageMaker 端點 ARN — 您在 API 呼叫中需要它

路徑 B 來自 SageMaker JumpStart，用於顯示“與 Bedrock 配合使用”的模型

在 SageMaker Studio 中，開啟 JumpStart
篩選 Bedrock Ready 模型 → 選擇模型卡（例如 Gemma 2 9B Instruct）
點選“部署”，接受 EULA，保留預設設定，部署
Studio → 部署 → 端點 → 等待狀態“服務中”
點選端點，選擇“與 Bedrock 配合使用”
在 Bedrock 控制檯中，稽核並註冊 → 在“Marketplace 部署”下出現一個新條目
開啟該條目並複製 SageMaker 端點 ARN 以供程式碼示例使用

3. 互動式測試

若要在控制檯中互動式測試模型，請在 Marketplace 部署下選擇模型，在 playground 中開啟它，並在聊天/文字模式下發送提示以驗證模型的響應。

或者，您可以以程式設計方式訪問您的端點。

import boto3

bedrock = boto3.client("bedrock-runtime")

# Paste the endpoint ARN you copied above
endpoint_arn = "arn:aws:sagemaker:<region>:<account‑id>:endpoint/<name>"

inference_cfg = {"maxTokens": 256, "temperature": 0.1, "topP": 0.95}
extra = {"parameters": {"repetition_penalty": 1.05}}

response = bedrock.converse(
    modelId=endpoint_arn,                  # <- SageMaker endpoint ARN
    messages=[{
        "role": "user",
        "content": [{"text": "Give me three taglines for a serverless AI startup"}]
    }],
    inferenceConfig=inference_cfg,
    additionalModelRequestFields=extra,
)

print(response["output"]["message"]["content"][0]["text"])

請注意：相同的 `modelId=endpoint_arn` 適用於 InvokeModel、知識庫 (RetrieveAndGenerate)、代理和 Guardrails——無需更改程式碼。

4. 清理（停止收費）

資源	如何刪除
SageMaker 端點	控制檯 → Marketplace 部署 → 選擇 → 刪除（也會取消註冊） • 或者 `boto3.client("sagemaker").delete_endpoint(...)`
可選附加項	如果您建立了知識庫、護欄或 S3 向量，請刪除它們。

更多資訊，請參考Bedrock 文件。