在 Kubernetes 上執行 HUGS

HUGS (Hugging Face Generative AI Services) 可以部署在 Kubernetes 上，以實現可擴充套件和可管理的 AI 模型推理。本指南將引導您完成在 Kubernetes 叢集上部署 HUGS 的過程。

要求

• 一個 Kubernetes 叢集 (版本 1.23 或更高)
• Helm v3 或更高版本

HUGS Helm Chart

要將 HUGS Chart 安裝到您的 Kubernetes 叢集，請按照以下步驟操作

驗證工具設定和叢集訪問

# Check if helm is installed
helm version
# Make sure `kubectl` is configured correctly and you can access the cluster
kubectl get pods

獲取 Helm Chart

新增 HUGS Helm 倉庫並更新

helm repo add hugs https://raw.githubusercontent.com/huggingface/hugs-helm-chart/main/charts/hugs
helm repo update hugs

獲取預設的 values.yaml 配置檔案

helm show values hugs/hugs > values.yaml

修改 values.yaml

編輯 values.yaml 檔案以自定義 Helm Chart 以適應您的環境。以下是一些您可能需要修改的關鍵部分

模型選擇

選擇您想要部署的 HUGS 模型。例如，要部署 Gemma 2 9B Instruct 模型

image:
  repository: hfhugs
  name: nvidia-google-gemma-2-9b-it
  tag: latest

[!NOTE] 容器 URI 可能會因您使用的發行版和模型而異。

資源限制

根據叢集的能力和模型的要求調整資源限制。例如

resources:
  limits:
    nvidia.com/gpu: 1
  requests:
    nvidia.com/gpu: 1

部署 (安裝 Helm Chart)

部署 HUGS Helm Chart

# Create a HUGS namespace
kubectl create namespace hugs

# Deploy
helm upgrade --install \
  "hugs" \
  hugs/hugs \
  --namespace "hugs" \
  --values ./values.yaml

執行推理

部署 HUGS 後，您可以使用提供的 API 執行推理。有關詳細說明，請參閱推理指南。

問題排查

如果您在 Kubernetes 上部署 HUGS 時遇到問題，請考慮以下幾點

1. 檢查 pod 狀態：kubectl get pods -n hugs
2. 檢視 pod 日誌：kubectl logs <pod-name> -n hugs
3. 確保您的叢集有足夠的資源來支援所選模型
4. 如果使用 GPU 加速，請驗證您的節點上是否安裝了正確的 NVIDIA 驅動程式和 CUDA 版本

有關更具體的故障排除步驟，請查閱 HUGS 文件或社群論壇。

更新和升級

要在初始設定後更新您的 HUGS 部署，請修改您的 values.yaml 檔案並再次執行 helm upgrade 命令

helm upgrade hugs hugs/hugs --namespace hugs --values ./values.yaml

在遷移到新版本的 HUGS 時，請務必檢查發行說明中是否有任何重大更改或特定的升級說明。

透過遵循本指南，您應該能夠成功地在您的 Kubernetes 叢集上部署 HUGS，並開始使用您選擇的 AI 模型執行推理。