Hugging Face 生成式人工智慧服務 (HUGS)

為開放 AI 模型提供的最佳化、零配置的推理微服務

Hugging Face 生成式人工智慧服務 (HUGS) 是一種經過最佳化、零配置的推理微服務，旨在簡化和加速使用開放模型進行 AI 應用的開發。HUGS 基於 Hugging Face 的開源技術（如 Text Generation Inference 或 Transformers）構建，為使用開放模型高效構建生成式 AI 應用提供了最佳解決方案，並針對各種硬體加速器進行了最佳化，包括 NVIDIA GPU、AMD GPU、AWS Inferentia 和 Google TPU（即將推出）。

主要特性

• 零配置部署：根據您的硬體環境自動載入最佳設定。
• 最佳化的硬體推理引擎：基於 Hugging Face 的文字生成推理（TGI） 構建，並針對多種硬體進行了最佳化。
• 硬體靈活性：針對各種加速器進行了最佳化，包括 NVIDIA GPU、AMD GPU、AWS Inferentia 和 Google TPU。
• 專為開放模型打造：相容各種流行的開放 AI 模型，包括 LLM、多模態模型和嵌入模型。
• 行業標準化 API：可使用 Kubernetes 輕鬆部署，並遵循 OpenAI API 標準。
• 安全與控制：可在您自己的基礎設施內部署 HUGS，以增強安全性和資料控制。
• 企業合規性：包含必要的許可證和服務條款，將合規風險降至最低。

為什麼選擇 HUGS？

在使用開放模型時，企業在模型服務基礎設施的效能、工程複雜性和合規性方面常常遇到困難。無論是初創公司還是大型企業，都曾使用模型構建過概念驗證（POC），這並非因為他們想使用帶有黑盒 API 的閉源模型，而是因為用開放模型構建 AI 應用需要更多的工作。

HUGS 是經過最佳化的零配置推理微服務，旨在簡化和加速 AI 模型的開發。我們希望透過 HUGS，讓從閉源 API 切換到自託管的開放模型變得簡單。

HUGS 提供與 OpenAI API 相容的端點，因此在將您的 POC 遷移到生產環境中使用您自己的模型和基礎設施時，無需更改程式碼。它們能自動實現最高的硬體效率。透過在新的、經過實戰檢驗的開放模型可用時提供更新，HUGS 讓您的應用輕鬆保持在生成式 AI 的前沿。

專為開放模型打造

相容各種流行的開放 AI 模型，包括：

• LLM：Llama、Gemma、Mistral、Mixtral、Qwen、Deepseek（即將推出）、T5（即將推出）、Yi（即將推出）、Phi（即將推出）、Command R（即將推出）
• （即將推出）多模態模型：Idefics、Llava
• （即將推出）嵌入模型：BGE、GTE、Mixbread、Arctic、Jina、Nomic

開始使用

您可以透過多種方式開始使用 HUGS。您可以將其作為 Hugging Face 企業訂閱的一部分，或透過雲服務提供商（CSP）的市場獲取。目前，您可以在 Amazon Web Services (AWS) 和 Google Cloud Platform (GCP) 上找到 HUGS，不久後也將在 Microsoft Azure 上線。HUGS 也已原生整合到 DigitalOcean GPU Droplet 中。

有關部署和使用的詳細說明

• Hugging Face 企業版
• 亞馬遜網路服務 (AWS)
  • 使用 NVIDIA GPU 的 AWS
  • 使用 Inferentia 和 Trainium 的 AWS
• DigitalOcean
• Google Cloud Platform (GCP)
• Microsoft Azure (即將推出)

更多資源

• 社群論壇
• 企業支援

體驗 HUGS 帶來的簡單易用的開放模型強大功能。立即開始更快速、更高效地構建您的 AI 應用吧！

< > 在 GitHub 上更新