支援的硬體提供商

HUGS 已針對各種 ML 推理加速器進行最佳化，並且對不同加速器家族和提供商的支援將繼續呈指數級增長。

NVIDIA GPU

NVIDIA GPU 廣泛用於機器學習和人工智慧應用，為深度學習任務提供高效能和專用硬體。NVIDIA 的 CUDA 平臺為 GPU 加速計算提供了強大的生態系統。

支援的裝置

• NVIDIA A10G：24GB GDDR6 記憶體，9216 個 CUDA 核心，288 個 Tensor 核心，72 個 RT 核心
• NVIDIA L4：24GB GDDR6 記憶體，7168 個 CUDA 核心，224 個 Tensor 核心，56 個 RT 核心
• NVIDIA L40S：48GB GDDR6 記憶體，18176 個 CUDA 核心，568 個 Tensor 核心，142 個 RT 核心
• NVIDIA A100：40/80GB HBM2e 記憶體，6912 個 CUDA 核心，432 個 Tensor 核心，108 個 RT 核心
• NVIDIA H100：80GB HBM3 記憶體，14592 個 CUDA 核心，456 個 Tensor 核心，144 個 RT 核心

AMD GPU

AMD GPU 在人工智慧和機器學習領域提供了強大的競爭力，其 CDNA 架構提供了高效能計算能力。AMD 的 ROCm (Radeon Open Compute) 平臺支援在 Linux 系統上進行 GPU 加速計算。

支援的裝置

• AMD Instinct MI300X：192GB HBM3 記憶體，304 個計算單元，4864 個 AI 加速器

AWS 加速器 (Inferentia/Trainium)

AWS Inferentia2 是一款定製的加速器，專門為高效能、高成本效益的機器學習推理而設計。

支援的裝置

• AWS Inferentia2：在 Amazon EC2 Inf2 例項中可用，每個例項提供多達 12 個 Inferentia2 晶片。AWS Inferentia2 加速器針對部署大型語言模型和其他計算密集型 ML 工作負載進行了最佳化，為推理任務提供高吞吐量和低延遲。更多資訊請訪問 Amazon EC2 Inf2 例項。
• AWS Trainium：即將推出！

Google TPU

即將推出

< > 在 GitHub 上更新