支援的模型

HUGS 支援廣泛的開源 AI 模型，包括 LLM、多模態模型和嵌入模型。下面列出了 HUGS 支援的所有模型及其支援的硬體矩陣。

支援 15 種模型

模型	1x NVIDIA A10G	2x NVIDIA A10G	4x NVIDIA A10G	8x NVIDIA A10G	1x NVIDIA L4	2x NVIDIA L4	4x NVIDIA L4	8x NVIDIA L4	1x NVIDIA L40S	2x NVIDIA L40S	4x NVIDIA L40S	8x NVIDIA L40S	1x NVIDIA A100 80GB	2x NVIDIA A100 80GB	4x NVIDIA A100 80GB	8x NVIDIA A100 80GB	1x NVIDIA H100	2x NVIDIA H100	4x NVIDIA H100	8x NVIDIA H100	8x AMD Instinct MI300X	2x inf2	8x inf2	24x inf2
meta-llama/Meta-Llama-3.1-8B-Instruct	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
meta-llama/Meta-Llama-3.1-70B-Instruct	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	✅	✅	❌	❌	✅	✅	❌	❌	✅	✅	✅	❌	❌	✅
meta-llama/Meta-Llama-3.1-405B-Instruct-FP8	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	✅	❌	❌	❌	❌
NousResearch/Hermes-3-Llama-3.1-8B	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
NousResearch/Hermes-3-Llama-3.1-70B	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	✅	✅	❌	❌	✅	✅	❌	❌	✅	✅	✅	❌	❌	✅
NousResearch/Hermes-3-Llama-3.1-405B-FP8	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	✅	❌	❌	❌	❌
NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	✅	❌	❌	✅
mistralai/Mixtral-8x7B-Instruct-v0.1	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	✅	❌	❌	✅
mistralai/Mistral-7B-Instruct-v0.3	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
mistralai/Mixtral-8x22B-Instruct-v0.1	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	✅	❌	❌	❌	✅	❌	❌	❌	✅	✅	❌	❌	✅
google/gemma-2-27b-it	❌	❌	✅	✅	❌	❌	✅	✅	❌	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	❌	❌	❌
google/gemma-2-9b-it	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	❌	❌	❌
Qwen/Qwen2.5-7B-Instruct	✅	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	❌	✅	✅	✅	❌	❌	❌	❌	❌
meta-llama/Llama-3.2-11B-Vision-Instruct	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅	❌	❌	❌	❌
meta-llama/Llama-3.2-90B-Vision-Instruct	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	❌	✅	❌	❌	✅	✅	❌	❌	✅	✅	❌	❌	❌	❌

上次更新: 2024-11-28

< > 在 GitHub 上更新