在 Hugging Face Hub 上將 Ollama 與任何 GGUF 模型結合使用

cover

🆕 您現在也可以從 Hugging Face Hub 執行私有 GGUF 模型。

Ollama 是一個基於 llama.cpp 的應用程式，可以直接透過您的計算機與 LLM 進行互動。您可以直接使用社群建立的任何 GGUF 量化模型（bartowski、MaziyarPanahi 和更多）在 Ollama 中執行，而無需建立新的 Modelfile。截至本文撰寫時，Hub 上有 45K 個公共 GGUF 檢查點，您可以使用單個 ollama run 命令執行其中任何一個。我們還提供自定義選項，例如選擇量化型別、系統提示等，以改善您的整體體驗。

入門非常簡單，只需

在您的本地應用程式設定中啟用 ollama。
在模型頁面上，從 使用此模型 下拉選單中選擇 ollama。例如：bartowski/Llama-3.2-1B-Instruct-GGUF。

程式碼片段將採用以下格式

ollama run hf.co/{username}/{repository}

請注意，您可以使用 hf.co 和 huggingface.co 作為域名。

以下是一些您可以嘗試的模型

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

自定義量化

預設情況下，如果模型儲存庫中存在 Q4_K_M 量化方案，則使用該方案。如果不存在，我們將預設選擇儲存庫中存在的合理量化型別。

要選擇不同的方案，只需

從模型頁面的 檔案和版本 選項卡中，開啟特定 GGUF 檔案的 GGUF 檢視器。
從 使用此模型 下拉選單中選擇 ollama。

程式碼片段將採用以下格式（已新增量化標籤）

ollama run hf.co/{username}/{repository}:{quantization}

例如：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

自定義聊天模板和引數

預設情況下，將從常用模板列表中自動選擇一個模板。它將根據 GGUF 檔案中儲存的內建 tokenizer.chat_template 元資料進行選擇。

如果您的 GGUF 檔案沒有內建模板，或者您想自定義聊天模板，您可以在儲存庫中建立一個名為 template 的新檔案。該模板必須是 Go 模板，而不是 Jinja 模板。以下是一個示例

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

要了解更多關於 Go 模板格式的資訊，請參閱此文件

您可以選擇透過在儲存庫中建立一個名為 system 的新檔案來配置系統提示。

要更改取樣引數，請在儲存庫中建立一個名為 params 的檔案。該檔案必須是 JSON 格式。有關所有可用引數的列表，請參閱此文件。

從 Hugging Face Hub 執行私有 GGUF 模型

您可以透過兩個簡單步驟從您的個人賬戶或關聯組織賬戶執行私有 GGUF 模型

複製您的 Ollama SSH 金鑰，您可以透過以下方式複製：cat ~/.ollama/id_ed25519.pub | pbcopy
透過訪問您的賬戶設定並點選 新增新 SSH 金鑰，將相應的金鑰新增到您的 Hugging Face 賬戶中。
就這樣！您現在可以從 Hugging Face Hub 執行私有 GGUF 模型：ollama run hf.co/{username}/{repository}。

參考資料

< > 在 GitHub 上更新