Chat UI 文件
Ollama
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
Ollama
| 特性 | 可用 |
|---|---|
| 工具 | 否 |
| 多模態 | 否 |
我們也支援 Ollama 推理伺服器。使用以下命令啟動一個模型：
ollama run mistral
然後像這樣指定端點
MODELS=`[
{
"name": "Ollama Mistral",
"chatPromptTemplate": "<s>{{#each messages}}{{#ifUser}}[INST] {{#if @first}}{{#if @root.preprompt}}{{@root.preprompt}}\n{
{/if}
}{
{/if}
} {{content}} [/INST]{{/ifUser}}{{#ifAssistant}}{{content}}</s> {{/ifAssistant}}{{/each}}",
"parameters": {
"temperature": 0.1,
"top_p": 0.95,
"repetition_penalty": 1.2,
"top_k": 50,
"truncate": 3072,
"max_new_tokens": 1024,
"stop": ["</s>"]
},
"endpoints": [
{
"type": "ollama",
"url" : "http://127.0.0.1:11434",
"ollamaName" : "mistral"
}
]
}
]`