Chat UI 文件
🤗 Chat UI
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
🤗 Chat UI
開源聊天介面，支援工具、網頁搜尋、多模態以及眾多 API 提供商。該應用程式在後臺使用 MongoDB 和 SvelteKit。您可以嘗試名為 HuggingChat 的即時版本，網址是 hf.co/chat，或者設定您自己的例項。
🔍 網頁搜尋：所有模型的自動化網頁搜尋、抓取和 RAG
🐙 多模態：接受支援提供商的影像檔案上傳
👤 OpenID：可選設定 OpenID 用於使用者身份驗證
工具
網頁搜尋
快速入門
得益於 Chat UI 對 llama.cpp 伺服器的支援，您可以快速擁有一個本地執行的 Chat UI 和 LLM 文字生成伺服器。
步驟 1（啟動 llama.cpp 伺服器）
# install llama.cpp
brew install llama.cpp
# start llama.cpp server (using hf.co/microsoft/Phi-3-mini-4k-instruct-gguf as an example)
llama-server --hf-repo microsoft/Phi-3-mini-4k-instruct-gguf --hf-file Phi-3-mini-4k-instruct-q4.gguf -c 4096本地 LLaMA.cpp HTTP 伺服器將在 https://:8080 啟動。閱讀更多此處。
步驟 2（告訴 Chat UI 使用本地 llama.cpp 伺服器）
將以下內容新增到您的 .env.local 中
MODELS=`[
{
"name": "Local microsoft/Phi-3-mini-4k-instruct-gguf",
"tokenizer": "microsoft/Phi-3-mini-4k-instruct-gguf",
"preprompt": "",
"chatPromptTemplate": "<s>{{preprompt}}{{#each messages}}{{#ifUser}}<|user|>\n{{content}}<|end|>\n<|assistant|>\n{{/ifUser}}{{#ifAssistant}}{{content}}<|end|>\n{{/ifAssistant}}{{/each}}",
"parameters": {
"stop": ["<|end|>", "<|endoftext|>", "<|assistant|>"],
"temperature": 0.7,
"max_new_tokens": 1024,
"truncate": 3071
},
"endpoints": [{
"type" : "llamacpp",
"baseURL": "https://:8080"
}],
},
]`閱讀更多此處。
步驟 3（確保您本地執行著 MongoDb）
docker run -d -p 27017:27017 --name mongo-chatui mongo:latest
閱讀更多此處。
步驟 4（啟動 Chat UI）
git clone https://github.com/huggingface/chat-ui
cd chat-ui
npm install
npm run dev -- --open閱讀更多此處。
