在CPU上本地使用TEI

您可以在本地安裝 `text-embeddings-inference` 並在自己的機器上執行它。以下是安裝的逐步說明：

步驟1：安裝Rust

在您的機器上安裝 Rust，在您的終端中執行以下命令，然後按照說明操作

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

步驟2：安裝必要的軟體包

根據您的機器架構，執行以下命令之一：

適用於x86機器

cargo install --path router -F mkl

適用於M1或M2機器

cargo install --path router -F metal

步驟3：啟動文字嵌入推理

安裝成功完成後，您可以使用以下命令在CPU上啟動文字嵌入推理：

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

sudo apt-get install libssl-dev gcc -y

現在您已準備好在本地機器上使用 `text-embeddings-inference`。如果您想在本地使用GPU執行TEI，請檢視在GPU上本地使用TEI頁面。