在本地使用 Metal 執行 TEI

您可以本地安裝 text-embeddings-inference，以便在您自己的支援 Metal 的 Mac 上執行它。以下是分步安裝說明。

步驟 1: 安裝 Rust

在您的機器上安裝 Rust，在您的終端中執行以下命令，然後按照說明操作

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

步驟 2: 安裝 Metal 支援

cargo install --path router -F metal

步驟 3: 啟動文字嵌入推理

安裝成功完成後，您可以使用以下命令啟動支援 Metal 的文字嵌入推理

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

現在您已經準備好在您的機器上本地使用 text-embeddings-inference 了。