文字嵌入推理

文字嵌入推理 (TEI) 是一個全面的工具包，旨在高效部署和提供開源文字嵌入模型。它能為最流行的模型，包括 FlagEmbedding、Ember、GTE 和 E5，提供高效能的特徵提取。

TEI 提供多項功能，旨在最佳化部署過程並提升整體效能。

主要功能

簡化部署： TEI 無需模型圖編譯步驟，使部署過程更簡便。
高效資源利用： 受益於小巧的 Docker 映象和快速啟動時間，實現真正的無伺服器能力。
動態批處理： TEI 採用基於令牌的動態批處理，從而最佳化推理期間的資源利用。
最佳化推理： TEI 透過使用最佳化的 Transformer 程式碼進行推理，利用 Flash Attention、Candle 和 cuBLASLt。
Safetensors 權重載入： TEI 載入 Safetensors 權重以加快啟動時間。
生產就緒： TEI 透過 Open Telemetry 支援分散式追蹤，並匯出 Prometheus 指標。

基準測試

BAAI/bge-base-en-v1.5 在 NVIDIA A10 上，序列長度為 512 個 token 的基準測試

Latency comparison for batch size of 1 Throughput comparison for batch size of 1

Latency comparison for batch size of 32 Throughput comparison for batch size of 32

入門指南

要開始使用 TEI，請查閱快速入門指南。