Text Generation Inference 文件
指標
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
度量指標
TGI 公開了多項指標，可透過 /metrics Prometheus 端點進行收集。這些指標可用於監控 TGI 的效能、自動擴展部署以及協助找出效能瓶頸。
以下為公開的指標：
| 指標名稱 | 說明 | 類型 | 單元 |
|---|---|---|---|
tgi_batch_current_max_tokens | 當前批次的最大權杖（Token）數 | 量規（Gauge） | 數量 (Count) |
tgi_batch_current_size | 當前批次大小 | 量規（Gauge） | 數量 (Count) |
tgi_batch_decode_duration | 各方法（預填充 prefill 或解碼 decode）解碼批次所花費的時間 | 直方圖（Histogram） | 秒 |
tgi_batch_filter_duration | 各方法（預填充 prefill 或解碼 decode）過濾批次並發送已生成權杖所花費的時間 | 直方圖（Histogram） | 秒 |
tgi_batch_forward_duration | 各方法（預填充 prefill 或解碼 decode）的批次前向傳播（forward）持續時間 | 直方圖（Histogram） | 秒 |
tgi_batch_inference_count | 各方法（預填充 prefill 或解碼 decode）的推論呼叫次數 | 計數器（Counter） | 數量 (Count) |
tgi_batch_inference_duration | 批次推論持續時間 | 直方圖（Histogram） | 秒 |
tgi_batch_inference_success | 各方法（預填充 prefill 或解碼 decode）成功推論呼叫的次數 | 計數器（Counter） | 數量 (Count) |
tgi_batch_next_size | 下一個批次的大小 | 直方圖（Histogram） | 數量 (Count) |
tgi_queue_size | 當前佇列大小 | 量規（Gauge） | 數量 (Count) |
tgi_request_count | 請求總數 | 計數器（Counter） | 數量 (Count) |
tgi_request_duration | 處理請求的總耗時（端到端延遲） | 直方圖（Histogram） | 秒 |
tgi_request_generated_tokens | 每個請求生成的權杖數 | 直方圖（Histogram） | 數量 (Count) |
tgi_request_inference_duration | 請求推論持續時間 | 直方圖（Histogram） | 秒 |
tgi_request_input_length | 每個請求的輸入權杖長度 | 直方圖（Histogram） | 數量 (Count) |
tgi_request_max_new_tokens | 每個請求的最大新權杖數 | 直方圖（Histogram） | 數量 (Count) |
tgi_request_mean_time_per_token_duration | 每個請求的平均權杖生成時間（權杖間延遲） | 直方圖（Histogram） | 秒 |
tgi_request_queue_duration | 每個請求在佇列中的等待時間 | 直方圖（Histogram） | 秒 |
tgi_request_skipped_tokens | 每個請求的推測（Speculated）權杖數 | 直方圖（Histogram） | 數量 (Count) |
tgi_request_success | 成功請求的數量 | 計數器（Counter） | |
tgi_request_validation_duration | 驗證請求所花費的時間 | 直方圖（Histogram） | 秒 |