text-generation-inference 文件
使用統計資料收集
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
使用統計資料收集
文字生成推理收集匿名使用統計資料，以幫助我們改進服務。收集到的資料用於改進TGI並瞭解導致故障的原因。資料以透明方式收集，並省略任何敏感資訊。
僅當TGI在Docker容器中執行時才收集使用統計資料。這可以防止TGI直接在主機上執行時的資料收集。收集的資料包括啟動和關閉事件，以及每15分鐘傳送一次的心跳訊號。
收集哪些資料
收集資料的程式碼可在此處獲取。截至2.1.2版本，這是收集資料的示例
- 來自TGI配置
{
"event_type": "start",
"disable_grammar_support": false,
"max_batch_prefill_tokens": 4096,
"max_batch_size": null,
"max_batch_total_tokens": null,
"max_best_of": 2,
"max_client_batch_size": 4,
"max_concurrent_requests": 128,
"max_input_tokens": 1024,
"max_stop_sequences": 4,
"max_top_n_tokens": 5,
"max_total_tokens": 2048,
"max_waiting_tokens": 20,
"model_config": {
"model_type": "Bloom"
},
"revision": null,
"tokenizer_class": "BloomTokenizerFast",
"validation_workers": 2,
"waiting_served_ratio": 1.2,
"docker_label": "latest",
"git_sha": "cfc118704880453d29bcbe4fbbd91dda501cf5fe",
"nvidia_env": {
"name": "NVIDIA A10G",
"pci_bus_id": "00000000:00:1E.0",
"driver_version": "535.183.01",
"pstate": "P8",
"pcie_link_gen_max": "4",
"pcie_link_gen_current": "1",
"temperature_gpu": "31",
"utilization_gpu": "0 %",
"utilization_memory": "0 %",
"memory_total": "23028 MiB",
"memory_free": "22515 MiB",
"memory_used": "0 MiB",
"reset_status_reset_required": "No",
"reset_status_drain_and_reset_recommended": "No",
"compute_cap": "8.6",
"ecc_errors_corrected_volatile_total": "0",
"mig_mode_current": "[N/A]",
"power_draw_instant": "10.86 W",
"power_limit": "300.00 W"
},
"system_env": {
"cpu_count": 16,
"cpu_type": "AMD EPYC 7R32",
"total_memory": 66681196544,
"architecture": "x86_64",
"platform": "linux-unix-x86_64"
}
}
如何選擇退出
透過向text-generation-launcher傳遞--usage-stats，您可以控制收集的使用統計資料量。--usage-stats=no-stack將不會發出錯誤的堆疊跟蹤和錯誤型別，但將繼續傳送啟動和停止事件。--usage-stats=off將完全停用所有功能。