EvaluationTracker

class lighteval.logging.evaluation_tracker.EvaluationTracker

( output_dir: str save_details: bool = True push_to_hub: bool = False push_to_tensorboard: bool = False hub_results_org: str | None = '' tensorboard_metric_prefix: str = 'eval' public: bool = False nanotron_run_info: GeneralArgs = None wandb: bool = False )

引數

output_dir (str) — 您希望儲存結果的本地資料夾路徑。
save_details (bool, 預設為 True) — 如果為 True，詳細資訊將儲存到 output_dir。
push_to_hub (bool, 預設為 False) — 如果為 True，詳細資訊將被推送到 Hub。對於模型 model_name，結果將被推送到 {hub_results_org}/details__{sanitized model_name}（如果 public 為 True，則為公共資料集），或 {hub_results_org}/details__{sanitized model_name}_private（私有資料集）。
push_to_tensorboard (bool, 預設為 False) — 如果為 True，將在 Hub 上建立並推送結果到一個 TensorBoard 資料夾。
hub_results_org (str, 可選) — 推送結果的目標組織。有關資料集組織的更多詳細資訊，請參閱 EvaluationTracker.save。
tensorboard_metric_prefix (str, 預設為 “eval”) — TensorBoard 日誌中指標的字首。
public (bool, 預設為 False) — 如果為 True，結果和詳細資訊將被推送到公共組織。
nanotron_run_info (~nanotron.config.GeneralArgs, 可選) — 引用有關 Nanotron 模型執行的資訊。

跟蹤整個評估過程和相關資訊。

EvaluationTracker 包含用於實驗詳細資訊（DetailsLogger）、指標（MetricsLogger）、任務版本（VersionsLogger）以及特定任務（TaskConfigLogger）和整個評估執行（GeneralConfigLogger）的通用配置的特定記錄器。它編譯來自這些記錄器的資料並將其寫入檔案，如果需要，可以釋出到 Hugging Face Hub。

屬性: