Evaluate 文件
載入方法
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
載入方法
用於列出和載入評估模組的方法
列出
evaluate.list_evaluation_modules
< 源 >( module_type = None include_community = True with_details = False )
列出 Hugging Face Hub 上所有可用的評估模組。
載入
evaluate.load
< 源 >( path: str config_name: typing.Optional[str] = None module_type: typing.Optional[str] = None process_id: int = 0 num_process: int = 1 cache_dir: typing.Optional[str] = None experiment_id: typing.Optional[str] = None keep_in_memory: bool = False download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None download_mode: typing.Optional[datasets.download.download_manager.DownloadMode] = None revision: typing.Union[str, datasets.utils.version.Version, NoneType] = None **init_kwargs )
引數
- path (
str) — 帶有評估構建器的評估處理指令碼路徑。可以是：- 指向處理指令碼或包含該指令碼的目錄的本地路徑（如果指令碼名稱與目錄名稱相同），例如
'./metrics/rouge'或'./metrics/rouge/rouge.py' - HuggingFace evaluate 倉庫上的評估模組識別符號，例如
'rouge'或'bleu'，它們位於'metrics/'、'comparisons/'或'measurements/'目錄中，具體取決於提供的module_type
- 指向處理指令碼或包含該指令碼的目錄的本地路徑（如果指令碼名稱與目錄名稱相同），例如
- config_name (
str, 可選) — 為指標選擇一個配置（例如，GLUE 指標為每個子集都有一個配置）。 - module_type (
str, 預設為'metric') — 評估模組的型別，可以是'metric','comparison', 或'measurement'之一。 - process_id (
int, 可選) — 用於分散式評估：程序的ID。 - num_process (
int, 可選) — 用於分散式評估：總程序數。 - cache_dir (
str, 可選) — 儲存臨時預測和引用的路徑（預設為~/.cache/huggingface/evaluate/）。 - experiment_id (
str) — 一個特定的實驗ID。如果多個分散式評估共享相同的檔案系統，則使用此ID。這在分散式設定中計算指標（特別是非累加性指標如F1）時非常有用。 - keep_in_memory (
bool) — 是否將臨時結果儲存在記憶體中（預設為False）。 - download_config (
~evaluate.DownloadConfig, 可選) — 特定的下載配置引數。 - download_mode (
DownloadMode, 預設為REUSE_DATASET_IF_EXISTS) — 下載/生成模式。 - revision (
Union[str, evaluate.Version], 可選) — 如果指定，將從此版本的 datasets 倉庫載入模組。預設設定為庫的本地版本。指定與本地庫版本不同的版本可能會導致相容性問題。
載入一個 EvaluationModule。