Datasets 文件
實用工具
並獲得增強的文件體驗
開始使用
實用工具
配置日誌
🤗 Datasets 力求在工作方式上透明和明確,但這有時會非常冗長。我們提供了一系列日誌方法,讓您可以輕鬆調整整個庫的冗餘級別。目前庫的預設冗餘級別設定為 `WARNING`。
要更改冗餘級別,請使用其中一個直接設定器。例如,以下是如何將冗餘級別更改為 `INFO` 級別:
import datasets
datasets.logging.set_verbosity_info()
您還可以使用環境變數 `DATASETS_VERBOSITY` 覆蓋預設冗餘級別,並將其設定為以下之一:`debug`、`info`、`warning`、`error`、`critical`。
DATASETS_VERBOSITY=error ./myprogram.py
此日誌模組的所有方法均在下面文件中。主要方法有:
- logging.get_verbosity() 獲取日誌器當前的冗餘級別
- logging.set_verbosity() 設定日誌級別為你選擇的級別
從最不詳細到最詳細的順序(及其對應的 `int` 值)
- `logging.CRITICAL` 或 `logging.FATAL` (整數值, 50): 僅報告最關鍵的錯誤。
- `logging.ERROR` (整數值, 40): 僅報告錯誤。
- `logging.WARNING` 或 `logging.WARN` (整數值, 30): 僅報告錯誤和警告。這是庫使用的預設級別。
- `logging.INFO` (整數值, 20): 報告錯誤、警告和基本資訊。
- `logging.DEBUG` (整數值, 10): 報告所有資訊。
返回 HuggingFace Datasets 庫的根日誌記錄器的當前級別。
HuggingFace Datasets 庫具有以下日誌級別:
- `datasets.logging.CRITICAL`, `datasets.logging.FATAL`
datasets.logging.ERROR
- `datasets.logging.WARNING`, `datasets.logging.WARN`
datasets.logging.INFO
datasets.logging.DEBUG
datasets.utils.logging.set_verbosity
< source >( verbosity: int )
設定 Hugging Face Datasets 庫的根日誌記錄器的級別。
將 Hugging Face Datasets 庫的根日誌記錄器級別設定為 `INFO`。
這將顯示大部分日誌資訊和 tqdm 進度條。
`datasets.logging.set_verbosity(datasets.logging.INFO)` 的快捷方式。
將 Hugging Face Datasets 庫的根日誌記錄器級別設定為 `WARNING`。
這將僅顯示警告和錯誤日誌資訊以及 tqdm 進度條。
`datasets.logging.set_verbosity(datasets.logging.WARNING)` 的快捷方式。
將 Hugging Face Datasets 庫的根日誌記錄器級別設定為 `DEBUG`。
這將顯示所有日誌資訊和 tqdm 進度條。
`datasets.logging.set_verbosity(datasets.logging.DEBUG)` 的快捷方式。
將 Hugging Face Datasets 庫的根日誌記錄器級別設定為 `ERROR`。
這將僅顯示錯誤日誌資訊和 tqdm 進度條。
`datasets.logging.set_verbosity(datasets.logging.ERROR)` 的快捷方式。
停用庫日誌輸出的傳播。請注意,日誌傳播預設是停用的。
啟用庫日誌輸出的傳播。如果根日誌記錄器已配置,請停用 Hugging Face Datasets 庫的預設處理程式,以防止重複日誌。
配置進度條
預設情況下,在資料集下載和預處理期間會顯示 `tqdm` 進度條。您可以透過設定 `HF_DATASETS_DISABLE_PROGRESS_BARS` 環境變數來全域性停用它們。您也可以使用 enable_progress_bars() 和 disable_progress_bars() 來啟用/停用它們。如果設定了環境變數,則其優先順序高於這些輔助函式。
全域性啟用 `datasets` 中使用的進度條,除非已設定 `HF_DATASETS_DISABLE_PROGRESS_BAR` 環境變數。
使用 disable_progress_bars() 停用它們。
全域性停用 `datasets` 中使用的進度條,除非已設定 `HF_DATASETS_DISABLE_PROGRESS_BAR` 環境變數。
使用 enable_progress_bars() 重新啟用它們。
返回進度條是否全域性停用。
`datasets` 中使用的進度條可以透過 enable_progress_bars() 和 disable_progress_bars() 全域性啟用或停用,或者透過設定 `HF_DATASETS_DISABLE_PROGRESS_BAR` 環境變數。