資料集文件
工具程式
並獲得增強的文件體驗
開始使用
公用程式 (Utilities)
設定日誌輸出
🤗 Datasets 致力於透明且明確地展示其運作方式,但有時可能會過於冗長。我們包含了一系列日誌記錄方法,讓您可以輕鬆調整整個函式庫的詳細程度(verbosity)。目前函式庫的預設詳細程度設定為 WARNING。
若要更改詳細程度,請使用其中一個直接設定方法。例如,以下是如何將詳細程度更改為 INFO 等級的方法:
import datasets
datasets.logging.set_verbosity_info()您也可以使用環境變數 DATASETS_VERBOSITY 來覆寫預設的詳細程度,並將其設定為下列其中之一:debug、info、warning、error、critical
DATASETS_VERBOSITY=error ./myprogram.py
此日誌模組的所有方法記錄如下。主要方法如下:
- logging.get_verbosity() 用於取得日誌記錄器(logger)目前的詳細程度。
- logging.set_verbosity() 用於將詳細程度設定為您選擇的等級。
依照從最不詳細到最詳細的順序(及其對應的 int 值):
logging.CRITICAL或logging.FATAL(int 值,50):僅報告最關鍵的錯誤。logging.ERROR(int 值,40):僅報告錯誤。logging.WARNING或logging.WARN(int 值,30):僅報告錯誤和警告。這是函式庫使用的預設等級。logging.INFO(int 值,20):報告錯誤、警告和基本資訊。logging.DEBUG(int 值,10):報告所有資訊。
傳回 HuggingFace datasets 函式庫根日誌記錄器的目前等級。
HuggingFace datasets 函式庫具有以下日誌等級:
datasets.logging.CRITICAL,datasets.logging.FATALdatasets.logging.ERRORdatasets.logging.WARNING,datasets.logging.WARNdatasets.logging.INFOdatasets.logging.DEBUG
datasets.utils.logging.set_verbosity
< 原始碼 >( verbosity: int )
設定 Hugging Face Datasets 函式庫根日誌記錄器的等級。
將 Hugging Face datasets 函式庫根日誌記錄器的等級設定為 INFO。
這將顯示大部分的日誌資訊和 tqdm 進度條。
等同於 datasets.logging.set_verbosity(datasets.logging.INFO) 的捷徑。
將 Hugging Face datasets 函式庫根日誌記錄器的等級設定為 WARNING。
這將僅顯示警告和錯誤日誌資訊以及 tqdm 進度條。
等同於 datasets.logging.set_verbosity(datasets.logging.WARNING) 的捷徑。
將 Hugging Face datasets 函式庫根日誌記錄器的等級設定為 DEBUG。
這將顯示所有日誌資訊和 tqdm 進度條。
等同於 datasets.logging.set_verbosity(datasets.logging.DEBUG) 的捷徑。
將 Hugging Face datasets 函式庫根日誌記錄器的等級設定為 ERROR。
這將僅顯示錯誤日誌資訊和 tqdm 進度條。
等同於 datasets.logging.set_verbosity(datasets.logging.ERROR) 的捷徑。
停用此函式庫記錄輸出的傳播 (propagation)。請注意,記錄傳播預設為停用。
啟用函式庫日誌輸出的傳播。若根日誌記錄器已經過設定,請停用 Hugging Face datasets 函式庫的預設處理器,以避免重複記錄。
設定進度條
預設情況下,資料集下載和預處理期間會顯示 tqdm 進度條。您可以透過設定 HF_DATASETS_DISABLE_PROGRESS_BARS 環境變數來全域停用它們。您也可以使用 enable_progress_bars() 和 disable_progress_bars() 來啟用/停用它們。如果已設定環境變數,其優先級高於這些輔助函式。
全域啟用 datasets 中使用的進度條,除非已設定 HF_DATASETS_DISABLE_PROGRESS_BARS 環境變數。
使用 disable_progress_bars() 來停用它們。
全域停用 datasets 中使用的進度條,除非已設定 HF_DATASETS_DISABLE_PROGRESS_BARS 環境變數。
使用 enable_progress_bars() 來重新啟用它們。
傳回進度條是否已全域停用。
datasets 中使用的進度條可以透過 enable_progress_bars() 和 disable_progress_bars(),或是設定 HF_DATASETS_DISABLE_PROGRESS_BARS 為環境變數來全域啟用或停用。