資料集文件

工具程式

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

公用程式 (Utilities)

設定日誌輸出

🤗 Datasets 致力於透明且明確地展示其運作方式,但有時可能會過於冗長。我們包含了一系列日誌記錄方法,讓您可以輕鬆調整整個函式庫的詳細程度(verbosity)。目前函式庫的預設詳細程度設定為 WARNING

若要更改詳細程度,請使用其中一個直接設定方法。例如,以下是如何將詳細程度更改為 INFO 等級的方法:

import datasets
datasets.logging.set_verbosity_info()

您也可以使用環境變數 DATASETS_VERBOSITY 來覆寫預設的詳細程度,並將其設定為下列其中之一:debuginfowarningerrorcritical

DATASETS_VERBOSITY=error ./myprogram.py

此日誌模組的所有方法記錄如下。主要方法如下:

依照從最不詳細到最詳細的順序(及其對應的 int 值):

  1. logging.CRITICALlogging.FATAL (int 值,50):僅報告最關鍵的錯誤。
  2. logging.ERROR (int 值,40):僅報告錯誤。
  3. logging.WARNINGlogging.WARN (int 值,30):僅報告錯誤和警告。這是函式庫使用的預設等級。
  4. logging.INFO (int 值,20):報告錯誤、警告和基本資訊。
  5. logging.DEBUG (int 值,10):報告所有資訊。

datasets.utils.logging.get_verbosity

< >

( )

傳回 HuggingFace datasets 函式庫根日誌記錄器的目前等級。

HuggingFace datasets 函式庫具有以下日誌等級:

  • datasets.logging.CRITICAL, datasets.logging.FATAL
  • datasets.logging.ERROR
  • datasets.logging.WARNING, datasets.logging.WARN
  • datasets.logging.INFO
  • datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< >

( verbosity: int )

參數

  • verbosity — 日誌等級,例如 datasets.logging.DEBUGdatasets.logging.INFO

設定 Hugging Face Datasets 函式庫根日誌記錄器的等級。

datasets.utils.logging.set_verbosity_info

< >

( )

將 Hugging Face datasets 函式庫根日誌記錄器的等級設定為 INFO

這將顯示大部分的日誌資訊和 tqdm 進度條。

等同於 datasets.logging.set_verbosity(datasets.logging.INFO) 的捷徑。

datasets.utils.logging.set_verbosity_warning

< >

( )

將 Hugging Face datasets 函式庫根日誌記錄器的等級設定為 WARNING

這將僅顯示警告和錯誤日誌資訊以及 tqdm 進度條。

等同於 datasets.logging.set_verbosity(datasets.logging.WARNING) 的捷徑。

datasets.utils.logging.set_verbosity_debug

< >

( )

將 Hugging Face datasets 函式庫根日誌記錄器的等級設定為 DEBUG

這將顯示所有日誌資訊和 tqdm 進度條。

等同於 datasets.logging.set_verbosity(datasets.logging.DEBUG) 的捷徑。

datasets.utils.logging.set_verbosity_error

< >

( )

將 Hugging Face datasets 函式庫根日誌記錄器的等級設定為 ERROR

這將僅顯示錯誤日誌資訊和 tqdm 進度條。

等同於 datasets.logging.set_verbosity(datasets.logging.ERROR) 的捷徑。

datasets.utils.logging.disable_propagation

< >

( )

停用此函式庫記錄輸出的傳播 (propagation)。請注意,記錄傳播預設為停用。

datasets.utils.logging.enable_propagation

< >

( )

啟用函式庫日誌輸出的傳播。若根日誌記錄器已經過設定,請停用 Hugging Face datasets 函式庫的預設處理器,以避免重複記錄。

設定進度條

預設情況下,資料集下載和預處理期間會顯示 tqdm 進度條。您可以透過設定 HF_DATASETS_DISABLE_PROGRESS_BARS 環境變數來全域停用它們。您也可以使用 enable_progress_bars()disable_progress_bars() 來啟用/停用它們。如果已設定環境變數,其優先級高於這些輔助函式。

datasets.enable_progress_bars

< >

( )

全域啟用 datasets 中使用的進度條,除非已設定 HF_DATASETS_DISABLE_PROGRESS_BARS 環境變數。

使用 disable_progress_bars() 來停用它們。

datasets.disable_progress_bars

< >

( )

全域停用 datasets 中使用的進度條,除非已設定 HF_DATASETS_DISABLE_PROGRESS_BARS 環境變數。

使用 enable_progress_bars() 來重新啟用它們。

datasets.are_progress_bars_disabled

< >

( )

傳回進度條是否已全域停用。

datasets 中使用的進度條可以透過 enable_progress_bars()disable_progress_bars(),或是設定 HF_DATASETS_DISABLE_PROGRESS_BARS 為環境變數來全域啟用或停用。

在 GitHub 上更新

© . This site is unofficial and not affiliated with Hugging Face, Inc.