認證

為了訪問私有或受限資料集，您需要先進行認證。認證透過提供一個訪問令牌來完成，該令牌將用於認證和授權您訪問受限和私有資料集。第一步是為您的帳戶建立一個訪問令牌。這可以透過訪問 Hugging Face 設定 - 令牌 來完成。

提供令牌的方式有三種：設定環境變數、向讀取器傳遞引數或使用 Hugging Face CLI。

環境變數

如果您設定了環境變數 HF_TOKEN，Polars 將在請求 Hugging Face 的資料集時自動使用它。

export HF_TOKEN="hf_xxxxxxxxxxxxx"

引數

您還可以透過 storage_options 引數明確地向讀取器（例如 read_parquet）提供訪問令牌。有關所有引數的完整概述，請查閱 API 參考指南。

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

或者，您可以使用 Hugging Face CLI 進行認證。成功登入 hf auth login 後，訪問令牌將儲存在 HF_HOME 目錄中，預設為 ~/.cache/huggingface。Polars 將使用此令牌進行認證。

如果指定了多種方法，它們的優先順序順序如下：

• 引數 (storage_options)
• 環境變數 (HF_TOKEN)
• CLI