Hub

下載資料集

整合庫

如果 Hub 上的資料集與受支援的庫關聯，則只需幾行程式碼即可載入資料集。有關訪問資料集的資訊，您可以單擊資料集頁面上的“使用此資料集”按鈕以檢視如何操作。例如，samsum 展示瞭如何使用 🤗 Datasets 進行如下操作。

使用 Hugging Face 客戶端庫

您可以使用 huggingface_hub 庫來建立、刪除、更新和檢索倉庫資訊。例如，要從命令列下載 HuggingFaceH4/ultrachat_200k 資料集，請執行

hf download HuggingFaceH4/ultrachat_200k --repo-type dataset

有關更多資訊，請參閱HF CLI 下載文件。

您還可以將其整合到您自己的庫中！例如，您可以使用 Pandas 快速載入幾行 CSV 資料集。

from huggingface_hub import hf_hub_download
import pandas as pd

REPO_ID = "YOUR_REPO_ID"
FILENAME = "data.csv"

dataset = pd.read_csv(
    hf_hub_download(repo_id=REPO_ID, filename=FILENAME, repo_type="dataset")
)

使用 Git

由於 Hub 上的所有資料集都是 Git 倉庫，您可以透過執行以下命令在本地克隆資料集

git lfs install
git clone git@hf.co:datasets/<dataset ID> # example: git clone git@hf.co:datasets/allenai/c4

如果您對特定資料集倉庫具有寫入許可權，您還將能夠提交和推送對資料集的修訂。

將您的 SSH 公鑰新增到您的使用者設定，以推送更改和/或訪問私有倉庫。

< > 在 GitHub 上更新