載入方法

datasets.load_dataset

( path: str name: typing.Optional[str] = None data_dir: typing.Optional[str] = None data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = None cache_dir: typing.Optional[str] = None features: typing.Optional[datasets.features.features.Features] = None download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None verification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = None keep_in_memory: typing.Optional[bool] = None save_infos: bool = False revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None token: typing.Union[bool, str, NoneType] = None streaming: bool = False num_proc: typing.Optional[int] = None storage_options: typing.Optional[dict] = None **config_kwargs ) → Dataset 或 DatasetDict

參數

path (str) — 資料集的路徑或名稱。
- 若 path 為 HF Hub 上的資料集儲存庫（可使用 huggingface_hub.list_datasets 列出所有可用資料集） -> 從儲存庫中支援的檔案格式（csv, json, parquet 等）載入資料集，例如 'username/dataset_name'，即包含資料檔案的 HF Hub 資料集儲存庫。
- 若 path 為 HF Hub 上儲存桶 (Storage Bucket) 內的目錄（可使用 huggingface_hub.list_buckets 列出您的儲存桶） -> 從目錄中支援的檔案格式（csv, json, parquet 等）載入資料集，例如 'buckets/username/bucket_name/my_dataset'。
- 若 path 為本機目錄 -> 從該目錄下支援的檔案格式（csv, json, parquet 等）載入資料集，例如 './path/to/directory/with/my/csv/data'。
- 若 path 為資料集建構器 (dataset builder) 的名稱，且已指定 data_files 或 data_dir（可用建構器包括 "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder"） -> 從 data_files 或 data_dir 中的檔案載入資料集，例如 'parquet'。
使用類似 'hf://datasets/username/dataset_name' 的 hf:// 路徑可僅限遠端存取。使用絕對路徑可僅限本機存取。
name (str, 選填) — 定義資料集配置的名稱。
data_dir (str, 選填) — 定義資料集配置的 data_dir。若針對通用建構器（csv、text 等）或 Hub 資料集指定此項，且 data_files 為 None，其行為等同於傳遞 os.path.join(data_dir, **) 作為 data_files，以參考該目錄下的所有檔案。
data_files (str 或 Sequence 或 Mapping, 選填) — 來源資料檔案的路徑。
split (Split 或 str) — 要載入的資料分割區 (split)。若為 None，將回傳包含所有分割區的 dict（通常為 datasets.Split.TRAIN 和 datasets.Split.TEST）。若已指定，將回傳單一資料集。分割區可如同 tensorflow-datasets 一樣進行合併與指定。
cache_dir (str, 選填) — 用於讀取/寫入資料的目錄。預設為 "~/.cache/huggingface/datasets"。
features (Features, 選填) — 設定此資料集使用的特徵型別 (features type)。
download_config (DownloadConfig, 選填) — 具體的下載設定參數。
download_mode (DownloadMode 或 str，預設為 REUSE_DATASET_IF_EXISTS) — 下載/產生模式。
verification_mode (VerificationMode 或 str，預設為 BASIC_CHECKS) — 驗證模式，決定對已下載/處理的資料集資訊（總和檢查碼/大小/分割區等）執行哪些檢查。

於 2.9.1 新增
keep_in_memory (bool，預設為 None) — 是否將資料集複製到記憶體中。若為 None，除非透過將 datasets.config.IN_MEMORY_MAX_SIZE 設為非零值來明確啟用，否則資料集不會被複製到記憶體。詳情請見提升效能章節。
revision (Version 或 str，選填) — 要載入的資料集版本。由於資料集在 Datasets Hub 上擁有自己的 git 儲存庫，預設版本 "main" 對應到它們的 "main" 分支。您可以使用提交 SHA 或資料集儲存庫的 git tag 來指定不同於預設 "main" 的版本。
token (str 或 bool，選填) — 可選的字串或布林值，用於作為 Datasets Hub 上遠端檔案的 Bearer token。若設為 True 或未指定，將從 "~/.huggingface" 取得 token。
streaming (bool，預設為 False) — 若設為 True，則不會下載資料檔案，而是改為在疊代資料集時循序串流載入資料。此時會回傳一個 IterableDataset 或 IterableDatasetDict。

請注意，串流適用於使用支援疊代格式的資料集（例如 txt、csv、jsonl）。Json 檔案可能會被完全下載。同時也支援從遠端的 zip 或 gzip 檔案串流，但尚不支援 rar 和 xz 等其他壓縮格式。tgz 格式不支援串流。
num_proc (int, 選填，預設為 None) — 在本機下載並產生資料集時使用的處理程序數量。預設停用多重處理。

於 2.7.0 新增
storage_options (dict, 選填，預設為 None) — 實驗性。若有需要，將傳遞給資料集檔案系統後端的鍵值對。

於 2.11.0 新增
**config_kwargs (額外的關鍵字引數) — 將傳遞至 BuilderConfig 並在 DatasetBuilder 中使用的關鍵字引數。

返回

Dataset 或 DatasetDict

若 split 不為 None：回傳請求的資料集，
若 split 為 None，回傳一個包含各分割區的 DatasetDict。

或 IterableDataset 或 IterableDatasetDict：若 streaming=True

若 split 不為 None，則請求該資料集
若 split 為 None，回傳一個包含各分割區的 ~datasets.streaming.IterableDatasetDict。

從 Hugging Face Hub 或本機載入資料集。

您可以在 Hub 上或是使用 huggingface_hub.list_datasets 找到資料集列表。

資料集是一個包含通用格式（JSON、CSV、Parquet 等）資料檔案的目錄，可能具有通用結構（Webdataset、ImageFolder、AudioFolder、VideoFolder 等）。

此函式在幕後執行以下操作

載入資料集建構器
- 尋找資料集中最常見的資料格式，並挑選其對應的建構器（JSON、CSV、Parquet、Webdataset、ImageFolder、AudioFolder 等）
- 根據檔案和目錄名稱或 YAML 設定，判斷哪些檔案屬於哪個分割區（例如 train/test）
- 也可以手動指定 data_files 以及要使用的資料集建構器（例如 "parquet"）。
執行資料集建構器

在一般情況下
- 如果資料檔案在本地或快取中尚不可用，則下載它們。
- 處理資料集並將其快取為具備型別的 Arrow 表格以便快速讀取。
  
  Arrow 表格是長度任意、具備型別的表格，可以儲存巢狀物件並對應至 numpy/pandas/python 通用型別。它們可以直接從磁碟存取、載入記憶體，甚至透過網路串流傳輸。
在串流情況下
- 不下載或快取任何內容。資料集會採取惰性載入 (lazily loaded)，並在疊代時即時串流。
回傳由 split 中請求的分割區所建立的資料集（預設：全部）。

範例

從 Hugging Face Hub 載入資料集

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

從 Hugging Face Hub 上的儲存桶載入資料集

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

載入本機資料集

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

載入 IterableDataset

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

使用 ImageFolder 資料集建構器載入圖像資料集

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

資料集 (Datasets)

資料集 (Datasets)

datasets.load_dataset

datasets.load_from_disk

datasets.load_dataset_builder

datasets.get_dataset_config_names

datasets.get_dataset_infos

datasets.get_dataset_split_names

從檔案載入

文字 (Text)

class datasets.packaged_modules.text.TextConfig

class datasets.packaged_modules.text.Text

CSV

class datasets.packaged_modules.csv.CsvConfig

class datasets.packaged_modules.csv.Csv

JSON

class datasets.packaged_modules.json.JsonConfig

class datasets.Json

XML

class datasets.packaged_modules.xml.XmlConfig

class datasets.packaged_modules.xml.Xml

Parquet

class datasets.packaged_modules.parquet.ParquetConfig

class datasets.packaged_modules.parquet.Parquet

Arrow

class datasets.packaged_modules.arrow.ArrowConfig

class datasets.packaged_modules.arrow.Arrow

SQL

class datasets.packaged_modules.sql.SqlConfig

class datasets.packaged_modules.sql.Sql

影像

class datasets.packaged_modules.imagefolder.ImageFolderConfig

class datasets.packaged_modules.imagefolder.ImageFolder

音訊

class datasets.packaged_modules.audiofolder.AudioFolderConfig

class datasets.packaged_modules.audiofolder.AudioFolder

影片

class datasets.packaged_modules.videofolder.VideoFolderConfig

class datasets.packaged_modules.videofolder.VideoFolder

HDF5

class datasets.packaged_modules.hdf5.HDF5Config

class datasets.packaged_modules.hdf5.HDF5

PDF

class datasets.packaged_modules.pdffolder.PdfFolderConfig

class datasets.packaged_modules.pdffolder.PdfFolder

Nifti

class datasets.packaged_modules.niftifolder.NiftiFolderConfig

class datasets.packaged_modules.niftifolder.NiftiFolder

WebDataset

class datasets.packaged_modules.webdataset.WebDataset