timm 文件

資料

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

資料

timm.data.create_dataset

< >

( name: str root: typing.Optional[str] = None split: str = 'validation' search_split: bool = True class_map: dict = None load_bytes: bool = False is_training: bool = False download: bool = False batch_size: int = 1 num_samples: typing.Optional[int] = None seed: int = 42 repeats: int = 0 input_img_mode: str = 'RGB' trust_remote_code: bool = False **kwargs )

引數

  • name — 資料集名稱,對於基於資料夾的資料集可以為空
  • root — 資料集的根目錄(所有型別)
  • split — 資料集劃分(所有型別)
  • search_split — 從根目錄搜尋特定劃分的子資料夾,這樣就可以在命令列/配置中指定 `imagenet/` 而不是 `/imagenet/val` 等。(Folder、Torch 型別)
  • class_map — 透過文字檔案或字典指定 類別 -> 索引 的對映。(Folder 型別)
  • load_bytes — 載入資料,以未解碼的位元組形式返回影像。(Folder 型別)
  • download — 如果資料集不存在且受支援,則下載資料集。(HFIDS、TFDS、Torch 型別)
  • is_training — 在訓練模式下建立資料集,這與 `split` 不同。對於可迭代資料集/TFDS,它會啟用資料打亂;對於其他資料集,則忽略此引數。(TFDS、WDS、HFIDS 型別)
  • batch_size — 可迭代資料集的批次大小提示。(TFDS、WDS、HFIDS 型別)
  • seed — 可迭代資料集的隨機種子。(TFDS、WDS、HFIDS 型別)
  • repeats — 每次迭代(即 epoch)中資料集的重複次數。(TFDS、WDS、HFIDS 型別)
  • input_img_mode — 輸入影像的顏色轉換模式,例如 ‘RGB’、‘L’。(folder、TFDS、WDS、HFDS、HFIDS 型別)
  • trust_remote_code — 如果為 True,則信任 Hugging Face Datasets 中的遠端程式碼。(HFDS、HFIDS 型別)
  • **kwargs — 其他傳遞給底層 Dataset 和/或 Reader 類的引數

資料集工廠方法

每個引數後的括號內是該引數支援的資料集型別,可以是以下之一:

  • Folder - 預設型別,基於 timm 資料夾(或 tar)的 ImageDataset
  • Torch - 基於 torchvision 的資料集
  • HFDS - Hugging Face Datasets
  • HFIDS - Hugging Face Datasets Iterable (流式模式,使用 IterableDataset)
  • TFDS - 透過 IterableImageDataset 在 IterabeDataset 介面中對 Tensorflow-datasets 進行的封裝
  • WDS - Webdataset
  • All - 以上任何一種

timm.data.create_loader

< >

( dataset: typing.Union[timm.data.dataset.ImageDataset, timm.data.dataset.IterableImageDataset] input_size: typing.Union[int, typing.Tuple[int, int], typing.Tuple[int, int, int]] batch_size: int is_training: bool = False no_aug: bool = False re_prob: float = 0.0 re_mode: str = 'const' re_count: int = 1 re_split: bool = False train_crop_mode: typing.Optional[str] = None scale: typing.Optional[typing.Tuple[float, float]] = None ratio: typing.Optional[typing.Tuple[float, float]] = None hflip: float = 0.5 vflip: float = 0.0 color_jitter: float = 0.4 color_jitter_prob: typing.Optional[float] = None grayscale_prob: float = 0.0 gaussian_blur_prob: float = 0.0 auto_augment: typing.Optional[str] = None num_aug_repeats: int = 0 num_aug_splits: int = 0 interpolation: str = 'bilinear' mean: typing.Tuple[float, ...] = (0.485, 0.456, 0.406) std: typing.Tuple[float, ...] = (0.229, 0.224, 0.225) num_workers: int = 1 distributed: bool = False crop_pct: typing.Optional[float] = None crop_mode: typing.Optional[str] = None crop_border_pixels: typing.Optional[int] = None collate_fn: typing.Optional[typing.Callable] = None pin_memory: bool = False fp16: bool = False img_dtype: dtype = torch.float32 device: device = device(type='cuda') use_prefetcher: bool = True use_multi_epochs_loader: bool = False persistent_workers: bool = True worker_seeding: str = 'all' tf_preprocessing: bool = False )

引數

  • dataset — 要載入的影像資料集。
  • input_size — 目標輸入尺寸,可以是(通道數, 高, 寬)元組或單個尺寸值。
  • batch_size — 一個批次中的樣本數量。
  • is_training — 返回訓練(隨機)變換。
  • no_aug — 停用訓練時的資料增強(用於除錯)。
  • re_prob — 隨機擦除的機率。
  • re_mode — 隨機擦除的填充模式。
  • re_count — 隨機擦除的區域數量。
  • re_split — 控制隨機擦除在批次大小上的劃分。
  • scale — 隨機調整大小的縮放範圍(裁剪區域,< 1.0 表示放大)。
  • ratio — 隨機寬高比範圍(RRC 的裁剪比例,RKR 的比例調整因子)。
  • hflip — 水平翻轉的機率。
  • vflip — 垂直翻轉的機率。
  • color_jitter — 隨機顏色抖動的分量因子(亮度、對比度、飽和度、色調)。單個標量值將被應用於 (標量,) * 3(不含色調)。
  • color_jitter_prob — 如果不為 None,則以此機率應用顏色抖動(用於類似 SimCLR 的增強)
  • grayscale_prob — 將影像轉換為灰度的機率(用於類似 SimCLR 的增強)。
  • gaussian_blur_prob — 應用高斯模糊的機率(用於類似 SimCLR 的增強)。
  • auto_augment — 自動增強配置字串(參見 auto_augment.py)。
  • num_aug_repeats — 啟用特殊的取樣器,以便在分散式 GPU 之間重複相同的增強。
  • num_aug_splits — 啟用可以將增強操作在批次中進行劃分的模式。
  • interpolation — 影像插值模式。
  • mean — 影像歸一化均值。
  • std — 影像歸一化標準差。
  • num_workers — 每個 DataLoader 的工作程序數量。
  • distributed — 為分散式訓練啟用資料載入。
  • crop_pct — 推理時的裁剪百分比(輸出尺寸 / 調整後尺寸)。
  • crop_mode — 推理時的裁剪模式。可選值為 [‘squash’, ‘border’, ‘center’] 之一。當為 None 時,預設為 ‘center’。
  • crop_border_pixels — 推理時在原始影像邊緣周圍裁剪指定畫素數的邊界。
  • collate_fn — 覆蓋預設的 collate_fn。
  • pin_memory — 為裝置傳輸鎖定記憶體。
  • fp16 — 已棄用的引數,用於半精度輸入資料型別。請使用 img_dtype。
  • img_dtype — 輸入影像的資料型別。
  • device — 輸入和目標要傳輸到的裝置。
  • use_prefetcher — 使用高效的預取器將樣本載入到裝置上。
  • use_multi_epochs_loader
  • persistent_workers — 啟用持久的工作程序。
  • worker_seeding — 控制工作程序在初始化時的隨機種子。
  • tf_preprocessing — 使用 TF 1.0 的推理預處理,用於測試模型移植。

timm.data.create_transform

< >

( input_size: typing.Union[int, typing.Tuple[int, int], typing.Tuple[int, int, int]] = 224 is_training: bool = False no_aug: bool = False train_crop_mode: typing.Optional[str] = None scale: typing.Optional[typing.Tuple[float, float]] = None ratio: typing.Optional[typing.Tuple[float, float]] = None hflip: float = 0.5 vflip: float = 0.0 color_jitter: typing.Union[float, typing.Tuple[float, ...]] = 0.4 color_jitter_prob: typing.Optional[float] = None grayscale_prob: float = 0.0 gaussian_blur_prob: float = 0.0 auto_augment: typing.Optional[str] = None interpolation: str = 'bilinear' mean: typing.Tuple[float, ...] = (0.485, 0.456, 0.406) std: typing.Tuple[float, ...] = (0.229, 0.224, 0.225) re_prob: float = 0.0 re_mode: str = 'const' re_count: int = 1 re_num_splits: int = 0 crop_pct: typing.Optional[float] = None crop_mode: typing.Optional[str] = None crop_border_pixels: typing.Optional[int] = None tf_preprocessing: bool = False use_prefetcher: bool = False normalize: bool = True separate: bool = False naflex: bool = False patch_size: typing.Union[int, typing.Tuple[int, int]] = 16 max_seq_len: int = 576 patchify: bool = False )

引數

  • input_size — 目標輸入尺寸(通道、高度、寬度)元組或尺寸標量。
  • is_training — 返回訓練(隨機)變換。
  • no_aug — 停用訓練時的資料增強(便於除錯)。
  • train_crop_mode — 訓練時隨機裁剪模式(“rrc”、“rkrc”、“rkrr”)。
  • scale — 隨機調整大小的縮放範圍(裁剪區域,< 1.0 表示放大)。
  • ratio — 隨機寬高比範圍(RRC 的裁剪比例,RKR 的比例調整因子)。
  • hflip — 水平翻轉的機率。
  • vflip — 垂直翻轉的機率。
  • color_jitter — 隨機顏色抖動分量因子(亮度、對比度、飽和度、色相)。標量將作為 (scalar,) * 3 應用(無色相)。
  • color_jitter_prob — 如果不為 None,則以此機率應用顏色抖動(用於類似 SimCLR 的增強)。
  • grayscale_prob — 將影像轉換為灰度的機率(用於類似 SimCLR 的增強)。
  • gaussian_blur_prob — 應用高斯模糊的機率(用於類似 SimCLR 的增強)。
  • auto_augment — AutoAugment 配置字串(見 auto_augment.py)。
  • interpolation — 影像插值模式。
  • mean — 影像歸一化均值。
  • std — 影像歸一化標準差。
  • re_prob — 隨機擦除的機率。
  • re_mode — 隨機擦除的填充模式。
  • re_count — 隨機擦除的區域數量。
  • re_num_splits — 控制隨機擦除在批次大小上的分割。
  • crop_pct — 推理時裁剪百分比(輸出尺寸 / 調整後尺寸)。
  • crop_mode — 推理時裁剪模式。可選值為 [‘squash’, ‘border’, ‘center’]。若為 None,則預設為 ‘center’。
  • crop_border_pixels — 推理時在原始影像邊緣周圍裁剪指定畫素數的邊界。
  • tf_preprocessing — 使用 TF 1.0 推理預處理來測試模型移植
  • use_prefetcher — 啟用預取器。不將影像轉換為張量或進行歸一化。
  • normalize — 使用提供的均值/標準差進行歸一化張量輸出(如果未使用預取器)。
  • separate — 以三階段元組形式輸出變換。

timm.data.resolve_data_config

< >

( args = None pretrained_cfg = None model = None use_test_size = False verbose = False )

< > 在 GitHub 上更新

© . This site is unofficial and not affiliated with Hugging Face, Inc.