引數

• backbone_config (PretrainedConfig) — 骨幹配置。

一個配置物件的例項

所有構成此配置例項的屬性的字典，

引數

• videos (ImageInput 或 list[ImageInput] 或 list[list[ImageInput]]) — 要預處理的幀。
• do_resize (bool, 可選, 預設為 self.do_resize) — 是否調整影像大小。
• size (dict[str, int], 可選, 預設為 self.size) — 調整大小後圖像的尺寸。
• resample (PILImageResampling, 可選, 預設為 self.resample) — 調整影像大小（如果 do_resize 設定為 True）時使用的重取樣過濾器。這可以是 PILImageResampling 列舉中的一個，僅在 do_resize 設定為 True 時有效。
• do_center_crop (bool, 可選, 預設為 self.do_centre_crop) — 是否中心裁剪影像。
• crop_size (dict[str, int], 可選, 預設為 self.crop_size) — 應用中心裁剪後圖像的尺寸。
• do_rescale (bool, 可選, 預設為 self.do_rescale) — 是否將影像值重新縮放到 [0 - 1] 之間。
• rescale_factor (float, 可選, 預設為 self.rescale_factor) — 如果 do_rescale 設定為 True，則用於重新縮放影像的縮放因子。
• do_pad (bool, 可選, 預設為 True) — 是否填充影像。可以透過 preprocess 方法中的 do_pad 引數覆蓋。
• pad_size (dict[str, int], 可選, 預設為 {"height" -- 448, "width": 448})：應用填充後圖像的尺寸。可以透過 preprocess 方法中的 pad_size 引數覆蓋。
• constant_values (Union[float, Iterable[float]], 可選, 預設為 0) — 填充影像時使用的填充值。
• pad_mode (PaddingMode, 可選, 預設為 “PaddingMode.CONSTANT”) — 填充時使用的模式。
• do_normalize (bool, 可選, 預設為 self.do_normalize) — 是否對影像進行歸一化。
• do_flip_channel_order (bool, 可選, 預設為 self.do_flip_channel_order) — 是否翻轉影像的通道順序。
• image_mean (float 或 list[float], 可選, 預設為 self.image_mean) — 影像均值。
• image_std (float 或 list[float], 可選, 預設為 self.image_std) — 影像標準差。
• return_tensors (str 或 TensorType, 可選) — 要返回的張量型別。可以是以下之一：
  • 未設定：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 型別的批次。
  • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 型別的批次。
  • TensorType.NUMPY 或 'np'：返回 np.ndarray 型別的批次。
  • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 型別的批次。
• data_format (ChannelDimension 或 str, 可選, 預設為 ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一：
  • ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • ChannelDimension.LAST：影像格式為 (height, width, num_channels)。
  • 未設定：使用輸入影像推斷的通道維度格式。
• input_data_format (ChannelDimension 或 str, 可選) — 輸入影像的通道維度格式。如果未設定，則從輸入影像推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：影像格式為 (height, width)。

引數

• text (str, list[str], list[list[str]]) — 要編碼的序列或序列批次。每個序列可以是字串或字串列表（預分詞字串）。如果序列以字串列表（預分詞）形式提供，則必須設定 is_split_into_words=True（以消除與序列批次的歧義）。
• videos (list[PIL.Image.Image], list[np.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[np.ndarray]], — list[list[torch.Tensor]])：要準備的影片或影片批次。每個影片都應該是一個幀列表，可以是 PIL 影像或 NumPy 陣列。如果是 NumPy 陣列/PyTorch 張量，每個幀的形狀應為 (H, W, C)，其中 H 和 W 是幀的高度和寬度，C 是通道數。
• return_tensors (str 或 TensorType, 可選) — 如果設定，將返回特定框架的張量。可接受的值為：
  • 'tf'：返回 TensorFlow tf.constant 物件。
  • 'pt'：返回 PyTorch torch.Tensor 物件。
  • 'np'：返回 NumPy np.ndarray 物件。
  • 'jax'：返回 JAX jnp.ndarray 物件。

一個 BatchEncoding，包含以下欄位：

• input_ids — 要輸入到模型的 token ID 列表。當 text 不為 None 時返回。
• attention_mask — 指定模型應關注哪些 token 的索引列表（當 return_attention_mask=True 或 "attention_mask" 在 self.model_input_names 中且 text 不為 None 時）。
• pixel_values — 要輸入到模型的畫素值。當 videos 不為 None 時返回。

引數

• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 輸入序列標記在詞彙表中的索引。預設情況下會忽略填充。

  索引可以使用 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。詳情請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• attention_mask (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示標記未被掩蓋，
  • 0 表示標記已被掩蓋。

  什麼是注意力掩碼？

• head_mask (torch.FloatTensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示頭部未被掩蓋，
  • 0 表示頭部已被掩蓋。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳情請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳情請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 而非普通的元組。
• interpolate_pos_encoding (bool，預設為 False) — 是否插值預訓練的位置編碼。

引數

• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 輸入序列標記在詞彙表中的索引。預設情況下會忽略填充。

  索引可以使用 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。詳情請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• attention_mask (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示標記未被掩蓋，
  • 0 表示標記已被掩蓋。

  什麼是注意力掩碼？

• labels (torch.FloatTensor，形狀為 (batch_size, 3)，可選) — 標籤包含與文字對應的影片的持續時間、開始時間和結束時間。
• head_mask (torch.FloatTensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示頭部未被掩蓋，
  • 0 表示頭部已被掩蓋。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳情請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳情請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 而非普通的元組。
• interpolate_pos_encoding (bool，預設為 False) — 是否插值預訓練的位置編碼。