一個配置物件的例項

引數

• do_resize (bool, 可選, 預設為 self.do_resize) — 是否將影片的 (高度, 寬度) 尺寸調整到指定的 size。可以透過 preprocess 方法中的 do_resize 引數覆蓋。
• size (dict, 可選, 預設為 self.size) — 調整大小後的輸出影片大小。可以透過 preprocess 方法中的 size 引數覆蓋。
• size_divisor (int, 可選, 預設為 self.size_divisor) — 確保高度和寬度都能被其整除的大小。
• default_to_square (bool, 可選, 預設為 self.default_to_square) — 如果 size 是一個整數，是否預設調整為方形影片。
• resample (PILImageResampling, 可選, 預設為 self.resample) — 如果調整影片大小，則使用的重取樣濾波器。僅當 do_resize 設定為 True 時才生效。可以透過 preprocess 方法中的 resample 引數覆蓋。
• do_center_crop (bool, 可選, 預設為 self.do_center_crop) — 是否將影片中心裁剪到指定的 crop_size。可以透過 preprocess 方法中的 do_center_crop 覆蓋。
• do_pad (bool, 可選) — 是否將影片填充到批次中影片的 (max_height, max_width)。
• crop_size (dict[str, int] 可選, 預設為 self.crop_size) — 應用 center_crop 後的輸出影片大小。可以透過 preprocess 方法中的 crop_size 覆蓋。
• do_rescale (bool, 可選, 預設為 self.do_rescale) — 是否按指定的比例 rescale_factor 重新縮放影片。僅當 do_rescale 設定為 True 時才生效。可以透過 preprocess 方法中的 do_rescale 引數覆蓋。
• rescale_factor (int 或 float, 可選, 預設為 self.rescale_factor) — 如果重新縮放影片，則使用的比例因子。僅當 do_rescale 設定為 True 時才生效。可以透過 preprocess 方法中的 rescale_factor 引數覆蓋。
• do_normalize (bool, 可選, 預設為 self.do_normalize) — 是否規範化影片。可以透過 preprocess 方法中的 do_normalize 引數覆蓋。可以透過 preprocess 方法中的 do_normalize 引數覆蓋。
• image_mean (float 或 list[float], 可選, 預設為 self.image_mean) — 如果規範化影片，則使用的均值。這是一個浮點數或浮點數列表，其長度與影片中的通道數相同。可以透過 preprocess 方法中的 image_mean 引數覆蓋。可以透過 preprocess 方法中的 image_mean 引數覆蓋。
• image_std (float 或 list[float], 可選, 預設為 self.image_std) — 如果規範化影片，則使用的標準差。這是一個浮點數或浮點數列表，其長度與影片中的通道數相同。可以透過 preprocess 方法中的 image_std 引數覆蓋。可以透過 preprocess 方法中的 image_std 引數覆蓋。
• do_convert_rgb (bool, 可選, 預設為 self.image_std) — 是否將影片轉換為 RGB。
• video_metadata (VideoMetadata, 可選) — 影片的元資料，包含總時長、幀率和總幀數資訊。
• do_sample_frames (int, 可選, 預設為 self.do_sample_frames) — 在處理前是否從影片中取樣幀，或處理整個影片。
• num_frames (int, 可選, 預設為 self.num_frames) — 當 do_sample_frames=True 時，要取樣的最大幀數。
• fps (int, 可選, 預設為 self.fps) — 當 do_sample_frames=True 時，每秒要取樣的目標幀數。
• return_tensors (str 或 TensorType, 可選) — 如果設定為 `pt`，則返回堆疊的張量，否則返回張量列表。
• data_format (ChannelDimension 或 str, 可選, 預設為 ChannelDimension.FIRST) — 輸出影片的通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影片格式為 (通道數, 高度, 寬度)。
  • "channels_last" 或 ChannelDimension.LAST：影片格式為 (高度, 寬度, 通道數)。
  • 未設定：使用輸入影片的通道維度格式。
• input_data_format (ChannelDimension 或 str, 可選) — 輸入影片的通道維度格式。如果未設定，則從輸入影片推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影片格式為 (通道數, 高度, 寬度)。
  • "channels_last" 或 ChannelDimension.LAST：影片格式為 (高度, 寬度, 通道數)。
  • "none" 或 ChannelDimension.NONE：影片格式為 (高度, 寬度)。
• device (torch.device, 可選) — 處理影片的裝置。如果未設定，則從輸入影片推斷裝置。

引數

• videos (VideoInput) — 待預處理的影片幀。期望單個或批次的影片，作為畫素值範圍從0到255的幀列表。如果傳入畫素值在0到1之間的影片，請設定do_rescale=False。
• do_resize (bool, 可選, 預設為 self.do_resize) — 是否調整影片大小。
• size (dict[str, int], 可選, 預設為 self.size) — 控制resize後影片的大小。影像的最短邊將調整為size["shortest_edge"]，同時保持縱橫比。如果此調整大小後的影像的最長邊大於int(size["shortest_edge"] * (1333 / 800))，則影像將再次調整大小，使最長邊等於int(size["shortest_edge"] * (1333 / 800))。
• resample (PILImageResampling, 可選, 預設為 self.resample) — 如果調整影片大小，則使用的重取樣濾波器。僅當do_resize設定為True時才有效。
• do_rescale (bool, 可選, 預設為 self.do_rescale) — 是否將影片值縮放到 [0 - 1] 之間。
• rescale_factor (float, 可選, 預設為 self.rescale_factor) — 如果do_rescale設定為True，則用於縮放影片的縮放因子。
• do_normalize (bool, 可選, 預設為 self.do_normalize) — 是否對影片進行歸一化。
• image_mean (float 或 list[float], 可選, 預設為 self.image_mean) — 如果do_normalize設定為True，則用於歸一化影片的影像平均值。
• image_std (float 或 list[float], 可選, 預設為 self.image_std) — 如果do_normalize設定為True，則用於歸一化影片的影像標準差。
• do_convert_rgb (bool, 可選, 預設為 self.do_convert_rgb) — 是否將影像轉換為RGB格式。
• return_tensors (str 或 TensorType, 可選) — 要返回的張量型別。可以是以下之一：
  • 未設定：返回一個 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回一個 tf.Tensor 型別的批次。
  • TensorType.PYTORCH 或 'pt'：返回一個 torch.Tensor 型別的批次。
  • TensorType.NUMPY 或 'np'：返回一個 np.ndarray 型別的批次。
  • TensorType.JAX 或 'jax'：返回一個 jax.numpy.ndarray 型別的批次。
• data_format (ChannelDimension 或 str, 可選, 預設為 ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (通道數, 高度, 寬度)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (高度, 寬度, 通道數)。
  • 未設定：使用輸入影像的通道維度格式。
• input_data_format (ChannelDimension 或 str, 可選) — 輸入影像的通道維度格式。如果未設定，將從輸入影像推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (通道數, 高度, 寬度)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (高度, 寬度, 通道數)。
  • "none" 或 ChannelDimension.NONE：影像格式為 (高度, 寬度)。

引數

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 進行影像處理）。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否插值預訓練的位置編碼。

一個 transformers.modeling_outputs.BaseModelOutputWithPooling 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），包含根據配置（InstructBlipVideoConfig）和輸入的不同元素。

• last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

• pooler_output (形狀為 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列中第一個標記（分類標記）的最後一層隱藏狀態，經過用於輔助預訓練任務的層進一步處理。例如，對於BERT系列模型，這將在預訓練期間透過線性層和 tanh 啟用函式處理後返回分類標記。線性層權重在預訓練期間透過下一個句子預測（分類）目標進行訓練。

• hidden_states (tuple(torch.FloatTensor), 可選, 當傳入 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則為嵌入層輸出，加上每個層的輸出）。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(torch.FloatTensor), 可選, 當傳入 output_attentions=True 或當 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每個層一個）。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 進行影像處理）。
• qformer_input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — Q-Former 詞彙表中的輸入序列 token 索引。可以選擇提供輸入 token 作為文字提示，Q-Former 模型將對其進行編碼。

  索引可以使用 InstructBlipVideoProcessor 獲取。有關詳細資訊，請參閱 InstructBlipVideoProcessor.__call__()。

  什麼是輸入 ID？

• qformer_attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值選擇在 [0, 1] 之間：
  • 1 表示**未被掩碼**的 token，
  • 0 表示**被掩碼**的 token。

  什麼是注意力掩碼？

• input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 語言模型詞彙表中的輸入序列 token 索引。可以選擇提供輸入 token 作為文字提示，語言模型可以繼續生成。

  索引可以使用 InstructBlipVideoProcessor 獲取。有關詳細資訊，請參閱 InstructBlipVideoProcessor.__call__()。

  什麼是輸入 ID？

• attention_mask (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值選擇在 [0, 1] 之間：
  • 1 表示**未被掩碼**的 token，
  • 0 表示**被掩碼**的 token。

  什麼是注意力掩碼？

• decoder_input_ids (形狀為 (batch_size, target_sequence_length) 的 torch.LongTensor, 可選) — 解碼器輸入序列 token 在詞彙表中的索引。

  索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器輸入 ID？

• decoder_attention_mask (形狀為 (batch_size, target_sequence_length) 的 torch.BoolTensor, 可選) — 預設行為：生成一個忽略 decoder_input_ids 中填充 token 的張量。預設情況下也會使用因果掩碼。

  僅當使用編碼器-解碼器語言模型（如 T5）時才相關。

• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否插值預訓練的位置編碼。
• use_cache (bool, 可選) — 如果設定為 True，則返回 past_key_values 鍵值狀態，可用於加速解碼（請參閱 past_key_values）。

一個 transformers.models.instructblipvideo.modeling_instructblipvideo.InstructBlipVideoForConditionalGenerationModelOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），包含根據配置（InstructBlipVideoConfig）和輸入的不同元素。

• loss (torch.FloatTensor, 可選, 當提供 labels 時返回, 形狀為 (1,) 的 torch.FloatTensor) — 語言模型的語言建模損失。
• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言模型的語言建模頭部預測分數。
• vision_outputs (torch.FloatTensor, 可選, 預設為 None) — 視覺編碼器的輸出。
• qformer_outputs (tuple[torch.FloatTensor], 可選, 預設為 None) — Q-Former（查詢 Transformer）的輸出。
• language_model_outputs (CausalLMOutputWithPast 或 Seq2SeqLMOutput) — 語言模型的輸出。

引數

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 進行影像處理）。
• qformer_input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — Q-Former 詞彙表中輸入序列 token 的索引。可以可選地提供輸入 token 作為文字提示，Q-Former 模型將對其進行編碼。

  可以使用 InstructBlipVideoProcessor 獲取索引。有關詳細資訊，請參閱 InstructBlipVideoProcessor.__call__()。

  什麼是輸入 ID？

• qformer_attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免在填充 token 索引上執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示未被掩蓋的 token，
  • 0 表示被掩蓋的 token。

  什麼是注意力掩碼？

• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 語言模型詞彙表中輸入序列 token 的索引。可以可選地提供輸入 token 作為文字提示，語言模型可以繼續生成。

  可以使用 InstructBlipVideoProcessor 獲取索引。有關詳細資訊，請參閱 InstructBlipVideoProcessor.__call__()。

  什麼是輸入 ID？

• attention_mask (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免在填充 token 索引上執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示未被掩蓋的 token，
  • 0 表示被掩蓋的 token。

  什麼是注意力掩碼？

• decoder_input_ids (torch.LongTensor，形狀為 (batch_size, target_sequence_length)，可選) — 解碼器輸入序列 token 在詞彙表中的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器輸入 ID？

• decoder_attention_mask (torch.BoolTensor，形狀為 (batch_size, target_sequence_length)，可選) — 預設行為：生成一個在 decoder_input_ids 中忽略填充 token 的張量。預設情況下也將使用因果掩碼。

  僅在使用編碼器-解碼器語言模型（如 T5）時相關。

• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量中的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量中的 hidden_states。
• labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算語言模型損失的標籤。索引應在 [-100, 0, ..., config.vocab_size - 1] 範圍內。所有設定為 -100 的標籤都將被忽略（被掩蓋），損失僅針對 [0, ..., config.vocab_size] 範圍內的標籤計算。
• return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通元組。
• interpolate_pos_encoding (bool，預設為 False) — 是否對預訓練的位置編碼進行插值。
• use_cache (bool，可選) — 如果設定為 True，則返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。

一個 transformers.models.instructblipvideo.modeling_instructblipvideo.InstructBlipVideoForConditionalGenerationModelOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），包含根據配置（InstructBlipVideoConfig）和輸入的不同元素。

• loss (torch.FloatTensor, 可選, 當提供 labels 時返回, 形狀為 (1,) 的 torch.FloatTensor) — 語言模型的語言建模損失。
• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言模型的語言建模頭部預測分數。
• vision_outputs (torch.FloatTensor, 可選, 預設為 None) — 視覺編碼器的輸出。
• qformer_outputs (tuple[torch.FloatTensor], 可選, 預設為 None) — Q-Former（查詢 Transformer）的輸出。
• language_model_outputs (CausalLMOutputWithPast 或 Seq2SeqLMOutput) — 語言模型的輸出。

引數

• pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, height, width) 或 (batch_size, num_frames, num_channels, height, width))：要處理的輸入影像或影片。
• qformer_input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用作 Q-Former 模組提示的序列。
• qformer_attention_mask (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免在填充 token 索引上執行注意力操作的掩碼。
• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用作生成提示的序列。
• attention_mask (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免在填充 token 索引上執行注意力操作的掩碼。
• interpolate_pos_encoding (bool，可選，預設為 False) — 是否對影像嵌入的位置編碼進行插值。

一個字串列表，長度為 batch_size * num_captions。