引數

• input_ids (torch.LongTensor, 形狀為 (batch_size, sequence_length), 可選) — 詞彙表中輸入序列標記的索引。填充預設會被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• pixel_values (torch.FloatTensor, 形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 與輸入影像對應的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• attention_mask (torch.Tensor, 形狀為 (batch_size, sequence_length), 可選) — 避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示 未被掩蓋 的標記，
  • 0 表示 被掩蓋 的標記。

  什麼是注意力掩碼？

• position_ids (torch.LongTensor, 形狀為 (batch_size, sequence_length), 可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

  什麼是位置 ID？

• return_loss (bool, 可選) — 是否返回對比損失。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量中的`attentions`。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量中的`hidden_states`。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否對預訓練的位置編碼進行插值。

一個`transformers.models.blip.modeling_blip.BlipOutput`或一個`torch.FloatTensor`元組（如果傳入`return_dict=False`或`config.return_dict=False`），其中包含根據配置（BlipConfig）和輸入的不同元素。

• loss (torch.FloatTensor，形狀為 (1,), 可選, 當 return_loss 為 True 時返回) — 影像-文字相似度的對比損失。
• logits_per_image (torch.FloatTensor, 形狀為 (image_batch_size, text_batch_size)) — `image_embeds`和`text_embeds`之間的縮放點積分數。這表示影像-文字相似度分數。
• logits_per_text (torch.FloatTensor, 形狀為 (text_batch_size, image_batch_size)) — `text_embeds`和`image_embeds`之間的縮放點積分數。這表示文字-影像相似度分數。
• text_embeds (torch.FloatTensor, 形狀為 (batch_size, output_dim) — 透過對 BlipTextModel 的池化輸出應用投影層獲得的文字嵌入。
• image_embeds (torch.FloatTensor, 形狀為 (batch_size, output_dim) — 透過對 BlipVisionModel 的池化輸出應用投影層獲得的影像嵌入。
• text_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.text_model_output, 預設為 None) — BlipTextModel 的輸出。
• vision_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.vision_model_output, 預設為 None) — BlipVisionModel 的輸出。

引數

• input_ids (torch.Tensor, 形狀為 (batch_size, sequence_length), 可選) — 詞彙表中輸入序列標記的索引。填充預設會被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (torch.Tensor, 形狀為 (batch_size, sequence_length), 可選) — 避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示 未被掩蓋 的標記，
  • 0 表示 被掩蓋 的標記。

  什麼是注意力掩碼？

• position_ids (torch.Tensor, 形狀為 (batch_size, sequence_length), 可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

  什麼是位置 ID？

• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

透過對 BlipTextModel 的池化輸出應用投影層獲得的文字嵌入。

引數

• pixel_values (torch.FloatTensor, 形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 與輸入影像對應的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否對預訓練的位置編碼進行插值。

透過對 BlipVisionModel 的池化輸出應用投影層獲得的影像嵌入。

引數

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否插值預訓練的位置編碼。

一個 transformers.modeling_outputs.BaseModelOutputWithPooling 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False 時），包含根據配置 (BlipConfig) 和輸入的不同元素。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor) — 模型最後一層輸出的隱藏狀態序列。

• pooler_output (形狀為 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列中第一個標記（分類標記）的最後一層隱藏狀態，經過用於輔助預訓練任務的層進一步處理。例如，對於 BERT 家族模型，這會返回經過線性層和 tanh 啟用函式處理後的分類標記。線性層權重在預訓練期間透過下一個句子預測（分類）目標進行訓練。

• hidden_states (tuple(torch.FloatTensor), 可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則為嵌入層輸出 + 每個層的輸出）。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(torch.FloatTensor), 可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每個層一個）。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 詞彙表中輸入序列標記的索引。填充將預設被忽略。

  索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是 input IDs？

• attention_mask (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 掩碼，用於避免在填充標記索引上執行注意力。掩碼值在 [0, 1] 中選擇：
  • 1 表示 未被掩碼 的標記，
  • 0 表示 被掩碼 的標記。

  什麼是注意力掩碼？

• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的 hidden_states。
• labels (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 用於計算掩碼語言建模損失的標籤。索引應在 [0, ..., config.vocab_size] 或 -100 之間（參見 input_ids 文件字串）。索引設定為 -100 的標記將被忽略（掩碼），損失僅針對標籤在 [0, ..., config.vocab_size] 中的標記計算。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否插值預訓練的位置編碼。

一個 transformers.models.blip.modeling_blip.BlipForConditionalGenerationModelOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False 時），包含根據配置 (BlipConfig) 和輸入的不同元素。

• loss (torch.FloatTensor, 可選，當提供 labels 時返回，形狀為 (1,) 的 torch.FloatTensor) — 來自文字解碼器的語言建模損失。

• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor, 可選) — 文字解碼器模型語言建模頭的預測分數。

• image_embeds (形狀為 (batch_size, output_dim) 的 torch.FloatTensor, 可選) — 在對輸入影像應用 Vision Transformer 模型後獲得的影像嵌入。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選，預設為 None) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple(torch.FloatTensor), 可選，當 output_hidden_states=True 被傳入時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則為嵌入層輸出 + 每個層的輸出）。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(torch.FloatTensor), 可選，當傳入 output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每個層一個）。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor) — 詞彙表中輸入序列標記的索引。填充將預設被忽略。

  索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是 input IDs？

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• use_itm_head (bool, 可選，預設為 True) — 是否使用影像-文字匹配頭。
• attention_mask (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 掩碼，用於避免在填充標記索引上執行注意力。掩碼值在 [0, 1] 中選擇：
  • 1 表示 未被掩碼 的標記，
  • 0 表示 被掩碼 的標記。

  什麼是注意力掩碼？

• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否插值預訓練的位置編碼。

一個 transformers.models.blip.modeling_blip.BlipTextVisionModelOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False 時），包含根據配置 (BlipConfig) 和輸入的不同元素。

• loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 來自文字解碼器的語言建模損失。

• image_embeds (形狀為 (batch_size, output_dim) 的 torch.FloatTensor，可選，當模型以 with_projection=True 初始化時返回) — 透過將投影層應用於 pooler_output 獲得的影像嵌入。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選，預設為 None) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple[torch.FloatTensor, ...], 可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則為嵌入層輸出 + 每個層的輸出）。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple[torch.FloatTensor, ...], 可選，當傳入 output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每個層一個）。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor) — 詞彙表中輸入序列標記的索引。填充將預設被忽略。

  索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是 input IDs？

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• decoder_input_ids (形狀為 (batch_size, target_sequence_length) 的 torch.LongTensor，可選) — 詞彙表中解碼器輸入序列標記的索引。

  索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器 input ID？

• decoder_attention_mask (形狀為 (batch_size, target_sequence_length) 的 torch.LongTensor，可選) — 掩碼，用於避免在某些標記索引上執行注意力。預設情況下，將使用因果掩碼，以確保模型只能檢視先前的輸入以預測未來。
• attention_mask (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示**未被掩碼**的標記，
  • 0 表示**被掩碼**的標記。

  什麼是注意力掩碼？

• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
• labels (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在 [0, ..., config.vocab_size] 或 -100 之間（請參閱 input_ids 文件字串）。索引設定為 -100 的標記將被忽略（掩碼），損失僅針對標籤在 [0, ..., config.vocab_size] 範圍內的標記計算。
• return_dict (bool，可選) — 是否返回 ModelOutput 物件而不是普通元組。
• interpolate_pos_encoding (bool，預設為 False) — 是否插值預訓練的位置編碼。

一個 transformers.models.blip.modeling_blip.BlipTextVisionModelOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False 時），包含根據配置 (BlipConfig) 和輸入的不同元素。

• loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 來自文字解碼器的語言建模損失。

• image_embeds (形狀為 (batch_size, output_dim) 的 torch.FloatTensor，可選，當模型以 with_projection=True 初始化時返回) — 透過將投影層應用於 pooler_output 獲得的影像嵌入。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選，預設為 None) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple[torch.FloatTensor, ...], 可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則為嵌入層輸出 + 每個層的輸出）。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple[torch.FloatTensor, ...], 可選，當傳入 output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每個層一個）。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• input_ids (tf.Tensor，形狀為 (batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果提供填充，預設情況下將忽略它。

  索引可以使用 AutoProcessor 獲取。詳細資訊請參閱 BlipProcessor.__call__()。

  什麼是輸入 ID？

• attention_mask (tf.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示**未被掩碼**的標記，
  • 0 表示**被掩碼**的標記。

  什麼是注意力掩碼？

• position_ids (tf.Tensor，形狀為 (batch_size, sequence_length)，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍為 [0, config.max_position_embeddings - 1]。

  什麼是位置 ID？

• pixel_values (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 畫素值。如果提供填充，預設情況下將忽略它。畫素值可以使用 BlipImageProcessor 獲取。詳細資訊請參閱 BlipImageProcessor.call()。
• return_loss (bool，可選) — 是否返回對比損失。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 物件而不是普通元組。

一個 transformers.models.blip.modeling_tf_blip.TFBlipOutput 物件或一個 tf.Tensor 元組（如果 return_dict=False 或 config.return_dict=False），包含根據配置（<class 'transformers.models.blip.configuration_blip.BlipConfig'>）和輸入的不同元素。

• loss (tf.Tensor，形狀為 (1,)，可選，當 return_loss 為 True 時返回) — 影像-文字相似度的對比損失。
• logits_per_image:(tf.Tensor，形狀為 (image_batch_size, text_batch_size)) — image_embeds 和 text_embeds 之間的縮放點積分數。這表示影像-文字相似度分數。
• logits_per_text:(tf.Tensor，形狀為 (text_batch_size, image_batch_size)) — text_embeds 和 image_embeds 之間的縮放點積分數。這表示文字-影像相似度分數。
• text_embeds(tf.Tensor，形狀為 (batch_size, output_dim) — 透過對 BlipTextModel 的池化輸出應用投影層獲得的文字嵌入。
• image_embeds(tf.Tensor，形狀為 (batch_size, output_dim) — 透過對 BlipVisionModel 的池化輸出應用投影層獲得的影像嵌入。
• text_model_output(BaseModelOutputWithPooling): BlipTextModel 的輸出。
• vision_model_output(BaseModelOutputWithPooling): BlipVisionModel 的輸出。

引數

• input_ids (tf.Tensor，形狀為 (batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果提供填充，預設情況下將忽略它。

  索引可以使用 AutoProcessor 獲取。詳細資訊請參閱 BlipProcessor.__call__()。

  什麼是輸入 ID？

• attention_mask (tf.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示**未被掩碼**的標記，
  • 0 表示**被掩碼**的標記。

  什麼是注意力掩碼？

• position_ids (tf.Tensor，形狀為 (batch_size, sequence_length)，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍為 [0, config.max_position_embeddings - 1]。

  什麼是位置 ID？

• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 物件而不是普通元組。

透過對 TFBlipTextModel 的池化輸出應用投影層獲得的文字嵌入。

引數

• pixel_values (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 畫素值。如果提供填充，預設情況下將忽略它。畫素值可以使用 BlipImageProcessor 獲取。詳細資訊請參閱 BlipImageProcessor.call()。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 物件而不是普通元組。

透過對 TFBlipVisionModel 的池化輸出應用投影層獲得的影像嵌入。

引數

• input_ids (tf.Tensor，形狀為 (batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果提供填充，預設情況下將忽略它。

  索引可以使用 AutoProcessor 獲取。詳細資訊請參閱 BlipProcessor.__call__()。

  什麼是輸入 ID？

• attention_mask (tf.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
  • 1 表示**未被掩碼**的標記，
  • 0 表示**被掩碼**的標記。

  什麼是注意力掩碼？

• position_ids (tf.Tensor，形狀為 (batch_size, sequence_length)，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍為 [0, config.max_position_embeddings - 1]。

  什麼是位置 ID？

• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 物件而不是普通元組。
• encoder_hidden_states (tf.Tensor，可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型配置為解碼器，則用於交叉注意力。
• encoder_attention_mask (tf.Tensor，可選) — 用於避免對編碼器輸入中的填充標記索引執行注意力操作的掩碼。如果模型配置為解碼器，則此掩碼用於交叉注意力。掩碼值選擇範圍為 [0, 1]：
  • 1 表示**未被掩碼**的標記，
  • 0 表示**被掩碼**的標記。
• past_key_values (tuple(tuple(tf.Tensor))，可選) — 包含注意力塊的預計算鍵值隱藏狀態。可用於加速解碼。如果使用 past_key_values，使用者可以選擇只輸入形狀為 (batch_size, 1) 的最後一個 decoder_input_ids（那些未向模型提供其過去的鍵值狀態的 ID），而不是形狀為 (batch_size, sequence_length) 的所有 decoder_input_ids。
• use_cache (bool，可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼（請參閱 past_key_values）。

引數

• input_ids (tf.Tensor of shape (batch_size, sequence_length)) — 輸入序列標記在詞彙表中的索引。如果提供填充，將預設忽略。

  索引可以使用 AutoProcessor 獲得。詳情請參閱 BlipProcessor.__call__()。

  什麼是輸入 ID？

• attention_mask (tf.Tensor of shape (batch_size, sequence_length), 可選) — 掩碼，用於避免對填充標記索引執行注意力操作。掩碼值選擇在 [0, 1] 之間：
  • 1 表示未被掩碼的標記，
  • 0 表示被掩碼的標記。

  什麼是注意力掩碼？

• position_ids (tf.Tensor of shape (batch_size, sequence_length), 可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍為 [0, config.max_position_embeddings - 1]。

  什麼是位置 ID？

• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參見返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參見返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• encoder_hidden_states (tf.Tensor, 可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型被配置為解碼器，則在交叉注意力中使用。
• encoder_attention_mask (tf.Tensor, 可選) — 掩碼，用於避免對編碼器輸入的填充標記索引執行注意力操作。如果模型被配置為解碼器，則在交叉注意力中使用此掩碼。掩碼值選擇在 [0, 1] 之間：
  • 1 表示未被掩碼的標記，
  • 0 表示被掩碼的標記。
• labels (tf.Tensor, 可選) — 用於計算從左到右語言建模損失（下一個詞預測）的標籤。索引應在 [-100, 0, ..., config.vocab_size] 之間（參見 input_ids 文件字串）。索引設定為 -100 的標記將被忽略（掩碼），損失僅針對標籤為 [0, ..., config.vocab_size] 的標記計算。
• past_key_values (tuple(tuple(tf.Tensor)), 可選) — 包含注意力塊預計算的鍵和值隱藏狀態。可用於加速解碼。如果使用 past_key_values，使用者可以選擇只輸入最後一個 decoder_input_ids（未向此模型提供過去鍵值狀態的那些）形狀為 (batch_size, 1)，而不是所有 decoder_input_ids 形狀為 (batch_size, sequence_length)。
• use_cache (bool, 可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。

引數

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 畫素值。如果提供填充，將預設忽略。畫素值可以使用 BlipImageProcessor 獲取。詳情請參閱 BlipImageProcessor.call()。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參見返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參見返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

一個 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或 tf.Tensor 的元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和輸入而變化的各種元素。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

• pooler_output (tf.Tensor of shape (batch_size, hidden_size)) — 序列中第一個標記（分類標記）的最後一層隱藏狀態，經過線性層和 Tanh 啟用函式進一步處理。線性層權重在預訓練期間透過下一句預測（分類）目標進行訓練。

  此輸出通常不是輸入語義內容的良好摘要，通常最好對整個輸入序列的隱藏狀態進行平均或池化。

• hidden_states (tuple(tf.Tensor), 可選, 當傳入 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入層的輸出 + 每個層的輸出）形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態加上初始嵌入輸出。

• attentions (tuple(tf.Tensor), 可選, 當傳入 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每個層一個）形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 畫素值。如果提供填充，將預設忽略。畫素值可以使用 BlipImageProcessor 獲取。詳情請參閱 BlipImageProcessor.call()。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參見返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參見返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

一個 transformers.models.blip.modeling_tf_blip.TFBlipForConditionalGenerationModelOutput 或 tf.Tensor 的元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (<class 'transformers.models.blip.configuration_blip.BlipConfig'>) 和輸入而變化的各種元素。

• loss (tf.Tensor, 可選, 當提供 labels 時返回, tf.Tensor of shape (1,)) — 來自文字解碼器的語言建模損失。

• logits (tf.Tensor of shape (batch_size, sequence_length, config.vocab_size), 可選) — 文字解碼器模型語言建模頭部的預測分數。

• image_embeds (tf.Tensor of shape (batch_size, output_dim), 可選) — 應用視覺 Transformer 模型到輸入影像後獲得的影像嵌入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size), 可選) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple(tf.Tensor), 可選, 當傳入 output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出）形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(tf.Tensor), 可選, 當傳入 output_attentions=True 時返回) — tf.Tensor 的元組（每個層一個）形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 畫素值。如果提供填充，將預設忽略。畫素值可以使用 BlipImageProcessor 獲取。詳情請參閱 BlipImageProcessor.call()。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參見返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參見返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

一個 transformers.models.blip.modeling_tf_blip.TFBlipImageTextMatchingModelOutput 或 tf.Tensor 的元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和輸入而變化的各種元素。

• itm_score (tf.Tensor) — 影像-文字相似度得分。

• loss (tf.Tensor of shape (1,), 可選, 當提供 labels 時返回) — 來自文字解碼器的語言建模損失。

• image_embeds (tf.Tensor of shape (batch_size, output_dim) 可選 當模型使用 with_projection=True 初始化時返回) — 透過將投影層應用於 pooler_output 獲得的影像嵌入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple(tf.Tensor), 可選, 當傳入 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出）形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• vision_pooler_output (tf.Tensor of shape (batch_size, hidden_size), 可選) — 模型視覺分支中最後一層的隱藏狀態。

• attentions (tuple(tf.Tensor), 可選, 當傳入 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每個層一個）形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

• question_embeds (tf.Tensor) — 透過文字投影層獲得的問句嵌入。

引數

• pixel_values (形狀為 (batch_size, num_channels, height, width) 的 tf.Tensor) — 畫素值。如果提供填充，預設情況下將被忽略。畫素值可以使用 BlipImageProcessor 獲取。有關詳細資訊，請參閱 BlipImageProcessor.call()。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是純元組。

一個 transformers.models.blip.modeling_tf_blip.TFBlipTextVisionModelOutput 或一個 tf.Tensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和輸入而定的各種元素。

• loss (tf.Tensor of shape (1,), 可選, 當提供 labels 時返回) — 來自文字解碼器的語言建模損失。

• image_embeds (tf.Tensor of shape (batch_size, output_dim) 可選 當模型使用 with_projection=True 初始化時返回) — 透過將投影層應用於 pooler_output 獲得的影像嵌入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple(tf.Tensor), 可選, 當傳入 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出）形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(tf.Tensor), 可選, 當傳入 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每個層一個）形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。