引數

• input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。

  索引可以使用 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。詳情請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 進行影像處理）。
• attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 遮罩，用於避免在填充 token 索引上執行注意力。遮罩值在 [0, 1] 中選擇：
  • 1 表示 未被遮罩 的 token，
  • 0 表示 被遮罩 的 token。

  什麼是注意力遮罩？

• position_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 每個輸入序列 token 在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 範圍內選擇。

  什麼是位置 ID？

• past_key_values (Union[list[torch.FloatTensor], ~cache_utils.Cache, NoneType]) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的 past_key_values，當 use_cache=True 或 config.use_cache=True 時。

  允許兩種格式：

  • Cache 例項，請參閱我們的 kv 快取指南；
  • 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量。這也被稱為傳統快取格式。

  模型將輸出與輸入相同的快取格式。如果未傳遞 past_key_values，則將返回傳統快取格式。

  如果使用 past_key_values，使用者可以選擇只輸入形狀為 (batch_size, 1) 的最後一個 input_ids（那些沒有將其過去的鍵值狀態提供給此模型的輸入），而不是形狀為 (batch_size, sequence_length) 的所有 input_ids。

• token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 段落 token 索引，用於指示輸入的第一個和第二個部分。索引在 [0, 1] 中選擇：
  • 0 對應於 句子 A token，
  • 1 對應於 句子 B token。

  什麼是 token 型別 ID？

• cache_position (形狀為 (sequence_length) 的 torch.LongTensor, 可選) — 描述輸入序列 token 在序列中位置的索引。與 position_ids 不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
• inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選) — 可選地，您可以直接傳遞嵌入表示，而不是傳遞 input_ids。如果您希望對如何將 input_ids 索引轉換為相關向量具有比模型內部嵌入查詢矩陣更多的控制，則此功能很有用。
• labels (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 用於計算遮罩語言建模損失的標籤。索引應在 [0, ..., config.text_config.vocab_size] 或 -100 之間（請參閱 input_ids 文件字串）。索引設定為 -100 的 token 將被忽略（遮罩），損失僅針對標籤在 [0, ..., config.text_config.vocab_size] 中的 token 計算。
• use_cache (bool, 可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，並可用於加速解碼（請參閱 past_key_values）。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳情，請參閱返回張量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量中的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是純元組。

一個 transformers.models.paligemma.modeling_paligemma.PaligemmaModelOutputWithPast 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (PaliGemmaConfig) 和輸入而定的各種元素。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選) — 模型最後一層輸出的隱藏狀態序列。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可選, 當傳入 use_cache=True 或 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量。

  包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• hidden_states (tuple[torch.FloatTensor, ...], 可選, 當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個）的形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple[torch.FloatTensor, ...], 可選, 當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每個層一個）的形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

• image_hidden_states (torch.FloatTensor, 可選) — 形狀為 (batch_size, num_images, sequence_length, hidden_size) 的 torch.FloatTensor。由視覺編碼器生成並投影最後一個隱藏狀態後的模型的 image_hidden_states。

引數

• pixel_values (形狀為 (batch_size, channels, height, width) 的 torch.FloatTensor]) — 對應輸入影像的張量。

形狀為 (num_images, image_length, embed_dim) 的影像特徵張量。

引數

• input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor) — 詞彙表中輸入序列標記的索引。預設情況下會忽略填充。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 遮罩，用於避免在填充標記索引上執行注意力。遮罩值在 [0, 1] 中選擇：
  • 1 表示**未被遮罩**的標記，
  • 0 表示**被遮罩**的標記。

  什麼是注意力遮罩？

• position_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

  什麼是位置 ID？

• past_key_values (Union[list[torch.FloatTensor], ~cache_utils.Cache, NoneType]) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的 past_key_values，當 use_cache=True 或 config.use_cache=True 時。

  允許兩種格式：

  • 一個 Cache 例項，請參閱我們的 kv 快取指南；
  • 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量）。這也被稱為舊版快取格式。

  模型將輸出與輸入相同的快取格式。如果沒有傳入 past_key_values，將返回舊版快取格式。

  如果使用 past_key_values，使用者可以選擇只輸入最後 input_ids（那些沒有將其過去的鍵值狀態提供給此模型的）的形狀為 (batch_size, 1)，而不是所有 input_ids 的形狀為 (batch_size, sequence_length)。

• token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 分段標記索引，用於指示輸入的第一個和第二個部分。索引在 [0, 1] 中選擇：
  • 0 對應於 *句子 A* 標記，
  • 1 對應於 *句子 B* 標記。

  什麼是標記型別 ID？

• cache_position (形狀為 (sequence_length) 的 torch.LongTensor, 可選) — 描繪輸入序列標記在序列中位置的索引。與 position_ids 不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
• inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選) — （可選）您可以選擇直接傳入嵌入表示，而不是傳入 input_ids。如果您希望對如何將 input_ids 索引轉換為關聯向量擁有比模型內部嵌入查詢矩陣更多的控制權，這將非常有用。
• labels (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 用於計算遮罩語言建模損失的標籤。索引應為 [0, ..., config.text_config.vocab_size] 或 -100（參閱 input_ids 文件字串）。索引設定為 -100 的標記將被忽略（遮罩），損失僅針對標籤在 [0, ..., config.text_config.vocab_size] 中的標記計算。
• use_cache (bool, 可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼（參閱 past_key_values）。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量中的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量中的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是純元組。
• logits_to_keep (Union[int, torch.Tensor], 預設為 0) — 如果是 int，則計算最後 logits_to_keep 個標記的 logits。如果是 0，則計算所有 input_ids 的 logits（特殊情況）。生成時只需要最後一個標記的 logits，只計算該標記可以節省記憶體，這對於長序列或大詞彙量來說非常重要。如果是 torch.Tensor，則必須是與序列長度維度中要保留的索引相對應的 1D 張量。這在使用打包張量格式（批次和序列長度的單維度）時非常有用。

一個 transformers.models.paligemma.modeling_paligemma.PaliGemmaCausalLMOutputWithPast 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (PaliGemmaConfig) 和輸入而定的各種元素。

• loss (torch.FloatTensor 形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失（用於下一個 token 預測）。

• logits (形狀為 (batch_size, sequence_length, config.text_config.vocab_size) 的 torch.FloatTensor) — 語言建模頭的預測分數（SoftMax 之前的每個詞彙標記的分數）。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可選, 當傳入 use_cache=True 或 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量。

  包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• hidden_states (tuple[torch.FloatTensor], 可選, 當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個）的形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple[torch.FloatTensor], 可選, 當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每個層一個）的形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

• image_hidden_states (torch.FloatTensor, 可選) — 形狀為 (batch_size, num_images, sequence_length, hidden_size) 的 torch.FloatTensor。視覺編碼器在投影最後一個隱藏狀態後生成的模型的 image_hidden_states。