引數

• images (PIL.Image.Image, np.ndarray, torch.Tensor, list[PIL.Image.Image], list[np.ndarray], list[torch.Tensor]) — 要準備的影像或影像批次。每個影像可以是 PIL 影像、NumPy 陣列或 PyTorch 張量。如果是 NumPy 陣列/PyTorch 張量，每個影像的形狀應為 (C, H, W)，其中 C 是通道數，H 和 W 是影像高和寬。
• return_tensors (str 或 TensorType, 可選) — 如果設定，將返回特定框架的張量。可接受的值為：
  • 'tf': 返回 TensorFlow tf.constant 物件。
  • 'pt': 返回 PyTorch torch.Tensor 物件。
  • 'np': 返回 NumPy np.ndarray 物件。
  • 'jax': 返回 JAX jnp.ndarray 物件。

一個具有以下欄位的 BatchFeature

• input_ids — 要輸入到模型中的標記 ID 列表。
• attention_mask — 指定模型應關注哪些 token 的索引列表（當 return_attention_mask=True 或 "attention_mask" 在 self.model_input_names 中且 text 不為 None 時）。
• pixel_values — 要輸入到模型的畫素值。當 images 不為 None 時返回。

引數

• text (str, list[str], list[list[str]]) — 要編碼的序列或序列批次。每個序列可以是字串或字串列表（預分詞字串）。如果序列以字串列表（預分詞）形式提供，則必須設定 is_split_into_words=True（以消除與批次序列的歧義）。
• return_tensors (str 或 TensorType, 可選) — 如果設定，將返回特定框架的張量。可接受的值為：
  • 'tf': 返回 TensorFlow tf.constant 物件。
  • 'pt': 返回 PyTorch torch.Tensor 物件。
  • 'np': 返回 NumPy np.ndarray 物件。
  • 'jax': 返回 JAX jnp.ndarray 物件。

一個具有以下欄位的 BatchFeature

• input_ids — 要輸入到模型中的標記 ID 列表。
• attention_mask — 指定模型應關注哪些 token 的索引列表（當 return_attention_mask=True 或 "attention_mask" 在 self.model_input_names 中且 text 不為 None 時）。

引數

• query_embeddings (Union[torch.Tensor, list[torch.Tensor]) — 查詢嵌入。
• passage_embeddings (Union[torch.Tensor, list[torch.Tensor]) — 段落嵌入。
• batch_size (int, 可選, 預設為 128) — 計算分數的批次大小。
• output_dtype (torch.dtype, 可選, 預設為 torch.float32) — 輸出張量的資料型別。如果為 None，則使用輸入嵌入的資料型別。
• output_device (torch.device 或 str, 可選, 預設為“cpu”) — 輸出張量的裝置。

一個形狀為 (n_queries, n_passages) 的張量，包含分數。分數張量儲存在“cpu”裝置上。

引數

• input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇在 [0, 1] 中：
  • 1 表示 未被掩蓋 的 token，
  • 0 表示 被掩蓋 的 token。

  什麼是注意力掩碼？

• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 物件而不是純元組。

一個 transformers.models.colpali.modeling_colpali.ColPaliForRetrievalOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False），包含根據配置（ColPaliConfig）和輸入而定的各種元素。

• loss (torch.FloatTensor 形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失（用於下一個 token 預測）。

• embeddings (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)) — 模型的嵌入。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可選, 在傳入 use_cache=True 或 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含兩個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量)

  包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• hidden_states (tuple[torch.FloatTensor], 可選, 在傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple[torch.FloatTensor], 可選, 在傳入 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

• image_hidden_states (torch.FloatTensor, 可選) — 一個大小為 (batch_size, num_images, sequence_length, hidden_size) 的 torch.FloatTensor。由視覺編碼器在投影最後隱藏狀態後生成的模型 image_hidden_states。