引數

• images (ImageInput) — 待預處理的影像或影像批次。期望是畫素值範圍在 0 到 255 之間的單個或批次影像。如果傳入畫素值在 0 到 1 之間的影像，請設定 `do_rescale=False`。
• annotations (AnnotationType 或 list[AnnotationType], 可選) — 與影像或影像批次相關聯的標註列表。如果標註用於目標檢測，標註應為一個字典，包含以下鍵：
  • “image_id” (int)：影像 ID。
  • “annotations” (list[Dict])：影像的標註列表。每個標註應為一個字典。一張影像可以沒有標註，此時列表應為空。如果標註用於分割，標註應為一個字典，包含以下鍵：
  • “image_id” (int)：影像 ID。
  • “segments_info” (list[Dict])：影像的分割資訊列表。每個分割資訊應為一個字典。一張影像可以沒有分割資訊，此時列表應為空。
  • “file_name” (str)：影像的檔名。
• return_segmentation_masks (bool, 可選, 預設為 self.return_segmentation_masks) — 是否返回分割掩碼。
• masks_path (str 或 pathlib.Path, 可選) — 包含分割掩碼的目錄路徑。
• do_resize (bool, 可選, 預設為 self.do_resize) — 是否調整影像大小。
• size (dict[str, int], 可選, 預設為 self.size) — 調整大小後圖像的 `(height, width)` 尺寸。可用選項有：
  • `{"height": int, "width": int}`：影像將被調整為精確的 `(height, width)` 尺寸。不保持寬高比。
  • `{"shortest_edge": int, "longest_edge": int}`：影像將在保持寬高比的情況下調整大小，使最短邊小於或等於 `shortest_edge`，最長邊小於或等於 `longest_edge`。
  • `{"max_height": int, "max_width": int}`：影像將在保持寬高比的情況下調整大小，使高度小於或等於 `max_height`，寬度小於或等於 `max_width`。
• resample (PILImageResampling, 可選, 預設為 self.resample) — 調整影像大小時使用的重取樣過濾器。
• do_rescale (bool, 可選, 預設為 self.do_rescale) — 是否重新縮放影像。
• rescale_factor (float, 可選, 預設為 self.rescale_factor) — 重新縮放影像時使用的縮放因子。
• do_normalize (bool, 可選, 預設為 self.do_normalize) — 是否對影像進行歸一化。
• do_convert_annotations (bool, 可選, 預設為 self.do_convert_annotations) — 是否將標註轉換為模型期望的格式。將邊界框從 `(top_left_x, top_left_y, width, height)` 格式轉換為 `(center_x, center_y, width, height)` 格式，並使用相對座標。
• image_mean (float 或 list[float], 可選, 預設為 self.image_mean) — 對影像進行歸一化時使用的均值。
• image_std (float 或 list[float], 可選, 預設為 self.image_std) — 對影像進行歸一化時使用的標準差。
• do_pad (bool, 可選, 預設為 self.do_pad) — 是否對影像進行填充。如果為 `True`，則會在影像的底部和右側用零填充。如果提供了 `pad_size`，影像將被填充到指定尺寸。否則，影像將被填充到批次中的最大高度和寬度。
• format (str 或 AnnotationFormat, 可選, 預設為 self.format) — 標註的格式。
• return_tensors (str 或 TensorType, 可選, 預設為 self.return_tensors) — 返回的張量型別。如果為 None，將返回影像列表。
• data_format (ChannelDimension 或 str, 可選, 預設為 ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (height, width, num_channels)。
  • 未設定：使用輸入影像的通道維度格式。
• input_data_format (ChannelDimension 或 str, 可選) — 輸入影像的通道維度格式。如果未設定，將從輸入影像中推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：影像格式為 (height, width)。
• pad_size (dict[str, int], 可選) — 將影像填充到的尺寸 {"height": int, "width" int}。必須大於為預處理提供的任何影像尺寸。如果未提供 pad_size，影像將被填充到批處理中最大的高度和寬度。

引數

• images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]) — 待預處理的影像。需要單個或一批畫素值範圍在 0 到 255 之間的影像。如果傳入畫素值在 0 到 1 之間的影像，請設定 do_rescale=False。
• annotations (AnnotationType 或 list[AnnotationType], 可選) — 與影像或影像批次相關聯的標註列表。如果標註用於目標檢測，標註應為一個字典，包含以下鍵：
  • “image_id” (int)：影像 ID。
  • “annotations” (list[Dict])：影像的標註列表。每個標註應為一個字典。一張影像可以沒有標註，此時列表應為空。如果標註用於分割，標註應為一個字典，包含以下鍵：
  • “image_id” (int)：影像 ID。
  • “segments_info” (list[Dict])：影像的分割資訊列表。每個分割資訊應為一個字典。一張影像可以沒有分割資訊，此時列表應為空。
  • “file_name” (str)：影像的檔名。
• masks_path (str 或 pathlib.Path, 可選) — 包含分割掩碼的目錄路徑。
• do_resize (bool, 可選) — 是否調整影像大小。
• size (dict[str, int], 可選) — 描述模型最大輸入尺寸。
• default_to_square (bool, 可選) — 當 size 為整數時，調整大小時是否預設為正方形影像。
• resample (Union[PILImageResampling, F.InterpolationMode, NoneType]) — 如果調整影像大小，使用的重取樣濾波器。可以是 PILImageResampling 列舉之一。僅在 do_resize 設定為 True 時有效。
• do_center_crop (bool, 可選) — 是否對影像進行中心裁剪。
• crop_size (dict[str, int], 可選) — 應用 center_crop 後輸出影像的尺寸。
• do_rescale (bool, 可選) — 是否對影像進行縮放。
• rescale_factor (Union[int, float, NoneType]) — 如果 do_rescale 設定為 True，用於縮放影像的縮放因子。
• do_normalize (bool, 可選) — 是否對影像進行歸一化。
• image_mean (Union[float, list[float], NoneType]) — 用於歸一化的影像均值。僅在 do_normalize 設定為 True 時有效。
• image_std (Union[float, list[float], NoneType]) — 用於歸一化的影像標準差。僅在 do_normalize 設定為 True 時有效。
• do_convert_rgb (bool, 可選) — 是否將影像轉換為 RGB。
• return_tensors (Union[str, ~utils.generic.TensorType, NoneType]) — 如果設定為 `pt`，則返回堆疊的張量，否則返回張量列表。
• data_format (~image_utils.ChannelDimension, 可選) — 僅支援 ChannelDimension.FIRST。為與慢速處理器相容而新增。
• input_data_format (Union[str, ~image_utils.ChannelDimension, NoneType]) — 輸入影像的通道維度格式。如果未設定，將從輸入影像中推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：影像格式為 (height, width)。
• device (torch.device, 可選) — 處理影像的裝置。如果未設定，將從輸入影像中推斷裝置。
• disable_grouping (bool, 可選) — 是否停用按尺寸對影像進行分組，以便單獨處理而不是按批處理。如果為 None，則在影像位於 CPU 上時設定為 True，否則設定為 False。此選擇基於經驗觀察，詳見：https://github.com/huggingface/transformers/pull/38157
• format (str, 可選, 預設為 AnnotationFormat.COCO_DETECTION) — 標註的資料格式。可以是“coco_detection”或“coco_panoptic”之一。
• do_convert_annotations (bool, 可選, 預設為 True) — 控制是否將標註轉換為 GROUNDING_DINO 模型期望的格式。將邊界框轉換為 (center_x, center_y, width, height) 格式，且範圍在 [0, 1] 內。可以被 preprocess 方法中的 do_convert_annotations 引數覆蓋。
• do_pad (bool, 可選, 預設為 True) — 控制是否填充影像。可以被 preprocess 方法中的 do_pad 引數覆蓋。如果為 True，將使用零值對影像的底部和右側進行填充。如果提供了 pad_size，影像將被填充到指定尺寸。否則，影像將被填充到批處理中的最大高度和寬度。
• pad_size (dict[str, int], 可選) — 將影像填充到的尺寸 {"height": int, "width" int}。必須大於為預處理提供的任何影像尺寸。如果未提供 pad_size，影像將被填充到批處理中最大的高度和寬度。
• return_segmentation_masks (bool, 可選, 預設為 False) — 是否返回分割掩碼。

• data (dict) — 由 call 方法返回的列表/陣列/張量字典（“pixel_values”等）。
• tensor_type (Union[None, str, TensorType], 可選) — 您可以在此處提供一個`tensor_type`，以便在初始化時將整數列表轉換為PyTorch/TensorFlow/Numpy張量。

引數

• outputs (GroundingDinoObjectDetectionOutput) — 模型的原始輸出。
• threshold (float, 可選, 預設為 0.1) — 用於保留目標檢測預測結果的分數閾值。
• target_sizes (torch.Tensor 或 list[tuple[int, int]], 可選) — 形狀為 (batch_size, 2) 的張量或元組列表 (tuple[int, int])，包含批處理中每張影像的目標尺寸 (height, width)。如果未設定，預測結果將不會被調整大小。

一個字典列表，每個字典包含以下鍵：

• “scores”：影像上每個預測框的置信度分數。
• “labels”：模型在影像上預測的類別索引。
• “boxes”：影像邊界框，格式為 (top_left_x, top_left_y, bottom_right_x, bottom_right_y)。

引數

• outputs (GroundingDinoObjectDetectionOutput) — 模型的原始輸出。
• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length), 可選) — 輸入文字的 token ID。如果未提供，將從模型輸出中獲取。
• threshold (float, 可選, 預設為 0.25) — 基於置信度分數保留目標檢測預測結果的閾值。
• text_threshold (float, 可選, 預設為 0.25) — 用於保留文字檢測預測結果的分數閾值。
• target_sizes (torch.Tensor 或 list[tuple[int, int]], 可選) — 形狀為 (batch_size, 2) 的張量或元組列表 (tuple[int, int])，包含批處理中每張影像的目標尺寸 (height, width)。如果未設定，預測結果將不會被調整大小。
• text_labels (list[list[str]], 可選) — 每張影像上待檢測的候選標籤列表。目前尚未使用，但為零樣本目標檢測管道的簽名所必需。文字標籤是從 outputs 中提供的 input_ids 張量中提取的。

一個字典列表，每個字典包含

• scores：檢測到物體的置信度分數張量
• boxes：格式為 [x0, y0, x1, y1] 的邊界框張量
• labels：每個檢測到物體的文字標籤列表（在 v4.51.0 中將替換為整數 ID）
• text_labels：檢測到物體的文字標籤列表

引數

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• input_ids (torch.LongTensor，形狀為 (batch_size, text_sequence_length)) — 詞彙表中輸入序列標記的索引。如果您提供填充，預設情況下將被忽略。

  索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 BertTokenizer.call()。

• token_type_ids (torch.LongTensor，形狀為 (batch_size, text_sequence_length), optional) — 段標記索引，用於指示輸入的第一部分和第二部分。索引在 [0, 1] 中選擇：0 對應於 句子 A 標記，1 對應於 句子 B 標記。

  什麼是標記型別 ID？

• attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length), optional) — 掩碼，用於避免對填充標記索引執行注意力。掩碼值在 [0, 1] 中選擇：
  • 1 表示標記 未被掩碼，
  • 0 表示標記 被掩碼。

  什麼是注意力掩碼？

• pixel_mask (torch.Tensor，形狀為 (batch_size, height, width), optional) — 掩碼，用於避免對填充畫素值執行注意力。掩碼值在 [0, 1] 中選擇：
  • 1 表示畫素是真實的（即 未被掩碼），
  • 0 表示畫素是填充的（即 被掩碼）。

  什麼是注意力掩碼？

• encoder_outputs (`) -- 元組，由 (last_hidden_state, *optional*: hidden_states, *optional*: attentions) 組成。last_hidden_state形狀為(batch_size, sequence_length, hidden_size)`，optional) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
• output_attentions (`) -- 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參見返回張量下的 attentions`。
• output_hidden_states (`) -- 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參見返回張量下的 hidden_states`。
• return_dict (“) — 是否返回 ModelOutput 而不是普通元組。

引數

• pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 來處理影像）。
• input_ids (torch.LongTensor，形狀為 (batch_size, text_sequence_length)) — 詞彙表中輸入序列詞元的索引。如果您提供填充，預設情況下將被忽略。

  索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 BertTokenizer.call()。

• token_type_ids (torch.LongTensor，形狀為 (batch_size, text_sequence_length)，可選) — 分段詞元索引，用於指示輸入的第一部分和第二部分。索引在 [0, 1] 中選擇：0 對應於 句子 A 詞元，1 對應於 句子 B 詞元

  什麼是詞元型別 ID？

• attention_mask (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免在填充詞元索引上執行注意力計算的掩碼。掩碼值在 [0, 1] 中選擇：
  • 對於未被掩碼的詞元，值為 1，
  • 對於被掩碼的詞元，值為 0。

  什麼是注意力掩碼？

• pixel_mask (torch.BoolTensor，形狀為 (batch_size, height, width)，可選) — 用於避免在填充畫素值上執行注意力計算的掩碼。掩碼值在 [0, 1] 中選擇：
  • 對於真實畫素（即未被掩碼），值為 1，
  • 對於填充畫素（即被掩碼），值為 0。

  什麼是注意力掩碼？

• encoder_outputs (Union[~models.grounding_dino.modeling_grounding_dino.GroundingDinoEncoderOutput, tuple, NoneType]) — 元組，包含 (last_hidden_state, 可選: hidden_states, 可選: attentions) last_hidden_state，形狀為 (batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是返回一個 ModelOutput 而不是一個普通的元組。
• labels (list[Dict]，長度為 (batch_size,)，可選) — 用於計算二分匹配損失的標籤。一個字典列表，每個字典至少包含以下2個鍵：‘class_labels’ 和 ‘boxes’（分別表示批處理中影像的類別標籤和邊界框）。類別標籤本身應該是一個長度為 (影像中邊界框的數量,) 的 torch.LongTensor，而邊界框是一個形狀為 (影像中邊界框的數量, 4) 的 torch.FloatTensor。