引數

• images (ImageInput) — 要預處理的影像或影像批次。期望單個影像或批次影像的畫素值範圍為 0 到 255。如果傳入的影像畫素值在 0 到 1 之間，請將 do_rescale=False。
• annotations (AnnotationType 或 list[AnnotationType], 可選) — 與影像或影像批次關聯的註釋列表。如果註釋用於目標檢測，則註釋應是一個字典，包含以下鍵：
  • “image_id” (int): 影像 ID。
  • “annotations” (list[Dict]): 影像的註釋列表。每個註釋應是一個字典。影像可以沒有註釋，在這種情況下，列表應為空。如果註釋用於分割，則註釋應是一個字典，包含以下鍵：
  • “image_id” (int): 影像 ID。
  • “segments_info” (list[Dict]): 影像的分割列表。每個分割應是一個字典。影像可以沒有分割，在這種情況下，列表應為空。
  • “file_name” (str): 影像的檔名。
• return_segmentation_masks (bool, 可選, 預設為 self.return_segmentation_masks) — 是否返回分割掩碼。
• masks_path (str 或 pathlib.Path, 可選) — 包含分割掩碼的目錄路徑。
• do_resize (bool, 可選, 預設為 self.do_resize) — 是否調整影像大小。
• size (dict[str, int], 可選, 預設為 self.size) — 調整大小後圖像的 (height, width) 維度大小。可用選項包括：
  • {"height": int, "width": int}: 影像將調整到精確的 (height, width) 大小。不保留縱橫比。
  • {"shortest_edge": int, "longest_edge": int}: 影像將調整到最大大小，同時保留縱橫比，並將最短邊小於或等於 shortest_edge，最長邊小於或等於 longest_edge。
  • {"max_height": int, "max_width": int}: 影像將調整到最大大小，同時保留縱橫比，並將高度小於或等於 max_height，寬度小於或等於 max_width。
• resample (PILImageResampling, 可選, 預設為 self.resample) — 調整影像大小時使用的重取樣過濾器。
• do_rescale (bool, 可選, 預設為 self.do_rescale) — 是否重新縮放影像。
• rescale_factor (float, 可選, 預設為 self.rescale_factor) — 重新縮放影像時使用的比例因子。
• do_normalize (bool, 可選, 預設為 self.do_normalize) — 是否對影像進行歸一化。
• do_convert_annotations (bool, 可選, 預設為 self.do_convert_annotations) — 是否將註釋轉換為模型期望的格式。將邊界框從 (top_left_x, top_left_y, width, height) 格式轉換為 (center_x, center_y, width, height) 格式並轉換為相對座標。
• image_mean (float 或 list[float], 可選, 預設為 self.image_mean) — 影像歸一化時使用的平均值。
• image_std (float 或 list[float], 可選, 預設為 self.image_std) — 影像歸一化時使用的標準差。
• do_pad (bool, 可選, 預設為 self.do_pad) — 是否填充影像。如果為 True，將用零填充影像的底部和右側。如果提供了 pad_size，影像將填充到指定的尺寸。否則，影像將填充到批次中的最大高度和寬度。
• format (str 或 AnnotationFormat, 可選, 預設為 self.format) — 註釋的格式。
• return_tensors (str 或 TensorType, 可選, 預設為 self.return_tensors) — 要返回的張量型別。如果為 None，將返回影像列表。
• data_format (ChannelDimension 或 str, 可選, 預設為 ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST: 影像格式為 (height, width, num_channels)。
  • 未設定: 使用輸入影像的通道維度格式。
• input_data_format (ChannelDimension 或 str, 可選) — 輸入影像的通道維度格式。如果未設定，則從輸入影像推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST: 影像格式為 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE: 影像格式為 (height, width)。
• pad_size (dict[str, int], 可選) — 填充影像的尺寸 {"height": int, "width" int}。必須大於任何為預處理提供的影像尺寸。如果未提供 pad_size，影像將填充到批次中的最大高度和寬度。

引數

• outputs (DetrObjectDetectionOutput) — 模型的原始輸出。
• threshold (float, 可選) — 保留目標檢測預測的分數閾值。
• target_sizes (torch.Tensor 或 list[tuple[int, int]], 可選) — 形狀為 (batch_size, 2) 的張量，或包含批次中每張影像的目標尺寸（高，寬）的元組列表（tuple[int, int]）。如果留空，預測將不會被調整大小。
• top_k (int, 可選, 預設為 100) — 在閾值過濾之前，只保留前 k 個邊界框。

一個字典列表，每個字典包含模型預測的批處理中每張影像的分數、標籤和框。

引數

• images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]) — 要預處理的影像。期望單個或批處理影像，畫素值範圍為 0 到 255。如果傳入的影像畫素值介於 0 到 1 之間，請設定 do_rescale=False。
• annotations (AnnotationType 或 list[AnnotationType], 可選) — 與影像或影像批次關聯的標註列表。如果標註用於目標檢測，標註應為包含以下鍵的字典：
  • “image_id” (int)：影像 ID。
  • “annotations” (list[Dict])：影像的標註列表。每個標註應為一個字典。影像可以沒有標註，在這種情況下列表應為空。如果標註用於分割，標註應為包含以下鍵的字典：
  • “image_id” (int)：影像 ID。
  • “segments_info” (list[Dict])：影像的片段列表。每個片段應為一個字典。影像可以沒有片段，在這種情況下列表應為空。
  • “file_name” (str)：影像的檔名。
• masks_path (str 或 pathlib.Path, 可選) — 包含分割掩碼的目錄路徑。
• do_resize (bool, 可選) — 是否調整影像大小。
• size (dict[str, int], 可選) — 描述模型的最大輸入維度。
• default_to_square (bool, 可選) — 如果尺寸為整數，是否在調整大小後預設使用方形影像。
• resample (Union[PILImageResampling, F.InterpolationMode, NoneType]) — 如果調整影像大小，要使用的重取樣過濾器。可以是列舉 PILImageResampling 之一。僅在 do_resize 設定為 True 時有效。
• do_center_crop (bool, 可選) — 是否對影像進行中心裁剪。
• crop_size (dict[str, int], 可選) — 應用 center_crop 後輸出影像的尺寸。
• do_rescale (bool, 可選) — 是否重新縮放影像。
• rescale_factor (Union[int, float, NoneType]) — 如果 do_rescale 設定為 True，則按此重新縮放因子調整影像大小。
• do_normalize (bool, 可選) — 是否歸一化影像。
• image_mean (Union[float, list[float], NoneType]) — 用於歸一化的影像均值。僅在 do_normalize 設定為 True 時有效。
• image_std (Union[float, list[float], NoneType]) — 用於歸一化的影像標準差。僅在 do_normalize 設定為 True 時有效。
• do_convert_rgb (bool, 可選) — 是否將影像轉換為 RGB。
• return_tensors (Union[str, ~utils.generic.TensorType, NoneType]) — 如果設定為 `pt`，則返回堆疊張量，否則返回張量列表。
• data_format (~image_utils.ChannelDimension, 可選) — 僅支援 ChannelDimension.FIRST。為了與慢速處理器相容而新增。
• input_data_format (Union[str, ~image_utils.ChannelDimension, NoneType]) — 輸入影像的通道維度格式。如果未設定，則從輸入影像推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像為 (num_channels, height, width) 格式。
  • "channels_last" 或 ChannelDimension.LAST：影像為 (height, width, num_channels) 格式。
  • "none" 或 ChannelDimension.NONE：影像為 (height, width) 格式。
• device (torch.device, 可選) — 處理影像的裝置。如果未設定，則從輸入影像推斷裝置。
• disable_grouping (bool, 可選) — 是否停用按大小對影像進行分組以單獨而非批處理它們。如果為 None，則如果影像在 CPU 上，則設定為 True，否則設定為 False。此選擇基於經驗觀察，詳情請參閱：https://github.com/huggingface/transformers/pull/38157
• format (str, 可選, 預設為 AnnotationFormat.COCO_DETECTION) — 標註的資料格式。可以是 "coco_detection" 或 "coco_panoptic" 之一。
• do_convert_annotations (bool, 可選, 預設為 True) — 控制是否將標註轉換為 DEFORMABLE_DETR 模型期望的格式。將邊界框轉換為 (center_x, center_y, width, height) 格式，範圍為 [0, 1]。可以透過 preprocess 方法中的 do_convert_annotations 引數覆蓋。
• do_pad (bool, 可選, 預設為 True) — 控制是否對影像進行填充。可以透過 preprocess 方法中的 do_pad 引數覆蓋。如果為 True，影像的底部和右側將用零填充。如果提供了 pad_size，影像將填充到指定維度。否則，影像將填充到批次中的最大高度和寬度。
• pad_size (dict[str, int], 可選) — 影像填充到的尺寸 {"height": int, "width" int}。必須大於任何用於預處理的影像尺寸。如果未提供 pad_size，影像將填充到批次中的最大高度和寬度。
• return_segmentation_masks (bool, 可選, 預設為 False) — 是否返回分割掩碼。

• data (dict) — 由 call 方法返回的列表/陣列/張量字典（“pixel_values”等）。
• tensor_type (Union[None, str, TensorType], 可選) — 您可以在此處提供一個`tensor_type`，以便在初始化時將整數列表轉換為PyTorch/TensorFlow/Numpy張量。

引數

• outputs (DetrObjectDetectionOutput) — 模型的原始輸出。
• threshold (float, 可選) — 保留目標檢測預測的得分閾值。
• target_sizes (torch.Tensor 或 list[tuple[int, int]], 可選) — 形狀為 (batch_size, 2) 的張量，或包含批次中每張影像的目標尺寸（高，寬）的元組列表（tuple[int, int]）。如果留空，預測將不會被調整大小。
• top_k (int, 可選, 預設為 100) — 在閾值過濾之前，只保留前 k 個邊界框。

一個字典列表，每個字典包含模型預測的批處理中每張影像的分數、標籤和框。

引數

• outputs (DetrObjectDetectionOutput) — 模型的原始輸出。
• threshold (float, 可選) — 保留目標檢測預測的得分閾值。
• target_sizes (torch.Tensor 或 list[tuple[int, int]], 可選) — 形狀為 (batch_size, 2) 的張量，或包含批次中每張影像的目標尺寸（高，寬）的元組列表（tuple[int, int]）。如果留空，預測將不會被調整大小。
• top_k (int, 可選, 預設為 100) — 在閾值過濾之前，只保留前 k 個邊界框。

一個字典列表，每個字典包含模型預測的批處理中每張影像的分數、標籤和框。

引數

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• pixel_mask (形狀為 (batch_size, height, width) 的 torch.LongTensor, 可選) — 避免對填充畫素值執行注意力的遮罩。遮罩值選擇範圍 [0, 1]：
  • 1 表示真實畫素（即未遮罩），
  • 0 表示填充畫素（即已遮罩）。

  什麼是注意力遮罩？

• decoder_attention_mask (形狀為 (batch_size, num_queries) 的 torch.FloatTensor, 可選) — 預設情況下不使用。可用於遮罩物件查詢。
• encoder_outputs (torch.FloatTensor, 可選) — 元組由 (last_hidden_state, 可選: hidden_states, 可選: attentions) 組成，last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
• inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選) — 另外，除了傳遞展平的特徵圖（骨幹網路 + 投影層的輸出）外，您還可以選擇直接傳遞影像的展平表示。
• decoder_inputs_embeds (形狀為 (batch_size, num_queries, hidden_size) 的 torch.FloatTensor, 可選) — 另外，除了用零張量初始化查詢外，您還可以選擇直接傳遞嵌入表示。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參見返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參見返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

一個 transformers.models.deformable_detr.modeling_deformable_detr.DeformableDetrModelOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (DeformableDetrConfig) 和輸入的不同元素。

• init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。

• last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。

• intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。

• intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。

• decoder_hidden_states (tuple[torch.FloatTensor], 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每個層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• decoder_attentions (tuple[torch.FloatTensor], 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• cross_attentions (tuple[torch.FloatTensor], 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

• encoder_last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選, 預設為 None) — 模型編碼器最後一層輸出的隱藏狀態序列。

• encoder_hidden_states (tuple[torch.FloatTensor], 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每個層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• encoder_attentions (tuple[torch.FloatTensor], 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• enc_outputs_class (形狀為 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor, 可選, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框在第一階段被選為區域提案。邊界框二元分類（即前景和背景）的輸出。

• enc_outputs_coord_logits (形狀為 (batch_size, sequence_length, 4) 的 torch.FloatTensor, 可選, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 第一階段預測邊界框座標的 logits。

引數

• pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• pixel_mask (形狀為 (batch_size, height, width) 的 torch.LongTensor，可選) — 用於避免對填充畫素值執行注意力操作的掩碼。掩碼值選擇在 [0, 1] 之間：
  • 1 表示真實畫素（即未被掩蓋），
  • 0 表示填充畫素（即被掩蓋）。

  什麼是注意力掩碼？

• decoder_attention_mask (形狀為 (batch_size, num_queries) 的 torch.FloatTensor，可選) — 預設情況下不使用。可用於掩蓋物件查詢。
• encoder_outputs (torch.FloatTensor，可選) — 元組，包含（last_hidden_state，可選：hidden_states，可選：attentions） last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，可選）是編碼器最後一層輸出的隱藏狀態序列。在解碼器的交叉注意力中用到。
• inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可選) — 可選地，您可以選擇直接傳遞影像的平坦表示，而不是傳遞平坦的特徵圖（骨幹網路 + 投影層 的輸出）。
• decoder_inputs_embeds (形狀為 (batch_size, num_queries, hidden_size) 的 torch.FloatTensor，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是用零張量初始化查詢。
• labels (長度為 (batch_size,) 的 list[Dict]，可選) — 用於計算二分匹配損失的標籤。字典列表，每個字典至少包含以下兩個鍵：“class_labels”和“boxes”（分別表示批次中影像的類別標籤和邊界框）。類別標籤本身應為長度為 (影像中邊界框的數量,) 的 torch.LongTensor，邊界框應為形狀為 (影像中邊界框的數量, 4) 的 torch.FloatTensor。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參見返回張量中的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參見返回張量中的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

一個 transformers.models.deformable_detr.modeling_deformable_detr.DeformableDetrObjectDetectionOutput 或 torch.FloatTensor 元組（如果傳遞 return_dict=False 或 config.return_dict=False），包含根據配置 (DeformableDetrConfig) 和輸入的不同元素。

• loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 總損失，是類別預測的負對數似然（交叉熵）和邊界框損失的線性組合。後者定義為 L1 損失和廣義尺度不變 IoU 損失的線性組合。

• loss_dict (Dict, 可選) — 包含各個損失的字典。用於日誌記錄。

• logits (形狀為 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor) — 所有查詢的分類 logits（包括無物件）。

• pred_boxes (形狀為 (batch_size, num_queries, 4) 的 torch.FloatTensor) — 所有查詢的歸一化框座標，表示為 (center_x, center_y, width, height)。這些值在 [0, 1] 之間歸一化，相對於批次中每個影像的大小（不考慮可能的填充）。您可以使用 ~DeformableDetrProcessor.post_process_object_detection 來檢索未歸一化的邊界框。

• auxiliary_outputs (list[Dict]，可選) — 可選，僅當輔助損失被啟用（即 config.auxiliary_loss 設定為 True）且提供標籤時返回。它是一個字典列表，包含每個解碼器層的上述兩個鍵（logits 和 pred_boxes）。

• init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。

• last_hidden_state (形狀為 (batch_size, num_queries, hidden_size) 的 torch.FloatTensor，可選) — 模型解碼器最後一層輸出的隱藏狀態序列。

• intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。

• intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。

• decoder_hidden_states (tuple[torch.FloatTensor], 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每個層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• decoder_attentions (tuple[torch.FloatTensor], 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• cross_attentions (tuple[torch.FloatTensor], 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

• encoder_last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選, 預設為 None) — 模型編碼器最後一層輸出的隱藏狀態序列。

• encoder_hidden_states (tuple[torch.FloatTensor], 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每個層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• encoder_attentions (tuple[torch.FloatTensor], 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• enc_outputs_class (形狀為 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor, 可選, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框在第一階段被選為區域提案。邊界框二元分類（即前景和背景）的輸出。

• enc_outputs_coord_logits (形狀為 (batch_size, sequence_length, 4) 的 torch.FloatTensor, 可選, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 第一階段預測邊界框座標的 logits。