引數

• images (ImageInput) — 要預處理的影像或影像批次。期望單個或批次的影像，畫素值範圍從0到255。如果傳入的影像畫素值在0到1之間，請設定do_rescale=False。
• annotations (list[Dict] 或 list[list[Dict]], 可選) — 與影像或影像批次關聯的註釋列表。如果註釋用於物件檢測，則註釋應為具有以下鍵的字典：
  • “image_id”（int）：影像 ID。
  • “annotations”（list[Dict]）：影像的註釋列表。每個註釋都應為字典。影像可以沒有註釋，在這種情況下，列表應為空。如果註釋用於分割，則註釋應為具有以下鍵的字典：
  • “image_id”（int）：影像 ID。
  • “segments_info”（list[Dict]）：影像的段列表。每個段都應為字典。影像可以沒有段，在這種情況下，列表應為空。
  • “file_name”（str）：影像的檔名。
• return_segmentation_masks (bool, 可選, 預設為 self.return_segmentation_masks) — 是否返回分割掩碼。
• masks_path (str 或 pathlib.Path, 可選) — 包含分割掩碼的目錄路徑。
• do_resize (bool, 可選, 預設為 self.do_resize) — 是否調整影像大小。
• size (dict[str, int], 可選, 預設為 self.size) — 調整大小後圖像的 (height, width) 尺寸。可用選項包括：
  • {"height": int, "width": int}：影像將調整為確切的尺寸 (height, width)。不保持縱橫比。
  • {"shortest_edge": int, "longest_edge": int}：影像將調整為最大尺寸，保持縱橫比，並使最短邊小於或等於 shortest_edge，最長邊小於或等於 longest_edge。
  • {"max_height": int, "max_width": int}：影像將調整為最大尺寸，保持縱橫比，並使高度小於或等於 max_height，寬度小於或等於 max_width。
• resample (PILImageResampling, 可選, 預設為 self.resample) — 調整影像大小時使用的重取樣濾波器。
• do_rescale (bool, 可選, 預設為 self.do_rescale) — 是否重新縮放影像。
• rescale_factor (float, 可選, 預設為 self.rescale_factor) — 重新縮放影像時使用的縮放因子。
• do_normalize (bool, 可選, 預設為 self.do_normalize) — 是否標準化影像。
• image_mean (float 或 list[float], 可選, 預設為 self.image_mean) — 標準化影像時使用的均值。
• image_std (float 或 list[float], 可選, 預設為 self.image_std) — 標準化影像時使用的標準差。
• do_convert_annotations (bool, 可選, 預設為 self.do_convert_annotations) — 是否將註釋轉換為模型所需的格式。將邊界框從 (top_left_x, top_left_y, width, height) 格式轉換為 (center_x, center_y, width, height)，並轉換為相對座標。
• do_pad (bool, 可選, 預設為 self.do_pad) — 是否填充影像。如果為 True，將用零填充影像的底部和右側。如果提供了 pad_size，影像將填充到指定尺寸。否則，影像將填充到批次的最大高度和寬度。
• format (str 或 AnnotationFormat, 可選, 預設為 self.format) — 註釋的格式。
• return_tensors (str 或 TensorType, 可選, 預設為 self.return_tensors) — 要返回的張量型別。如果為 None，將返回影像列表。
• data_format (ChannelDimension 或 str, 可選, 預設為 ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像為 (num_channels, height, width) 格式。
  • "channels_last" 或 ChannelDimension.LAST：影像為 (height, width, num_channels) 格式。
  • 未設定：使用輸入影像的通道維度格式。
• input_data_format (ChannelDimension 或 str, 可選) — 輸入影像的通道維度格式。如果未設定，則從輸入影像推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像為 (num_channels, height, width) 格式。
  • "channels_last" 或 ChannelDimension.LAST：影像為 (height, width, num_channels) 格式。
  • "none" 或 ChannelDimension.NONE：影像為 (height, width) 格式。
• pad_size (dict[str, int], 可選) — 要填充影像的尺寸 {"height": int, "width" int}。必須大於任何為預處理提供的影像尺寸。如果未提供 pad_size，影像將填充到批次中的最大高度和寬度。

引數

• outputs (DetrObjectDetectionOutput) — 模型的原始輸出。
• threshold (float, 可選, 預設為 0.5) — 保持物件檢測預測的分數閾值。
• target_sizes (torch.Tensor 或 list[tuple[int, int]], 可選) — 形狀為 (batch_size, 2) 的張量或元組列表 (tuple[int, int])，其中包含批次中每個影像的目標大小（高度，寬度）。如果留空，則預測不會調整大小。
• nms_threshold (float, 可選, 預設為 0.7) — NMS 閾值。

一個字典列表，每個字典包含模型預測的批處理中每張影像的分數、標籤和框。

引數

• pixel_values (torch.FloatTensor, 形狀為 (batch_size, num_channels, height, width)) — 畫素值。如果提供，預設情況下將忽略填充。

  畫素值可以使用 AutoImageProcessor 獲取。有關詳細資訊，請參閱 AutoImageProcessor.__call__()。

• pixel_mask (torch.LongTensor, 形狀為 (batch_size, height, width), 可選) — 用於避免對填充畫素值執行注意力的遮罩。遮罩值在 [0, 1] 中選擇：
  • 1 表示真實畫素（即未遮罩），
  • 0 表示填充畫素（即已遮罩）。

  什麼是注意力遮罩？

• decoder_attention_mask (torch.FloatTensor, 形狀為 (batch_size, num_queries), 可選) — 預設不使用。可用於遮罩物件查詢。
• encoder_outputs (tuple(tuple(torch.FloatTensor), 可選) — 元組包含 (last_hidden_state, 可選: hidden_states, 可選: attentions) last_hidden_state 形狀為 (batch_size, sequence_length, hidden_size), 可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
• inputs_embeds (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size), 可選) — 可選地，除了傳遞扁平化的特徵圖（骨幹網 + 投影層的輸出），您可以選擇直接傳遞影像的扁平化表示。
• decoder_inputs_embeds (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size), 可選) — 可選地，除了使用零張量初始化查詢，您可以選擇直接傳遞嵌入表示。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

一個 transformers.models.deprecated.deta.modeling_deta.DetaModelOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False 時），包含根據配置（DetaConfig）和輸入的不同元素。

• init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。
• last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。
• intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。
• intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。
• decoder_hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入輸出 + 每個層的輸出一個），形狀為 (batch_size, num_queries, hidden_size)。解碼器在每層輸出處的隱藏狀態加上初始嵌入輸出。
• decoder_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每層一個），形狀為 (batch_size, num_heads, num_queries, num_queries)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
• cross_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每層一個），形狀為 (batch_size, num_queries, num_heads, 4, 4)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
• encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。
• encoder_hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入輸出 + 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。編碼器在每層輸出處的隱藏狀態加上初始嵌入輸出。
• encoder_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每層一個），形狀為 (batch_size, num_queries, num_heads, 4, 4)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
• enc_outputs_class (torch.FloatTensor, 形狀為 (batch_size, sequence_length, config.num_labels), 可選, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框在第一階段被選為區域提案。邊界框二元分類（即前景和背景）的輸出。
• enc_outputs_coord_logits (torch.FloatTensor, 形狀為 (batch_size, sequence_length, 4), 可選, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 第一階段預測的邊界框座標的 logits。
• output_proposals (torch.FloatTensor, 形狀為 (batch_size, sequence_length, 4), 可選, 當 config.two_stage=True 時返回) — `gen_encoder_output_proposals` 中提案邊界框座標的 logits。

引數

• pixel_values (torch.FloatTensor, 形狀為 (batch_size, num_channels, height, width)) — 畫素值。如果提供，預設情況下將忽略填充。

  畫素值可以使用 AutoImageProcessor 獲取。有關詳細資訊，請參閱 AutoImageProcessor.__call__()。

• pixel_mask (torch.LongTensor, 形狀為 (batch_size, height, width), 可選) — 用於避免對填充畫素值執行注意力的遮罩。遮罩值在 [0, 1] 中選擇：
  • 1 表示真實畫素（即未遮罩），
  • 0 表示填充畫素（即已遮罩）。

  什麼是注意力遮罩？

• decoder_attention_mask (torch.FloatTensor, 形狀為 (batch_size, num_queries), 可選) — 預設不使用。可用於遮罩物件查詢。
• encoder_outputs (tuple(tuple(torch.FloatTensor), 可選) — 元組包含 (last_hidden_state, 可選: hidden_states, 可選: attentions) last_hidden_state 形狀為 (batch_size, sequence_length, hidden_size), 可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
• inputs_embeds (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size), 可選) — 可選地，除了傳遞扁平化的特徵圖（骨幹網 + 投影層的輸出），您可以選擇直接傳遞影像的扁平化表示。
• decoder_inputs_embeds (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size), 可選) — 可選地，除了使用零張量初始化查詢，您可以選擇直接傳遞嵌入表示。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• labels (list[Dict], 長度為 (batch_size,), 可選) — 用於計算二分匹配損失的標籤。字典列表，每個字典至少包含以下兩個鍵：“class_labels”和“boxes”（分別表示批處理中影像的類別標籤和邊界框）。類別標籤本身應該是長度為 (影像中邊界框的數量,) 的 torch.LongTensor，而框應該是形狀為 (影像中邊界框的數量, 4) 的 torch.FloatTensor。

一個 transformers.models.deprecated.deta.modeling_deta.DetaObjectDetectionOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False 時），包含根據配置（DetaConfig）和輸入的不同元素。

• loss (torch.FloatTensor, 形狀為 (1,), 可選, 當提供了 labels 時返回) — 總損失，是類別預測的負對數似然（交叉熵）和邊界框損失的線性組合。後者定義為 L1 損失和廣義尺度不變 IoU 損失的線性組合。
• loss_dict (Dict, 可選) — 包含各個損失的字典。用於日誌記錄。
• logits (形狀為 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor) — 所有查詢的分類 logits（包括無物件）。
• pred_boxes (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 所有查詢的歸一化框座標，表示為 (center_x, center_y, width, height)。這些值歸一化到 [0, 1] 範圍，相對於批處理中每個單獨影像的大小（忽略可能的填充）。您可以使用 ~DetaProcessor.post_process_object_detection 來檢索未歸一化的邊界框。
• auxiliary_outputs (list[Dict], 可選) — 可選，僅當輔助損失啟用（即 config.auxiliary_loss 設定為 True）且提供標籤時返回。它是字典列表，每個字典包含上述兩個鍵（logits 和 pred_boxes），對應每個解碼器層。
• last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size), 可選) — 模型解碼器最後一層輸出的隱藏狀態序列。
• decoder_hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入輸出 + 每個層的輸出一個），形狀為 (batch_size, num_queries, hidden_size)。解碼器在每層輸出處的隱藏狀態加上初始嵌入輸出。
• decoder_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每層一個），形狀為 (batch_size, num_heads, num_queries, num_queries)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
• cross_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每層一個），形狀為 (batch_size, num_queries, num_heads, 4, 4)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
• encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。
• encoder_hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入輸出 + 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。編碼器在每層輸出處的隱藏狀態加上初始嵌入輸出。
• encoder_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每層一個），形狀為 (batch_size, sequence_length, num_heads, 4, 4)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
• intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。
• intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。
• init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。
• enc_outputs_class (torch.FloatTensor, 形狀為 (batch_size, sequence_length, config.num_labels), 可選, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框在第一階段被選為區域提案。邊界框二元分類（即前景和背景）的輸出。
• enc_outputs_coord_logits (torch.FloatTensor, 形狀為 (batch_size, sequence_length, 4), 可選, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 第一階段預測的邊界框座標的 logits。
• output_proposals (torch.FloatTensor, 形狀為 (batch_size, sequence_length, 4), 可選, 當 config.two_stage=True 時返回) — `gen_encoder_output_proposals` 中提案邊界框座標的 logits。