RT-DETRv2

概述

RT-DETRv2 模型由 Wenyu Lv、Yian Zhao、Qinyao Chang、Kui Huang、Guanzhong Wang、Yi Liu 在《RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer》一文中提出。

RT-DETRv2 透過引入選擇性多尺度特徵提取、一個用於更廣泛部署相容性的離散取樣運算元，以及改進的訓練策略（如動態資料增強和尺度自適應超引數）來最佳化 RT-DETR。這些變化在保持即時效能的同時，增強了靈活性和實用性。

論文摘要如下：

在本報告中，我們介紹了 RT-DETRv2，一個改進的即時檢測 Transformer (RT-DETR)。RT-DETRv2 建立在先前最先進的即時檢測器 RT-DETR 的基礎上，並引入了一系列“免費包”（bag-of-freebies）以提高靈活性和實用性，同時優化了訓練策略以實現效能提升。為了提高靈活性，我們建議在可變形注意力中為不同尺度的特徵設定不同的取樣點數，以實現解碼器的選擇性多尺度特徵提取。為了增強實用性，我們提出了一個可選的離散取樣運算元，以替代與 YOLOs 相比 RT-DETR 特有的 grid_sample 運算元。這消除了通常與 DETR 相關的部署限制。對於訓練策略，我們提出了動態資料增強和尺度自適應超引數定製，以在不損失速度的情況下提高效能。

該模型由 jadechoghari 貢獻。原始程式碼可在此處找到。

使用技巧

RT-DETR 的第二個版本改進了解碼器在影像中查詢物件的方式。

更好的取樣 – 調整偏移量，使模型關注正確的區域
靈活的注意力 – 可以使用平滑（雙線性）或固定（離散）取樣
最佳化的處理 – 改進了注意力權重混合資訊的方式

>>> import torch
>>> import requests

>>> from PIL import Image
>>> from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor

>>> url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_v2_r18vd")
>>> model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/rtdetr_v2_r18vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([(image.height, image.width)]), threshold=0.5)

>>> for result in results:
...     for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
...         score, label = score.item(), label_id.item()
...         box = [round(i, 2) for i in box.tolist()]
...         print(f"{model.config.id2label[label]}: {score:.2f} {box}")
cat: 0.97 [341.14, 25.11, 639.98, 372.89]
cat: 0.96 [12.78, 56.35, 317.67, 471.34]
remote: 0.95 [39.96, 73.12, 175.65, 117.44]
sofa: 0.86 [-0.11, 2.97, 639.89, 473.62]
sofa: 0.82 [-0.12, 1.78, 639.87, 473.52]
remote: 0.79 [333.65, 76.38, 370.69, 187.48]

資源

一系列官方 Hugging Face 和社群（由 🌎 標誌指示）資源，幫助您開始使用 RT-DETRv2。

物體檢測

使用 Trainer 或 Accelerate 微調 RTDetrV2ForObjectDetection 的指令碼可在此處找到。
另請參閱：目標檢測任務指南。
用於推理和在自定義資料集上微調 RT-DETRv2 的 Notebook (🌎)。

RTDetrV2Config

class transformers.RTDetrV2Config

< 來源 >

( initializer_range = 0.01 initializer_bias_prior_prob = None layer_norm_eps = 1e-05 batch_norm_eps = 1e-05 backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False freeze_backbone_batch_norms = True backbone_kwargs = None encoder_hidden_dim = 256 encoder_in_channels = [512, 1024, 2048] feat_strides = [8, 16, 32] encoder_layers = 1 encoder_ffn_dim = 1024 encoder_attention_heads = 8 dropout = 0.0 activation_dropout = 0.0 encode_proj_layers = [2] positional_encoding_temperature = 10000 encoder_activation_function = 'gelu' activation_function = 'silu' eval_size = None normalize_before = False hidden_expansion = 1.0 d_model = 256 num_queries = 300 decoder_in_channels = [256, 256, 256] decoder_ffn_dim = 1024 num_feature_levels = 3 decoder_n_points = 4 decoder_layers = 6 decoder_attention_heads = 8 decoder_activation_function = 'relu' attention_dropout = 0.0 num_denoising = 100 label_noise_ratio = 0.5 box_noise_scale = 1.0 learn_initial_query = False anchor_image_size = None with_box_refine = True is_encoder_decoder = True matcher_alpha = 0.25 matcher_gamma = 2.0 matcher_class_cost = 2.0 matcher_bbox_cost = 5.0 matcher_giou_cost = 2.0 use_focal_loss = True auxiliary_loss = True focal_loss_alpha = 0.75 focal_loss_gamma = 2.0 weight_loss_vfl = 1.0 weight_loss_bbox = 5.0 weight_loss_giou = 2.0 eos_coefficient = 0.0001 decoder_n_levels = 3 decoder_offset_scale = 0.5 decoder_method = 'default' **kwargs )

引數

initializer_range (float, 可選, 預設為 0.01) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。
initializer_bias_prior_prob (float, 可選) — 偏置初始化器用於初始化 enc_score_head 和 class_embed 偏置的先驗機率。如果為 None，則在初始化模型權重時計算為 prior_prob = 1 / (num_labels + 1)。
layer_norm_eps (float, 可選, 預設為 1e-05) — 層歸一化層使用的 epsilon 值。
batch_norm_eps (float, 可選, 預設為 1e-05) — 批歸一化層使用的 epsilon 值。
backbone_config (Dict, 可選, 預設為 RTDetrV2ResNetConfig()) — 主幹模型的配置。
backbone (str, 可選) — 當 backbone_config 為 None 時使用的主幹名稱。如果 use_pretrained_backbone 為 True，則會從 timm 或 transformers 庫載入相應的預訓練權重。如果 use_pretrained_backbone 為 False，則會載入主幹的配置並用其初始化隨機權重的主幹。
use_pretrained_backbone (bool, 可選, 預設為 False) — 是否為主幹使用預訓練權重。
use_timm_backbone (bool, 可選, 預設為 False) — 是否從 timm 庫載入 backbone。如果為 False，則從 transformers 庫載入主幹。
freeze_backbone_batch_norms (bool, 可選, 預設為 True) — 是否凍結主幹中的批歸一化層。
backbone_kwargs (dict, 可選) — 從檢查點載入時傳遞給 AutoBackbone 的關鍵字引數，例如 {'out_indices': (0, 1, 2, 3)}。如果設定了 backbone_config，則不能指定此引數。
encoder_hidden_dim (int, 可選, 預設為 256) — 混合編碼器中層的維度。
encoder_in_channels (list, 可選, 預設為 [512, 1024, 2048]) — 編碼器的多級特徵輸入。
feat_strides (list[int], 可選, 預設為 [8, 16, 32]) — 每個特徵圖中使用的步幅。
encoder_layers (int, 可選, 預設為 1) — 編碼器使用的總層數。
encoder_ffn_dim (int, 可選, 預設為 1024) — 解碼器中“中間”層（通常稱為前饋層）的維度。
encoder_attention_heads (int, 可選, 預設為 8) — Transformer 編碼器中每個注意力層的注意力頭數。
dropout (float, 可選, 預設為 0.0) — 所有 dropout 層的比率。
activation_dropout (float, 可選, 預設為 0.0) — 全連線層內啟用函式的 dropout 比率。
encode_proj_layers (list[int], 可選, 預設為 [2]) — 編碼器中使用的投影層的索引。
positional_encoding_temperature (int, 可選, 預設為 10000) — 用於建立位置編碼的溫度引數。
encoder_activation_function (str, 可選, 預設為 "gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
activation_function (str, 可選, 預設為 "silu") — 通用層中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
eval_size (tuple[int, int], 可選) — 用於計算考慮步幅後位置嵌入的有效高度和寬度的尺寸。
normalize_before (bool, 可選, 預設為 False) — 決定是否在 transformer 編碼器層中的自注意力和前饋模組之前應用層歸一化。
hidden_expansion (float, 可選, 預設為 1.0) — 用於放大 RepVGGBlock 和 CSPRepLayer 維度尺寸的擴充套件比率。
d_model (int, 可選, 預設為 256) — 除混合編碼器外的層的維度。
num_queries (int, 可選, 預設為 300) — 物件查詢的數量。
decoder_in_channels (list, 可選, 預設為 [256, 256, 256]) — 解碼器的多級特徵維度。
decoder_ffn_dim (int, 可選, 預設為 1024) — 解碼器中“中間”層（通常稱為前饋層）的維度。
num_feature_levels (int, 可選, 預設為 3) — 輸入特徵級別的數量。
decoder_n_points (int, 可選, 預設為 4) — 解碼器中每個注意力頭在每個特徵級別上取樣的鍵的數量。
decoder_layers (int, 可選, 預設為 6) — 解碼器層數。
decoder_attention_heads (int, 可選, 預設為 8) — Transformer 解碼器中每個注意力層的注意力頭數。
decoder_activation_function (str, 可選, 預設為 "relu") — 解碼器中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
attention_dropout (float, 可選, 預設為 0.0) — 注意力機率的 dropout 比率。
num_denoising (int, 可選, 預設為 100) — 用於對比去噪的總去噪任務或查詢數。
label_noise_ratio (float, 可選, 預設為 0.5) — 應新增隨機噪聲的去噪標籤的比例。
box_noise_scale (float, optional, defaults to 1.0) — 新增到邊界框的噪聲的尺度或幅度。
learn_initial_query (bool, optional, defaults to False) — 指示解碼器的初始查詢嵌入是否應在訓練期間學習。
anchor_image_size (tuple[int, int], optional) — 在評估期間用於生成邊界框錨點的輸入影像的高度和寬度。如果為 None，則應用自動生成錨點。
with_box_refine (bool, optional, defaults to True) — 是否應用迭代式邊界框最佳化，其中每個解碼器層根據前一層的預測來最佳化邊界框。
is_encoder_decoder (bool, optional, defaults to True) — 架構是否具有編碼器-解碼器結構。
matcher_alpha (float, optional, defaults to 0.25) — 匈牙利匹配器使用的引數 alpha。
matcher_gamma (float, optional, defaults to 2.0) — 匈牙利匹配器使用的引數 gamma。
matcher_class_cost (float, optional, defaults to 2.0) — 匈牙利匹配器使用的類別損失的相對權重。
matcher_bbox_cost (float, optional, defaults to 5.0) — 匈牙利匹配器使用的邊界框損失的相對權重。
matcher_giou_cost (float, optional, defaults to 2.0) — 匈牙利匹配器使用的 giou 損失的相對權重。
use_focal_loss (bool, optional, defaults to True) — 指示是否應使用 focal loss 的引數。
auxiliary_loss (bool, optional, defaults to True) — 是否使用輔助解碼損失（每個解碼器層的損失）。
focal_loss_alpha (float, optional, defaults to 0.75) — 用於計算 focal loss 的引數 alpha。
focal_loss_gamma (float, optional, defaults to 2.0) — 用於計算 focal loss 的引數 gamma。
weight_loss_vfl (float, optional, defaults to 1.0) — 目標檢測損失中 varifocal loss 的相對權重。
weight_loss_bbox (float, optional, defaults to 5.0) — 目標檢測損失中 L1 邊界框損失的相對權重。
weight_loss_giou (float, optional, defaults to 2.0) — 目標檢測損失中廣義 IoU 損失的相對權重。
eos_coefficient (float, optional, defaults to 0.0001) — 目標檢測損失中“無目標”類別的相對分類權重。
decoder_n_levels (int, optional, defaults to 3) — 解碼器使用的特徵層級數量。
decoder_offset_scale (float, optional, defaults to 0.5) — 應用於解碼器中注意力偏移量的縮放因子。
decoder_method (str, optional, defaults to "default") — 解碼器使用的方法："default" 或 "discrete"。

這是用於儲存 RTDetrV2Model 配置的配置類。它用於根據指定的引數例項化一個 RT-DETR 模型，定義模型架構。使用預設值例項化配置將產生與 RT-DETR 架構類似的配置。

例如 PekingU/rtdetr_r18vd

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import RTDetrV2Config, RTDetrV2Model

>>> # Initializing a RT-DETR configuration
>>> configuration = RTDetrV2Config()

>>> # Initializing a model (with random weights) from the configuration
>>> model = RTDetrV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

from_backbone_configs

< 源 >

( backbone_config: PretrainedConfig **kwargs ) → RTDetrV2Config

引數

backbone_config (PretrainedConfig) — 主幹網路的配置。

RTDetrV2Config

一個配置物件的例項

從預訓練的主幹網路模型配置和 DETR 模型配置例項化一個 RTDetrV2Config（或其派生類）。

RTDetrV2Model

class transformers.RTDetrV2Model

< 源 >

( config: RTDetrV2Config )

引數

config (RTDetrV2Config) — 模型配置類，包含模型的所有引數。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

RT-DETR 模型（由主幹網路和編碼器-解碼器組成），輸出原始的隱藏狀態，頂部沒有任何 head。

此模型繼承自 PreTrainedModel。請檢視超類的文件，瞭解庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入的大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規的 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< 源 >

( pixel_values: FloatTensor pixel_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[list[dict]] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.rt_detr_v2.modeling_rt_detr_v2.RTDetrV2ModelOutput 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參見 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 來處理影像)。
pixel_mask (torch.LongTensor，形狀為 (batch_size, height, width), optional) — 用於避免對填充畫素值執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：
- 1 表示真實的畫素（即 未被遮蓋），
- 0 表示填充的畫素（即 被遮蓋）。
什麼是注意力掩碼？
encoder_outputs (torch.FloatTensor, optional) — 元組，包含 (last_hidden_state, optional: hidden_states, optional: attentions)。last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，optional) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size), optional) — 可選地，你可以選擇直接傳遞影像的扁平化表示，而不是傳遞扁平化的特徵圖（主幹網路 + 投影層的輸出）。
decoder_inputs_embeds (torch.FloatTensor，形狀為 (batch_size, num_queries, hidden_size), optional) — 可選地，你可以選擇直接傳遞一個嵌入表示，而不是用零張量初始化查詢。
labels (list[Dict]，長度為 (batch_size,), optional) — 用於計算二分匹配損失的標籤。由字典組成的列表，每個字典至少包含以下兩個鍵：'class_labels' 和 'boxes'（分別表示批次中影像的類別標籤和邊界框）。類別標籤本身應為長度為 (影像中邊界框的數量,) 的 torch.LongTensor，而邊界框應為形狀為 (影像中邊界框的數量, 4) 的 torch.FloatTensor。
output_attentions (bool, optional) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
output_hidden_states (bool, optional) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
return_dict (bool, optional) — 是否返回一個 ModelOutput 而不是一個普通的元組。

transformers.models.rt_detr_v2.modeling_rt_detr_v2.RTDetrV2ModelOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.rt_detr_v2.modeling_rt_detr_v2.RTDetrV2ModelOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置（RTDetrV2Config）和輸入，包含各種元素。

last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。
intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。
intermediate_logits (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — 堆疊的中間 logits（解碼器每一層的 logits）。
intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。
intermediate_predicted_corners (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間預測角點（解碼器每一層的預測角點）。
initial_reference_points (torch.FloatTensor，形狀為 (batch_size, num_queries, 4)) — 用於第一個解碼器層的初始參考點。
decoder_hidden_states (tuple[torch.FloatTensor], optional, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出（如果模型有嵌入層），再加上每個層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
decoder_attentions (tuple[torch.FloatTensor], optional, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
cross_attentions (tuple[torch.FloatTensor], optional, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size), optional, 預設為 None) — 模型編碼器最後一層輸出的隱藏狀態序列。
encoder_hidden_states (tuple[torch.FloatTensor], optional, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出（如果模型有嵌入層），再加上每個層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
encoder_attentions (tuple[torch.FloatTensor], optional, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。
enc_topk_logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, config.num_labels)) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框被選為編碼器階段的區域提議。邊界框二元分類（即前景和背景）的輸出。
enc_topk_bboxes (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4)) — 編碼器階段預測的邊界框座標的 logits。
enc_outputs_class (torch.FloatTensor，形狀為 (batch_size, sequence_length, config.num_labels), optional, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框被選為第一階段的區域提議。邊界框二元分類（即前景和背景）的輸出。
enc_outputs_coord_logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4), optional, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 第一階段預測的邊界框座標的 logits。
denoising_meta_values (dict，可選，預設為 None) — 用於去噪相關值的額外字典。

RTDetrV2Model 的 forward 方法重寫了 __call__ 特殊方法。

雖然前向傳播的邏輯需要在此函式中定義，但之後應呼叫 Module 例項而不是這個函式，因為前者會處理前處理和後處理步驟，而後者會靜默地忽略它們。

示例

>>> from transformers import AutoImageProcessor, RTDetrV2Model
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/RTDetrV2_r50vd")
>>> model = RTDetrV2Model.from_pretrained("PekingU/RTDetrV2_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

RTDetrV2ForObjectDetection

class transformers.RTDetrV2ForObjectDetection

< 源 >

( config: RTDetrV2Config )

引數

config (RTDetrV2Config) — 模型配置類，包含模型的所有引數。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

RT-DETR 模型（由主幹網路和編碼器-解碼器組成），輸出邊界框和 logits，以便進一步解碼為分數和類別。

此模型繼承自 PreTrainedModel。請檢視超類的文件，瞭解庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入的大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規的 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< 源 >

( pixel_values: FloatTensor pixel_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[list[dict]] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None **loss_kwargs ) → transformers.models.rt_detr_v2.modeling_rt_detr_v2.RTDetrV2ObjectDetectionOutput 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參見 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 來處理影像)。
pixel_mask (torch.LongTensor，形狀為 (batch_size, height, width), optional) — 用於避免對填充畫素值執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：
- 1 表示真實的畫素（即 未被遮蓋），
- 0 表示填充的畫素（即 被遮蓋）。
什麼是注意力掩碼？
encoder_outputs (torch.FloatTensor, optional) — 元組，包含 (last_hidden_state, optional: hidden_states, optional: attentions)。last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，optional) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size), optional) — 可選地，你可以選擇直接傳遞影像的扁平化表示，而不是傳遞扁平化的特徵圖（主幹網路 + 投影層的輸出）。
decoder_inputs_embeds (torch.FloatTensor，形狀為 (batch_size, num_queries, hidden_size), optional) — 可選地，你可以選擇直接傳遞一個嵌入表示，而不是用零張量初始化查詢。
labels (list[Dict]，長度為 (batch_size,), optional) — 用於計算二分匹配損失的標籤。由字典組成的列表，每個字典至少包含以下兩個鍵：'class_labels' 和 'boxes'（分別表示批次中影像的類別標籤和邊界框）。類別標籤本身應為長度為 (影像中邊界框的數量,) 的 torch.LongTensor，而邊界框應為形狀為 (影像中邊界框的數量, 4) 的 torch.FloatTensor。
output_attentions (bool, optional) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
output_hidden_states (bool, optional) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
return_dict (bool, optional) — 是否返回一個 ModelOutput 而不是一個普通的元組。

transformers.models.rt_detr_v2.modeling_rt_detr_v2.RTDetrV2ObjectDetectionOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.rt_detr_v2.modeling_rt_detr_v2.RTDetrV2ObjectDetectionOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置（RTDetrV2Config）和輸入，包含各種元素。

loss (torch.FloatTensor，形狀為 (1,), optional, 當提供 labels 時返回) — 總損失，是用於類別預測的負對數似然（交叉熵）和邊界框損失的線性組合。後者被定義為 L1 損失和廣義尺度不變 IoU 損失的線性組合。
loss_dict (Dict, 可選) — 包含各個損失的字典。用於日誌記錄。
logits (形狀為 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor) — 所有查詢的分類 logits（包括無物件）。
pred_boxes (torch.FloatTensor，形狀為 (batch_size, num_queries, 4)) — 所有查詢的歸一化框座標，表示為 (center_x, center_y, width, height)。這些值在 [0, 1] 範圍內歸一化，相對於批次中每個單獨影像的大小（不考慮可能的填充）。你可以使用 ~RTDetrV2ImageProcessor.post_process_object_detection 來檢索未歸一化（絕對）的邊界框。
auxiliary_outputs (list[Dict], optional) — 可選，僅在啟用輔助損失（即 config.auxiliary_loss 設定為 True）並提供標籤時返回。它是一個字典列表，包含每個解碼器層的上述兩個鍵（logits 和 pred_boxes）。
last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。
intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。
intermediate_logits (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, config.num_labels)) — 堆疊的中間 logits（解碼器每一層的 logits）。
intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。
intermediate_predicted_corners (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間預測角點（解碼器每一層的預測角點）。
initial_reference_points (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的初始參考點（解碼器每一層的初始參考點）。
decoder_hidden_states (tuple[torch.FloatTensor], optional, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出（如果模型有嵌入層），再加上每個層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
decoder_attentions (tuple[torch.FloatTensor], optional, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
cross_attentions (tuple[torch.FloatTensor], optional, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size), optional, 預設為 None) — 模型編碼器最後一層輸出的隱藏狀態序列。
encoder_hidden_states (tuple[torch.FloatTensor], optional, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出（如果模型有嵌入層），再加上每個層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
encoder_attentions (tuple[torch.FloatTensor], optional, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。
enc_topk_logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, config.num_labels), optional, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 編碼器中預測的邊界框座標的 logits。
enc_topk_bboxes (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4), optional, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 編碼器中預測的邊界框座標的 logits。
enc_outputs_class (torch.FloatTensor，形狀為 (batch_size, sequence_length, config.num_labels), optional, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框被選為第一階段的區域提議。邊界框二元分類（即前景和背景）的輸出。
enc_outputs_coord_logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4), optional, 當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 第一階段預測的邊界框座標的 logits。
denoising_meta_values (dict，*可選*，預設為 None) — 用於去噪相關值的額外字典

RTDetrV2ForObjectDetection 的 forward 方法重寫了 __call__ 特殊方法。

示例

>>> from transformers import RTDetrV2ImageProcessor, RTDetrV2ForObjectDetection
>>> from PIL import Image
>>> import requests
>>> import torch

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = RTDetrV2ImageProcessor.from_pretrained("PekingU/RTDetrV2_r50vd")
>>> model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/RTDetrV2_r50vd")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> logits = outputs.logits
>>> list(logits.shape)
[1, 300, 80]

>>> boxes = outputs.pred_boxes
>>> list(boxes.shape)
[1, 300, 4]

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)[
...     0
... ]

>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected sofa with confidence 0.97 at location [0.14, 0.38, 640.13, 476.21]
Detected cat with confidence 0.96 at location [343.38, 24.28, 640.14, 371.5]
Detected cat with confidence 0.958 at location [13.23, 54.18, 318.98, 472.22]
Detected remote with confidence 0.951 at location [40.11, 73.44, 175.96, 118.48]
Detected remote with confidence 0.924 at location [333.73, 76.58, 369.97, 186.99]

< > 在 GitHub 上更新

Transformers

RT-DETRv2

概述

使用技巧

資源

RTDetrV2Config

class transformers.RTDetrV2Config

from_backbone_configs

RTDetrV2Model

class transformers.RTDetrV2Model

forward

RTDetrV2ForObjectDetection

class transformers.RTDetrV2ForObjectDetection

forward