Hugging Face 的 LOGO

Transformers 文件

RT-DETR

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

RT-DETR

PyTorch

概述

RT-DETR 模型由 Wenyu Lv、Yian Zhao、Shangliang Xu、Jinman Wei、Guanzhong Wang、Cheng Cui、Yuning Du、Qingqing Dang 和 Yi Liu 在論文 《DETRs Beat YOLOs on Real-time Object Detection》 中提出。

RT-DETR 是一個目標檢測模型，其名稱代表“Real-Time DEtection TRansformer”（即時檢測 Transformer）。該模型旨在執行目標檢測任務，重點是實現即時效能，同時保持高精度。RT-DETR 利用在深度學習各個領域廣受歡迎的 Transformer 架構，處理影像以識別和定位其中的多個物件。

論文摘要如下：

最近，基於 Transformer 的端到端檢測器（DETR）取得了顯著的效能。然而，DETR 計算成本高的問題尚未得到有效解決，這限制了它們的實際應用，並使其無法充分利用無需後處理（如非極大值抑制，NMS）的優勢。在本文中，我們首先分析了現代即時目標檢測器中 NMS 對推理速度的影響，並建立了一個端到端的速度基準。為避免 NMS 造成的推理延遲，我們提出了即時檢測 Transformer（RT-DETR），據我們所知，這是第一個即時的端到端目標檢測器。具體來說，我們設計了一個高效的混合編碼器，透過解耦尺度內互動和跨尺度融合來高效處理多尺度特徵，並提出了 IoU 感知的查詢選擇來改進物件查詢的初始化。此外，我們提出的檢測器支援透過使用不同的解碼器層來靈活調整推理速度，而無需重新訓練，這有助於即時目標檢測器的實際應用。我們的 RT-DETR-L 在 COCO val2017 上實現了 53.0% 的 AP 和在 T4 GPU 上的 114 FPS，而 RT-DETR-X 實現了 54.8% 的 AP 和 74 FPS，在速度和精度上均優於同等規模的所有 YOLO 檢測器。此外，我們的 RT-DETR-R50 實現了 53.1% 的 AP 和 108 FPS，在精度上比 DINO-Deformable-DETR-R50 高出 2.2% AP，在 FPS 上快約 21 倍。

drawing RT-DETR 相對於 YOLO 模型的效能。摘自原始論文。

該模型版本由 rafaelpadilla 和 sangbumchoi 貢獻。原始程式碼可在此處找到。

使用技巧

最初，影像使用預訓練的卷積神經網路進行處理，具體是原始程式碼中引用的 Resnet-D 變體。該網路從架構的最後三層提取特徵。之後，使用混合編碼器將多尺度特徵轉換為影像特徵的順序陣列。然後，使用配備輔助預測頭的解碼器來細化物件查詢。此過程有助於直接生成邊界框，無需任何額外的後處理即可獲取邊界框的 logits 和座標。

>>> import torch
>>> import requests

>>> from PIL import Image
>>> from transformers import RTDetrForObjectDetection, RTDetrImageProcessor

>>> url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r50vd")
>>> model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([(image.height, image.width)]), threshold=0.3)

>>> for result in results:
...     for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
...         score, label = score.item(), label_id.item()
...         box = [round(i, 2) for i in box.tolist()]
...         print(f"{model.config.id2label[label]}: {score:.2f} {box}")
sofa: 0.97 [0.14, 0.38, 640.13, 476.21]
cat: 0.96 [343.38, 24.28, 640.14, 371.5]
cat: 0.96 [13.23, 54.18, 318.98, 472.22]
remote: 0.95 [40.11, 73.44, 175.96, 118.48]
remote: 0.92 [333.73, 76.58, 369.97, 186.99]

資源

官方 Hugging Face 和社群（由 🌎 表示）資源列表，幫助你開始使用 RT-DETR。

物體檢測

RTDetrConfig

class transformers.RTDetrConfig

< >

( initializer_range = 0.01 initializer_bias_prior_prob = None layer_norm_eps = 1e-05 batch_norm_eps = 1e-05 backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False freeze_backbone_batch_norms = True backbone_kwargs = None encoder_hidden_dim = 256 encoder_in_channels = [512, 1024, 2048] feat_strides = [8, 16, 32] encoder_layers = 1 encoder_ffn_dim = 1024 encoder_attention_heads = 8 dropout = 0.0 activation_dropout = 0.0 encode_proj_layers = [2] positional_encoding_temperature = 10000 encoder_activation_function = 'gelu' activation_function = 'silu' eval_size = None normalize_before = False hidden_expansion = 1.0 d_model = 256 num_queries = 300 decoder_in_channels = [256, 256, 256] decoder_ffn_dim = 1024 num_feature_levels = 3 decoder_n_points = 4 decoder_layers = 6 decoder_attention_heads = 8 decoder_activation_function = 'relu' attention_dropout = 0.0 num_denoising = 100 label_noise_ratio = 0.5 box_noise_scale = 1.0 learn_initial_query = False anchor_image_size = None disable_custom_kernels = True with_box_refine = True is_encoder_decoder = True matcher_alpha = 0.25 matcher_gamma = 2.0 matcher_class_cost = 2.0 matcher_bbox_cost = 5.0 matcher_giou_cost = 2.0 use_focal_loss = True auxiliary_loss = True focal_loss_alpha = 0.75 focal_loss_gamma = 2.0 weight_loss_vfl = 1.0 weight_loss_bbox = 5.0 weight_loss_giou = 2.0 eos_coefficient = 0.0001 **kwargs )

引數

  • initializer_range (float, optional, 預設為 0.01) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。
  • initializer_bias_prior_prob (float, optional) — 偏置初始化器用於初始化 enc_score_head 和 class_embed 偏置的先驗機率。如果為 None，在初始化模型權重時，prior_prob 計算為 prior_prob = 1 / (num_labels + 1)。
  • layer_norm_eps (float, optional, 預設為 1e-05) — 層歸一化層使用的 epsilon。
  • batch_norm_eps (float, optional, 預設為 1e-05) — 批歸一化層使用的 epsilon。
  • backbone_config (Dict, optional, 預設為 RTDetrResNetConfig()) — 主幹模型的配置。
  • backbone (str, optional) — 當 backbone_config 為 None 時使用的主幹名稱。如果 use_pretrained_backbone 為 True，將從 timm 或 transformers 庫載入相應的預訓練權重。如果 use_pretrained_backbone 為 False，將載入主幹的配置並用其初始化具有隨機權重的主幹。
  • use_pretrained_backbone (bool, optional, 預設為 False) — 是否為主幹使用預訓練權重。
  • use_timm_backbone (bool, optional, 預設為 False) — 是否從 timm 庫載入 backbone。如果為 False，則從 transformers 庫載入主幹。
  • freeze_backbone_batch_norms (bool, optional, 預設為 True) — 是否凍結主幹中的批歸一化層。
  • backbone_kwargs (dict, optional) — 在從檢查點載入時傳遞給 AutoBackbone 的關鍵字引數，例如 {'out_indices': (0, 1, 2, 3)}。如果設定了 backbone_config，則不能指定此項。
  • encoder_hidden_dim (int, optional, 預設為 256) — 混合編碼器中各層的維度。
  • encoder_in_channels (list, optional, 預設為 [512, 1024, 2048]) — 編碼器的多級特徵輸入。
  • feat_strides (list[int], optional, 預設為 [8, 16, 32]) — 每個特徵圖中的步幅。
  • encoder_layers (int, optional, 預設為 1) — 編碼器使用的總層數。
  • encoder_ffn_dim (int, optional, 預設為 1024) — 解碼器中“中間”層（通常稱為前饋層）的維度。
  • encoder_attention_heads (int, optional, 預設為 8) — Transformer 編碼器中每個注意力層的注意力頭數。
  • dropout (float, optional, 預設為 0.0) — 所有 dropout 層的比率。
  • activation_dropout (float, optional, 預設為 0.0) — 全連線層內啟用的 dropout 比率。
  • encode_proj_layers (list[int], optional, 預設為 [2]) — 編碼器中要使用的投影層的索引。
  • positional_encoding_temperature (int, optional, 預設為 10000) — 用於建立位置編碼的溫度引數。
  • encoder_activation_function (str, optional, 預設為 "gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • activation_function (str, optional, 預設為 "silu") — 普通層中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • eval_size (tuple[int, int], optional) — 用於計算考慮步幅後位置嵌入的有效高度和寬度的尺寸。
  • normalize_before (bool, optional, 預設為 False) — 決定是否在 Transformer 編碼器層中的自注意力和前饋模組之前應用層歸一化。
  • hidden_expansion (float, optional, 預設為 1.0) — 用於擴大 RepVGGBlock 和 CSPRepLayer 維度大小的擴充套件比率。
  • d_model (int, optional, 預設為 256) — 除混合編碼器外的層維度。
  • num_queries (int, optional, 預設為 300) — 物件查詢的數量。
  • decoder_in_channels (list, optional, 預設為 [256, 256, 256]) — 解碼器的多級特徵維度。
  • decoder_ffn_dim (int, optional, 預設為 1024) — 解碼器中“中間”層（通常稱為前饋層）的維度。
  • num_feature_levels (int, optional, 預設為 3) — 輸入特徵級別的數量。
  • decoder_n_points (int, optional, 預設為 4) — 解碼器中每個注意力頭在每個特徵級別中取樣的鍵的數量。
  • decoder_layers (int, optional, 預設為 6) — 解碼器層數。
  • decoder_attention_heads (int, optional, 預設為 8) — Transformer 解碼器中每個注意力層的注意力頭數。
  • decoder_activation_function (str, optional, defaults to "relu") — 解碼器中的非線性啟用函式（函式或字串）。如果為字串，則支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • attention_dropout (float, optional, defaults to 0.0) — 注意力機率的 dropout 比率。
  • num_denoising (int, optional, defaults to 100) — 用於對比去噪的總去噪任務或查詢數量。
  • label_noise_ratio (float, optional, defaults to 0.5) — 應新增隨機噪聲的去噪標籤的比例。
  • box_noise_scale (float, optional, defaults to 1.0) — 要新增到邊界框的噪聲的尺度或幅度。
  • learn_initial_query (bool, optional, defaults to False) — 指示是否應在訓練期間學習解碼器的初始查詢嵌入。
  • anchor_image_size (tuple[int, int], optional) — 在評估期間用於生成邊界框錨點的輸入影像的高度和寬度。如果為 None，則應用自動生成錨點。
  • disable_custom_kernels (bool, optional, defaults to True) — 是否停用自定義核心。
  • with_box_refine (bool, optional, defaults to True) — 是否應用迭代式邊界框最佳化，其中每個解碼器層根據前一層的預測來最佳化邊界框。
  • is_encoder_decoder (bool, optional, defaults to True) — 架構是否具有編碼器-解碼器結構。
  • matcher_alpha (float, optional, defaults to 0.25) — 匈牙利匹配器使用的引數 alpha。
  • matcher_gamma (float, optional, defaults to 2.0) — 匈牙利匹配器使用的引數 gamma。
  • matcher_class_cost (float, optional, defaults to 2.0) — 匈牙利匹配器使用的類別損失的相對權重。
  • matcher_bbox_cost (float, optional, defaults to 5.0) — 匈牙利匹配器使用的邊界框損失的相對權重。
  • matcher_giou_cost (float, optional, defaults to 2.0) — 匈牙利匹配器使用的 giou 損失的相對權重。
  • use_focal_loss (bool, optional, defaults to True) — 指示是否使用 focal loss 的引數。
  • auxiliary_loss (bool, optional, defaults to True) — 是否使用輔助解碼損失（每個解碼器層的損失）。
  • focal_loss_alpha (float, optional, defaults to 0.75) — 用於計算 focal loss 的引數 alpha。
  • focal_loss_gamma (float, optional, defaults to 2.0) — 用於計算 focal loss 的引數 gamma。
  • weight_loss_vfl (float, optional, defaults to 1.0) — 目標檢測損失中 varifocal loss 的相對權重。
  • weight_loss_bbox (float, optional, defaults to 5.0) — 目標檢測損失中 L1 邊界框損失的相對權重。
  • weight_loss_giou (float, optional, defaults to 2.0) — 目標檢測損失中廣義 IoU 損失的相對權重。
  • eos_coefficient (float, optional, defaults to 0.0001) — 目標檢測損失中“無物件”類別的相對分類權重。

這是用於儲存 RTDetrModel 配置的配置類。它用於根據指定的引數例項化 RT-DETR 模型，定義模型架構。使用預設值例項化配置將產生與 RT-DETR PekingU/rtdetr_r50vd 架構類似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import RTDetrConfig, RTDetrModel

>>> # Initializing a RT-DETR configuration
>>> configuration = RTDetrConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = RTDetrModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

from_backbone_configs

< >

( backbone_config: PretrainedConfig **kwargs ) → RTDetrConfig

引數

返回

RTDetrConfig

一個配置物件的例項

從預訓練的主幹模型配置和 DETR 模型配置例項化一個 RTDetrConfig（或其派生類）。

RTDetrResNetConfig

class transformers.RTDetrResNetConfig

< >

( num_channels = 3 embedding_size = 64 hidden_sizes = [256, 512, 1024, 2048] depths = [3, 4, 6, 3] layer_type = 'bottleneck' hidden_act = 'relu' downsample_in_first_stage = False downsample_in_bottleneck = False out_features = None out_indices = None **kwargs )

引數

  • num_channels (int, optional, defaults to 3) — 輸入通道數。
  • embedding_size (int, optional, defaults to 64) — 嵌入層的維度（隱藏大小）。
  • hidden_sizes (list[int], optional, defaults to [256, 512, 1024, 2048]) — 每個階段的維度（隱藏大小）。
  • depths (list[int], optional, defaults to [3, 4, 6, 3]) — 每個階段的深度（層數）。
  • layer_type (str, optional, defaults to "bottleneck") — 使用的層型別，可以是 "basic"（用於較小的模型，如 resnet-18 或 resnet-34）或 "bottleneck"（用於較大的模型，如 resnet-50 及以上）。
  • hidden_act (str, optional, defaults to "relu") — 每個塊中的非線性啟用函式。如果為字串，則支援 "gelu"、"relu"、"selu" 和 "gelu_new"。
  • downsample_in_first_stage (bool, optional, defaults to False) — 如果為 True，第一階段將使用 stride 為 2 對輸入進行下采樣。
  • downsample_in_bottleneck (bool, optional, defaults to False) — 如果為 True，ResNetBottleNeckLayer 中的第一個 1x1 卷積將使用 stride 為 2 對輸入進行下采樣。
  • out_features (list[str], optional) — 如果用作主幹網路，則為要輸出的特徵列表。可以是 "stem"、"stage1"、"stage2" 等中的任何一個（取決於模型有多少個階段）。如果未設定且設定了 out_indices，則將預設為相應的階段。如果未設定且未設定 out_indices，則將預設為最後一個階段。必須與 stage_names 屬性中定義的順序相同。
  • out_indices (list[int], optional) — 如果用作主幹網路，則為要輸出的特徵的索引列表。可以是 0、1、2 等中的任何一個（取決於模型有多少個階段）。如果未設定且設定了 out_features，則將預設為相應的階段。如果未設定且未設定 out_features，則將預設為最後一個階段。必須與 stage_names 屬性中定義的順序相同。

這是用於儲存 RTDetrResnetBackbone 配置的配置類。它用於根據指定的引數例項化一個 ResNet 模型，定義模型架構。使用預設值例項化配置將產生與 ResNet microsoft/resnet-50 架構類似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import RTDetrResNetConfig, RTDetrResnetBackbone

>>> # Initializing a ResNet resnet-50 style configuration
>>> configuration = RTDetrResNetConfig()

>>> # Initializing a model (with random weights) from the resnet-50 style configuration
>>> model = RTDetrResnetBackbone(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

RTDetrImageProcessor

class transformers.RTDetrImageProcessor

< >

( format: typing.Union[str, transformers.image_utils.AnnotationFormat] = <AnnotationFormat.COCO_DETECTION: 'coco_detection'> do_resize: bool = True size: typing.Optional[dict[str, int]] = None resample: Resampling = <Resampling.BILINEAR: 2> do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = False image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_convert_annotations: bool = True do_pad: bool = False pad_size: typing.Optional[dict[str, int]] = None **kwargs )

引數

  • format (str, optional, defaults to AnnotationFormat.COCO_DETECTION) — 標註的資料格式。可以是“coco_detection”或“coco_panoptic”。
  • do_resize (bool, optional, defaults to True) — 控制是否將影像的（高度，寬度）尺寸調整為指定的 size。可在 preprocess 方法中透過 do_resize 引數覆蓋。
  • size (dict[str, int] optional, defaults to {"height" -- 640, "width": 640}): 調整後圖像的 (height, width) 尺寸大小。可在 preprocess 方法中透過 size 引數覆蓋。可用選項有：
    • {"height": int, "width": int}：影像將被調整為精確的 (height, width) 尺寸。不保持寬高比。
    • {"shortest_edge": int, "longest_edge": int}：影像將被調整到最大尺寸，同時保持寬高比，並使最短邊小於或等於 shortest_edge，最長邊小於或等於 longest_edge。
    • {"max_height": int, "max_width": int}：影像將被調整到最大尺寸，同時保持寬高比，並使高度小於或等於 max_height，寬度小於或等於 max_width。
  • resample (PILImageResampling, optional, defaults to PILImageResampling.BILINEAR) — 調整影像大小時使用的重取樣濾波器。
  • do_rescale (bool, optional, defaults to True) — 控制是否按指定的縮放因子 rescale_factor 對影像進行縮放。可在 preprocess 方法中透過 do_rescale 引數覆蓋。
  • rescale_factor (int or float, optional, defaults to 1/255) — 縮放影像時使用的縮放因子。可在 preprocess 方法中透過 rescale_factor 引數覆蓋。控制是否對影像進行歸一化。可在 preprocess 方法中透過 do_normalize 引數覆蓋。
  • do_normalize (bool, optional, defaults to False) — 是否對影像進行歸一化。
  • image_mean (float or list[float], optional, defaults to IMAGENET_DEFAULT_MEAN) — 歸一化影像時使用的均值。可以是一個單一值，也可以是一個列表，每個通道一個值。可在 preprocess 方法中透過 image_mean 引數覆蓋。
  • image_std (float or list[float], optional, defaults to IMAGENET_DEFAULT_STD) — 歸一化影像時使用的標準差。可以是一個單一值，也可以是一個列表，每個通道一個值。可在 preprocess 方法中透過 image_std 引數覆蓋。
  • do_convert_annotations (bool, optional, defaults to True) — 控制是否將標註轉換為 DETR 模型預期的格式。將邊界框轉換為 (center_x, center_y, width, height) 格式，並在 [0, 1] 範圍內。可在 preprocess 方法中透過 do_convert_annotations 引數覆蓋。
  • do_pad (bool, optional, defaults to False) — 控制是否對影像進行填充。可在 preprocess 方法中透過 do_pad 引數覆蓋。如果為 True，將使用零值對影像的底部和右側進行填充。如果提供了 pad_size，影像將被填充到指定的尺寸。否則，影像將被填充到批次中的最大高度和寬度。
  • pad_size (dict[str, int], optional) — 用於填充影像的尺寸 {"height": int, "width" int}。必須大於預處理時提供的任何影像尺寸。如果未提供 pad_size，影像將被填充到批次中的最大高度和寬度。

構建一個 RT-DETR 影像處理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] annotations: typing.Union[dict[str, typing.Union[int, str, list[dict]]], list[dict[str, typing.Union[int, str, list[dict]]]], NoneType] = None return_segmentation_masks: typing.Optional[bool] = None masks_path: typing.Union[str, pathlib.Path, NoneType] = None do_resize: typing.Optional[bool] = None size: typing.Optional[dict[str, int]] = None resample = None do_rescale: typing.Optional[bool] = None rescale_factor: typing.Union[int, float, NoneType] = None do_normalize: typing.Optional[bool] = None do_convert_annotations: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_pad: typing.Optional[bool] = None format: typing.Union[str, transformers.image_utils.AnnotationFormat, NoneType] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: typing.Union[str, transformers.image_utils.ChannelDimension] = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None pad_size: typing.Optional[dict[str, int]] = None )

引數

  • images (ImageInput) — 需要預處理的影像或一批影像。期望是單個或一批畫素值範圍在 0 到 255 之間的影像。如果傳入的影像畫素值在 0 到 1 之間，請設定 do_rescale=False。
  • annotations (AnnotationType or list[AnnotationType], optional) — 與影像或一批影像關聯的標註列表。如果標註用於目標檢測，標註應為具有以下鍵的字典：
    • “image_id” (int): 影像 ID。
    • “annotations” (list[Dict]): 影像的標註列表。每個標註都應是一個字典。一張影像可以沒有標註，此時列表應為空。如果標註用於分割，標註應為具有以下鍵的字典：
    • “image_id” (int): 影像 ID。
    • “segments_info” (list[Dict]): 影像的分割塊列表。每個分割塊都應是一個字典。一張影像可以沒有分割塊，此時列表應為空。
    • “file_name” (str): 影像的檔名。
  • return_segmentation_masks (bool, optional, defaults to self.return_segmentation_masks) — 是否返回分割掩碼。
  • masks_path (str or pathlib.Path, optional) — 包含分割掩碼的目錄路徑。
  • do_resize (bool, optional, defaults to self.do_resize) — 是否調整影像大小。
  • size (dict[str, int], optional, defaults to self.size) — 調整大小後圖像的 (height, width) 尺寸。可用選項包括：
    • {"height": int, "width": int}: 影像將被調整為精確尺寸 (height, width)。不保持縱橫比。
    • {"shortest_edge": int, "longest_edge": int}: 影像將被調整到最大尺寸，同時保持縱橫比，並確保最短邊小於或等於 shortest_edge，最長邊小於或等於 longest_edge。
    • {"max_height": int, "max_width": int}: 影像將被調整到最大尺寸，同時保持縱橫比，並確保高度小於或等於 max_height，寬度小於或等於 max_width。
  • resample (PILImageResampling, optional, defaults to self.resample) — 調整影像大小時使用的重取樣濾波器。
  • do_rescale (bool, optional, defaults to self.do_rescale) — 是否對影像進行縮放。
  • rescale_factor (float, optional, defaults to self.rescale_factor) — 縮放影像時使用的縮放因子。
  • do_normalize (bool, optional, defaults to self.do_normalize) — 是否對影像進行歸一化。
  • do_convert_annotations (bool, optional, defaults to self.do_convert_annotations) — 是否將標註轉換為模型期望的格式。將邊界框從 `(top_left_x, top_left_y, width, height)` 格式轉換為 `(center_x, center_y, width, height)` 格式，並使用相對座標。
  • image_mean (float or list[float], optional, defaults to self.image_mean) — 歸一化影像時使用的均值。
  • image_std (float or list[float], optional, defaults to self.image_std) — 歸一化影像時使用的標準差。
  • do_pad (bool, optional, defaults to self.do_pad) — 是否對影像進行填充。如果為 True，將使用零值對影像的底部和右側進行填充。如果提供了 pad_size，影像將被填充到指定的尺寸。否則，影像將被填充到批次中的最大高度和寬度。
  • format (str or AnnotationFormat, optional, defaults to self.format) — 標註的格式。
  • return_tensors (str or TensorType, optional, defaults to self.return_tensors) — 返回的張量型別。如果為 None，將返回影像列表。
  • data_format (ChannelDimension or str, optional, defaults to ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一：
    • "channels_first" or ChannelDimension.FIRST: 影像格式為 (num_channels, height, width)。
    • "channels_last" or ChannelDimension.LAST: 影像格式為 (height, width, num_channels)。
    • 未設定：使用輸入影像的通道維度格式。
  • input_data_format (ChannelDimension or str, optional) — 輸入影像的通道維度格式。如果未設定，將從輸入影像中推斷通道維度格式。可以是以下之一：
    • "channels_first" or ChannelDimension.FIRST: 影像格式為 (num_channels, height, width)。
    • "channels_last" or ChannelDimension.LAST: 影像格式為 (height, width, num_channels)。
    • "none" or ChannelDimension.NONE: 影像格式為 (height, width)。
  • pad_size (dict[str, int], optional) — 用於填充影像的尺寸 {"height": int, "width" int}。必須大於預處理時提供的任何影像尺寸。如果未提供 pad_size，影像將被填充到批次中的最大高度和寬度。

預處理影像或影像批次，以便模型可以使用。

post_process_object_detection

< >

( outputs threshold: float = 0.5 target_sizes: typing.Union[transformers.utils.generic.TensorType, list[tuple]] = None use_focal_loss: bool = True ) → list[Dict]

引數

  • outputs (DetrObjectDetectionOutput) — 模型的原始輸出。
  • threshold (float, optional, defaults to 0.5) — 用於保留目標檢測預測結果的分數閾值。
  • target_sizes (torch.Tensor or list[tuple[int, int]], optional) — 形狀為 (batch_size, 2) 的張量或包含批次中每張影像目標尺寸 (height, width) 的元組列表 (tuple[int, int])。如果未設定，則不會調整預測結果的大小。
  • use_focal_loss (bool defaults to True) — 指示是否使用焦點損失（focal loss）來預測輸出的變數。如果為 True，則應用 sigmoid 函式計算每次檢測的分數；否則，使用 softmax 函式。

返回

list[Dict]

一個字典列表，每個字典包含模型預測的批處理中每張影像的分數、標籤和框。

將 DetrForObjectDetection 的原始輸出轉換為最終的邊界框，格式為 (top_left_x, top_left_y, bottom_right_x, bottom_right_y)。僅支援 PyTorch。

RTDetrImageProcessorFast

class transformers.RTDetrImageProcessorFast

< >

( **kwargs: typing_extensions.Unpack[transformers.models.rt_detr.image_processing_rt_detr_fast.RTDetrFastImageProcessorKwargs] )

構建一個快速的 Rt Detr 影像處理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] annotations: typing.Union[dict[str, typing.Union[int, str, list[dict]]], list[dict[str, typing.Union[int, str, list[dict]]]], NoneType] = None masks_path: typing.Union[str, pathlib.Path, NoneType] = None **kwargs: typing_extensions.Unpack[transformers.models.rt_detr.image_processing_rt_detr_fast.RTDetrFastImageProcessorKwargs] ) → <class 'transformers.image_processing_base.BatchFeature'>

引數

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]) — 需要預處理的影像。期望是單個或一批畫素值範圍在 0 到 255 之間的影像。如果傳入的影像畫素值在 0 到 1 之間，請設定 do_rescale=False。
  • annotations (AnnotationType or list[AnnotationType], optional) — 與影像或一批影像關聯的標註列表。如果標註用於目標檢測，標註應為具有以下鍵的字典：
    • “image_id” (int): 影像 ID。
    • “annotations” (list[Dict]): 影像的標註列表。每個標註都應是一個字典。一張影像可以沒有標註，此時列表應為空。如果標註用於分割，標註應為具有以下鍵的字典：
    • “image_id” (int): 影像 ID。
    • “segments_info” (list[Dict]): 影像的分割塊列表。每個分割塊都應是一個字典。一張影像可以沒有分割塊，此時列表應為空。
    • “file_name” (str): 影像的檔名。
  • masks_path (str or pathlib.Path, optional) — 包含分割掩碼的目錄路徑。
  • do_resize (bool, optional) — 是否調整影像大小。
  • size (dict[str, int], optional) — 描述模型的最大輸入尺寸。
  • default_to_square (bool, optional) — 在調整大小時，如果 `size` 是一個整數，是否預設調整為正方形影像。
  • resample (Union[PILImageResampling, F.InterpolationMode, NoneType]) — 如果調整影像大小，使用的重取樣濾波器。可以是列舉 `PILImageResampling` 中的一個。僅當 `do_resize` 設定為 `True` 時有效。
  • do_center_crop (bool, optional) — 是否對影像進行中心裁剪。
  • crop_size (dict[str, int], optional) — 應用 `center_crop` 後輸出影像的尺寸。
  • do_rescale (bool, optional) — 是否對影像進行縮放。
  • rescale_factor (Union[int, float, NoneType]) — 如果 `do_rescale` 設定為 `True`，用於縮放影像的縮放因子。
  • do_normalize (bool, optional) — 是否對影像進行歸一化。
  • image_mean (Union[float, list[float], NoneType]) — 用於歸一化的影像均值。僅當 `do_normalize` 設定為 `True` 時有效。
  • image_std (Union[float, list[float], NoneType]) — 用於歸一化的影像標準差。僅當 `do_normalize` 設定為 `True` 時有效。
  • do_convert_rgb (bool, optional) — 是否將影像轉換為 RGB 格式。
  • return_tensors (Union[str, ~utils.generic.TensorType, NoneType]) — 如果設定為 `pt`，則返回堆疊的張量，否則返回張量列表。
  • data_format (~image_utils.ChannelDimension, optional) — 僅支援 `ChannelDimension.FIRST`。為與慢速處理器相容而新增。
  • input_data_format (Union[str, ~image_utils.ChannelDimension, NoneType]) — 輸入影像的通道維度格式。如果未設定，將從輸入影像中推斷通道維度格式。可以是以下之一：
    • "channels_first" or ChannelDimension.FIRST: 影像格式為 (num_channels, height, width)。
    • "channels_last" or ChannelDimension.LAST: 影像格式為 (height, width, num_channels)。
    • "none" or ChannelDimension.NONE: 影像格式為 (height, width)。
  • device (torch.device, optional) — 處理影像的裝置。如果未設定，將從輸入影像中推斷裝置。
  • disable_grouping (bool, optional) — 是否停用按尺寸對影像進行分組，以便單獨處理而非批次處理。如果為 None，則在影像位於 CPU 上時設定為 True，否則為 False。此選擇基於經驗觀察，詳見：https://github.com/huggingface/transformers/pull/38157
  • format (str, optional, defaults to AnnotationFormat.COCO_DETECTION) — 標註的資料格式。可以是 “coco_detection” 或 “coco_panoptic”。
  • do_convert_annotations (bool, optional, defaults to True) — 控制是否將標註轉換為 RT_DETR 模型期望的格式。將邊界框轉換為 `(center_x, center_y, width, height)` 格式，且範圍在 `[0, 1]` 內。可在 `preprocess` 方法中透過 `do_convert_annotations` 引數覆蓋。
  • do_pad (bool, optional, defaults to True) — 控制是否對影像進行填充。可在 `preprocess` 方法中透過 `do_pad` 引數覆蓋。如果為 `True`，將使用零值對影像的底部和右側進行填充。如果提供了 `pad_size`，影像將被填充到指定的尺寸。否則，影像將被填充到批次中的最大高度和寬度。
  • pad_size (dict[str, int], optional) — 用於填充影像的尺寸 {"height": int, "width" int}。必須大於預處理時提供的任何影像尺寸。如果未提供 `pad_size`，影像將被填充到批次中的最大高度和寬度。
  • return_segmentation_masks (bool, optional, defaults to False) — 是否返回分割掩碼。

返回

<class 'transformers.image_processing_base.BatchFeature'>

  • data (dict) — 由 call 方法返回的列表/陣列/張量字典（“pixel_values”等）。
  • tensor_type (Union[None, str, TensorType], 可選) — 您可以在此處提供一個`tensor_type`，以便在初始化時將整數列表轉換為PyTorch/TensorFlow/Numpy張量。

post_process_object_detection

< >

( outputs threshold: float = 0.5 target_sizes: typing.Union[transformers.utils.generic.TensorType, list[tuple]] = None use_focal_loss: bool = True ) → list[Dict]

引數

  • outputs (DetrObjectDetectionOutput) — 模型的原始輸出。
  • threshold (float, optional, defaults to 0.5) — 用於保留目標檢測預測結果的分數閾值。
  • target_sizes (torch.Tensor or list[tuple[int, int]], optional) — 形狀為 (batch_size, 2) 的張量或包含批次中每張影像目標尺寸 (height, width) 的元組列表 (tuple[int, int])。如果未設定，則不會調整預測結果的大小。
  • use_focal_loss (bool defaults to True) — 指示是否使用焦點損失 (focal loss) 來預測輸出的變數。如果為 True，則應用 sigmoid 函式計算每次檢測的分數，否則使用 softmax 函式。

返回

list[Dict]

一個字典列表，每個字典包含模型預測的批處理中每張影像的分數、標籤和框。

將 DetrForObjectDetection 的原始輸出轉換為最終的邊界框，格式為 (top_left_x, top_left_y, bottom_right_x, bottom_right_y)。僅支援 PyTorch。

RTDetrModel

class transformers.RTDetrModel

< >

( config: RTDetrConfig )

引數

  • config (RTDetrConfig) — 模型配置類，包含了模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

RT-DETR 模型（由主幹網路和編碼器-解碼器組成），輸出原始的隱藏狀態，頂部沒有任何 head。

該模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是一個 PyTorch torch.nn.Module 子類。可以像使用常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< >

( pixel_values: FloatTensor pixel_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[list[dict]] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.rt_detr.modeling_rt_detr.RTDetrModelOutput or tuple(torch.FloatTensor)

引數

  • pixel_values (torch.FloatTensor of shape (batch_size, num_channels, image_size, image_size)) — 與輸入影像對應的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
  • pixel_mask (torch.LongTensor of shape (batch_size, height, width), optional) — 用於避免在填充畫素值上執行注意力機制的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示真實的畫素（即 未被掩蓋），
    • 0 表示填充的畫素（即 被掩蓋）。

    什麼是注意力掩碼？

  • encoder_outputs (torch.FloatTensor, optional) — 元組，包含 (last_hidden_state, optional: hidden_states, optional: attentions) last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。
  • inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可選地，你可以選擇直接傳遞影像的扁平化表示，而不是傳遞扁平化的特徵圖（主幹網路 + 投影層的輸出）。
  • decoder_inputs_embeds (torch.FloatTensor of shape (batch_size, num_queries, hidden_size), optional) — 可選地，你可以選擇直接傳遞一個嵌入表示，而不是用零張量初始化查詢。
  • labels (list[Dict] of len (batch_size,), optional) — 用於計算二分匹配損失的標籤。由字典組成的列表，每個字典至少包含以下 2 個鍵：‘class_labels’ 和 ‘boxes’（分別表示批次中影像的類別標籤和邊界框）。類別標籤本身應為長度為 (影像中邊界框的數量,) 的 torch.LongTensor，而邊界框應為形狀為 (影像中邊界框的數量, 4) 的 torch.FloatTensor。
  • output_attentions (bool, optional) — 是否返回所有注意力層的注意力張量。更多細節請參閱返回張量下的 `attentions`。
  • output_hidden_states (bool, optional) — 是否返回所有層的隱藏狀態。更多細節請參閱返回張量下的 `hidden_states`。
  • return_dict (bool, optional) — 是否返回一個 ModelOutput 而不是一個普通的元組。

返回

transformers.models.rt_detr.modeling_rt_detr.RTDetrModelOutput or tuple(torch.FloatTensor)

一個 `transformers.models.rt_detr.modeling_rt_detr.RTDetrModelOutput` 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或者 `config.return_dict=False`），根據配置 (RTDetrConfig) 和輸入，包含不同的元素。

  • last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。

  • intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。

  • intermediate_logits (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — 堆疊的中間 logits（解碼器每一層的 logits）。

  • intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。

  • intermediate_predicted_corners (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間預測角點（解碼器每一層的預測角點）。

  • initial_reference_points (torch.FloatTensor，形狀為 (batch_size, num_queries, 4)) — 用於第一個解碼器層的初始參考點。

  • decoder_hidden_states (tuple[torch.FloatTensor], optional, 當 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，一個是嵌入層的輸出，+ 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。

    解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • decoder_attentions (tuple[torch.FloatTensor], optional, 當 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • cross_attentions (tuple[torch.FloatTensor], optional, 當 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

  • encoder_last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional, defaults to None) — 模型編碼器最後一層輸出的隱藏狀態序列。

  • encoder_hidden_states (tuple[torch.FloatTensor], optional, 當 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，一個是嵌入層的輸出，+ 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。

    編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • encoder_attentions (tuple[torch.FloatTensor], optional, 當 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。

  • enc_topk_logits (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels)) — 預測的邊界框分數，其中得分最高的 `config.two_stage_num_proposals` 個邊界框被選為編碼器階段的區域提議。邊界框二元分類（即前景和背景）的輸出。

  • enc_topk_bboxes (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4)) — 編碼器階段預測的邊界框座標的 logits。

  • enc_outputs_class (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels), optional, 當 `config.with_box_refine=True` 且 `config.two_stage=True` 時返回) — 預測的邊界框分數，其中得分最高的 `config.two_stage_num_proposals` 個邊界框被選為第一階段的區域提議。邊界框二元分類（即前景和背景）的輸出。

  • enc_outputs_coord_logits (torch.FloatTensor of shape (batch_size, sequence_length, 4), optional, 當 `config.with_box_refine=True` 且 `config.two_stage=True` 時返回) — 第一階段預測的邊界框座標的 logits。

  • denoising_meta_values (dict，可選，預設為 None) — 用於去噪相關值的額外字典。

RTDetrModel 的 forward 方法重寫了 `__call__` 特殊方法。

儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理預處理和後處理步驟，而後者會靜默地忽略它們。

示例

>>> from transformers import AutoImageProcessor, RTDetrModel
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/rtdetr_r50vd")
>>> model = RTDetrModel.from_pretrained("PekingU/rtdetr_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

RTDetrForObjectDetection

class transformers.RTDetrForObjectDetection

< >

( config: RTDetrConfig )

引數

  • config (RTDetrConfig) — 模型配置類，包含了模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

RT-DETR 模型（由主幹網路和編碼器-解碼器組成），輸出邊界框和 logits，以便進一步解碼為分數和類別。

該模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是一個 PyTorch torch.nn.Module 子類。可以像使用常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< >

( pixel_values: FloatTensor pixel_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[list[dict]] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None **loss_kwargs ) → transformers.models.rt_detr.modeling_rt_detr.RTDetrObjectDetectionOutput or tuple(torch.FloatTensor)

引數

  • pixel_values (torch.FloatTensor of shape (batch_size, num_channels, image_size, image_size)) — 與輸入影像對應的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
  • pixel_mask (torch.LongTensor of shape (batch_size, height, width), optional) — 用於避免在填充畫素值上執行注意力機制的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示真實的畫素（即 未被掩蓋），
    • 0 表示填充的畫素（即 被掩蓋）。

    什麼是注意力掩碼？

  • encoder_outputs (torch.FloatTensor, optional) — 元組，包含 (last_hidden_state, optional: hidden_states, optional: attentions) last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。
  • inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可選地，你可以選擇直接傳遞影像的扁平化表示，而不是傳遞扁平化的特徵圖（主幹網路 + 投影層的輸出）。
  • decoder_inputs_embeds (torch.FloatTensor of shape (batch_size, num_queries, hidden_size), optional) — 可選地，你可以選擇直接傳遞一個嵌入表示，而不是用零張量初始化查詢。
  • labels (list[Dict] of len (batch_size,), optional) — 用於計算二分匹配損失的標籤。由字典組成的列表，每個字典至少包含以下 2 個鍵：‘class_labels’ 和 ‘boxes’（分別表示批次中影像的類別標籤和邊界框）。類別標籤本身應為長度為 (影像中邊界框的數量,) 的 torch.LongTensor，而邊界框應為形狀為 (影像中邊界框的數量, 4) 的 torch.FloatTensor。
  • output_attentions (bool, optional) — 是否返回所有注意力層的注意力張量。更多細節請參閱返回張量下的 `attentions`。
  • output_hidden_states (bool, optional) — 是否返回所有層的隱藏狀態。更多細節請參閱返回張量下的 `hidden_states`。
  • return_dict (bool, optional) — 是否返回一個 ModelOutput 而不是一個普通的元組。

返回

transformers.models.rt_detr.modeling_rt_detr.RTDetrObjectDetectionOutput or tuple(torch.FloatTensor)

一個 `transformers.models.rt_detr.modeling_rt_detr.RTDetrObjectDetectionOutput` 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或者 `config.return_dict=False`），根據配置 (RTDetrConfig) 和輸入，包含不同的元素。

  • loss (torch.FloatTensor of shape (1,), optional, 當提供了 labels 時返回) — 總損失，是類別預測的負對數似然（交叉熵）和邊界框損失的線性組合。後者定義為 L1 損失和廣義尺度不變 IoU 損失的線性組合。

  • loss_dict (Dict, 可選) — 包含各個損失的字典。用於日誌記錄。

  • logits (形狀為 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor) — 所有查詢的分類 logits（包括無物件）。

  • pred_boxes (torch.FloatTensor of shape (batch_size, num_queries, 4)) — 所有查詢的歸一化邊界框座標，表示為 (center_x, center_y, width, height)。這些值在 [0, 1] 範圍內歸一化，相對於批次中每個影像的大小（不考慮可能的填充）。你可以使用 post_process_object_detection() 來檢索未歸一化（絕對）的邊界框。

  • auxiliary_outputs (list[Dict], optional) — 可選，僅在啟用輔助損失（即 `config.auxiliary_loss` 設定為 `True`）並提供標籤時返回。它是一個字典列表，包含每個解碼器層的上述兩個鍵（`logits` 和 `pred_boxes`）。

  • last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。

  • intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。

  • intermediate_logits (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, config.num_labels)) — 堆疊的中間 logits（解碼器每一層的 logits）。

  • intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。

  • intermediate_predicted_corners (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間預測角點（解碼器每一層的預測角點）。

  • initial_reference_points (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的初始參考點（解碼器每一層的初始參考點）。

  • decoder_hidden_states (tuple[torch.FloatTensor], optional, 當 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，一個是嵌入層的輸出，+ 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。

    解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • decoder_attentions (tuple[torch.FloatTensor], optional, 當 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • cross_attentions (tuple[torch.FloatTensor], optional, 當 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

  • encoder_last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional, defaults to None) — 模型編碼器最後一層輸出的隱藏狀態序列。

  • encoder_hidden_states (tuple[torch.FloatTensor], optional, 當 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，一個是嵌入層的輸出，+ 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。

    編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • encoder_attentions (tuple[torch.FloatTensor], optional, 當 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。

  • enc_topk_logits (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels), optional, 當 `config.with_box_refine=True` 且 `config.two_stage=True` 時返回) — 編碼器中預測的邊界框座標的 logits。

  • enc_topk_bboxes (torch.FloatTensor of shape (batch_size, sequence_length, 4), optional, 當 `config.with_box_refine=True` 且 `config.two_stage=True` 時返回) — 編碼器中預測的邊界框座標的 logits。

  • enc_outputs_class (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels), optional, 當 `config.with_box_refine=True` 且 `config.two_stage=True` 時返回) — 預測的邊界框分數，其中得分最高的 `config.two_stage_num_proposals` 個邊界框被選為第一階段的區域提議。邊界框二元分類（即前景和背景）的輸出。

  • enc_outputs_coord_logits (torch.FloatTensor of shape (batch_size, sequence_length, 4), optional, 當 `config.with_box_refine=True` 且 `config.two_stage=True` 時返回) — 第一階段預測的邊界框座標的 logits。

  • denoising_meta_values (dict，*可選*，預設為 None) — 用於去噪相關值的額外字典

RTDetrForObjectDetection 的 forward 方法重寫了 `__call__` 特殊方法。

儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理預處理和後處理步驟，而後者會靜默地忽略它們。

示例

>>> from transformers import RTDetrImageProcessor, RTDetrForObjectDetection
>>> from PIL import Image
>>> import requests
>>> import torch

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_r50vd")
>>> model = RTDetrForObjectDetection.from_pretrained("PekingU/rtdetr_r50vd")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> logits = outputs.logits
>>> list(logits.shape)
[1, 300, 80]

>>> boxes = outputs.pred_boxes
>>> list(boxes.shape)
[1, 300, 4]

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)[
...     0
... ]

>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected sofa with confidence 0.97 at location [0.14, 0.38, 640.13, 476.21]
Detected cat with confidence 0.96 at location [343.38, 24.28, 640.14, 371.5]
Detected cat with confidence 0.958 at location [13.23, 54.18, 318.98, 472.22]
Detected remote with confidence 0.951 at location [40.11, 73.44, 175.96, 118.48]
Detected remote with confidence 0.924 at location [333.73, 76.58, 369.97, 186.99]

RTDetrResNetBackbone

class transformers.RTDetrResNetBackbone

< >

( config )

引數

  • config (RTDetrResNetBackbone) — 模型配置類，包含了模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

ResNet 主幹網路，用於像 RTDETR 這樣的框架。

該模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是一個 PyTorch torch.nn.Module 子類。可以像使用常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< >

( pixel_values: Tensor output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BackboneOutput or tuple(torch.FloatTensor)

引數

  • pixel_values (torch.Tensor of shape (batch_size, num_channels, image_size, image_size)) — 與輸入影像對應的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
  • output_hidden_states (bool, optional) — 是否返回所有層的隱藏狀態。更多細節請參閱返回張量下的 `hidden_states`。
  • return_dict (bool, optional) — 是否返回一個 ModelOutput 而不是一個普通的元組。

返回

transformers.modeling_outputs.BackboneOutput or tuple(torch.FloatTensor)

一個 `transformers.modeling_outputs.BackboneOutput` 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或者 `config.return_dict=False`），根據配置 (RTDetrResNetConfig) 和輸入，包含不同的元素。

  • feature_maps (tuple(torch.FloatTensor) of shape (batch_size, num_channels, height, width)) — 各個階段的特徵圖。

  • hidden_states (tuple(torch.FloatTensor), optional, 當 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個是嵌入層的輸出 + 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size) 或 (batch_size, num_channels, height, width)，具體取決於主幹網路。

    模型在每個階段輸出的隱藏狀態以及初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), optional, 當 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。僅當主幹網路使用注意力機制時適用。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

RTDetrResNetBackbone 的 forward 方法重寫了 `__call__` 特殊方法。

儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理預處理和後處理步驟，而後者會靜默地忽略它們。

示例

>>> from transformers import RTDetrResNetConfig, RTDetrResNetBackbone
>>> import torch

>>> config = RTDetrResNetConfig()
>>> model = RTDetrResNetBackbone(config)

>>> pixel_values = torch.randn(1, 3, 224, 224)

>>> with torch.no_grad():
...     outputs = model(pixel_values)

>>> feature_maps = outputs.feature_maps
>>> list(feature_maps[-1].shape)
[1, 2048, 7, 7]
< > 在 GitHub 上更新

←ResNet RT-DETRv2→
© . This site is unofficial and not affiliated with Hugging Face, Inc.