Hugging Face 的 LOGO

Transformers 文件

D-FINE

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

D-FINE

概述

D-FINE 模型由 Yansong Peng、Hebei Li、Peixi Wu、Yueyi Zhang、Xiaoyan Sun 和 Feng Wu 在 D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement 一文中提出。

論文摘要如下：

我們介紹了 D-FINE，這是一款強大的即時目標檢測器，透過重新定義 DETR 模型中的邊界框迴歸任務，實現了出色的定位精度。D-FINE 包含兩個關鍵元件：細粒度分佈細化 (FDR) 和全域性最優定位自蒸餾 (GO-LSD)。FDR 將回歸過程從預測固定座標轉變為迭代細化機率分佈，提供了一種細粒度的中間表示，顯著提高了定位準確性。GO-LSD 是一種雙向最佳化策略，透過自蒸餾將精煉分佈的定位知識傳遞到較淺的層，同時簡化了深層網路的殘差預測任務。此外，D-FINE 在計算密集型模組和操作中融入了輕量級最佳化，實現了速度與準確性之間的更佳平衡。具體來說，D-FINE-L / X 在 COCO 資料集上實現了 54.0% / 55.8% 的 AP，在 NVIDIA T4 GPU 上的執行速度為 124 / 78 FPS。在 Objects365 上進行預訓練後，D-FINE-L / X 達到了 57.1% / 59.3% 的 AP，超過了所有現有的即時檢測器。此外，我們的方法顯著提升了各種 DETR 模型的效能，最多可提高 5.3% 的 AP，而附加的引數和訓練成本可以忽略不計。我們的程式碼和預訓練模型：請訪問此 URL。

該模型由 VladOS95-cyber 貢獻。原始程式碼可在此處找到。

使用技巧

>>> import torch
>>> from transformers.image_utils import load_image
>>> from transformers import DFineForObjectDetection, AutoImageProcessor

>>> url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
>>> image = load_image(url)

>>> image_processor = AutoImageProcessor.from_pretrained("ustc-community/dfine_x_coco")
>>> model = DFineForObjectDetection.from_pretrained("ustc-community/dfine_x_coco")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> results = image_processor.post_process_object_detection(outputs, target_sizes=[(image.height, image.width)], threshold=0.5)

>>> for result in results:
...     for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
...         score, label = score.item(), label_id.item()
...         box = [round(i, 2) for i in box.tolist()]
...         print(f"{model.config.id2label[label]}: {score:.2f} {box}")
cat: 0.96 [344.49, 23.4, 639.84, 374.27]
cat: 0.96 [11.71, 53.52, 316.64, 472.33]
remote: 0.95 [40.46, 73.7, 175.62, 117.57]
sofa: 0.92 [0.59, 1.88, 640.25, 474.74]
remote: 0.89 [333.48, 77.04, 370.77, 187.3]

DFineConfig

class transformers.DFineConfig

< >

( initializer_range = 0.01 initializer_bias_prior_prob = None layer_norm_eps = 1e-05 batch_norm_eps = 1e-05 backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False freeze_backbone_batch_norms = True backbone_kwargs = None encoder_hidden_dim = 256 encoder_in_channels = [512, 1024, 2048] feat_strides = [8, 16, 32] encoder_layers = 1 encoder_ffn_dim = 1024 encoder_attention_heads = 8 dropout = 0.0 activation_dropout = 0.0 encode_proj_layers = [2] positional_encoding_temperature = 10000 encoder_activation_function = 'gelu' activation_function = 'silu' eval_size = None normalize_before = False hidden_expansion = 1.0 d_model = 256 num_queries = 300 decoder_in_channels = [256, 256, 256] decoder_ffn_dim = 1024 num_feature_levels = 3 decoder_n_points = 4 decoder_layers = 6 decoder_attention_heads = 8 decoder_activation_function = 'relu' attention_dropout = 0.0 num_denoising = 100 label_noise_ratio = 0.5 box_noise_scale = 1.0 learn_initial_query = False anchor_image_size = None with_box_refine = True is_encoder_decoder = True matcher_alpha = 0.25 matcher_gamma = 2.0 matcher_class_cost = 2.0 matcher_bbox_cost = 5.0 matcher_giou_cost = 2.0 use_focal_loss = True auxiliary_loss = True focal_loss_alpha = 0.75 focal_loss_gamma = 2.0 weight_loss_vfl = 1.0 weight_loss_bbox = 5.0 weight_loss_giou = 2.0 weight_loss_fgl = 0.15 weight_loss_ddf = 1.5 eos_coefficient = 0.0001 eval_idx = -1 layer_scale = 1 max_num_bins = 32 reg_scale = 4.0 depth_mult = 1.0 top_prob_values = 4 lqe_hidden_dim = 64 lqe_layers = 2 decoder_offset_scale = 0.5 decoder_method = 'default' up = 0.5 **kwargs )

引數

  • initializer_range (float, 可選, 預設為 0.01) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。
  • initializer_bias_prior_prob (float, 可選) — 偏置初始化器用於初始化 `enc_score_head` 和 `class_embed` 偏置的先驗機率。如果為 `None`，則在初始化模型權重時計算 `prior_prob = 1 / (num_labels + 1)`。
  • layer_norm_eps (float, 可選, 預設為 1e-05) — 層歸一化層使用的 epsilon 值。
  • batch_norm_eps (float, 可選, 預設為 1e-05) — 批次歸一化層使用的 epsilon 值。
  • backbone_config (Dict, 可選, 預設為 RTDetrResNetConfig()) — 主幹模型的配置。
  • backbone (str, 可選) — 當 `backbone_config` 為 `None` 時使用的主幹名稱。如果 `use_pretrained_backbone` 為 `True`，將從 timm 或 transformers 庫中載入相應的預訓練權重。如果 `use_pretrained_backbone` 為 `False`，將載入主幹的配置並用其初始化隨機權重的主幹。
  • use_pretrained_backbone (bool, 可選, 預設為 False) — 是否為主幹使用預訓練權重。
  • use_timm_backbone (bool, 可選, 預設為 False) — 是否從 timm 庫載入 `backbone`。如果為 `False`，則從 transformers 庫載入主幹。
  • freeze_backbone_batch_norms (bool, 可選, 預設為 True) — 是否凍結主幹中的批次歸一化層。
  • backbone_kwargs (dict, 可選) — 從檢查點載入時傳遞給 AutoBackbone 的關鍵字引數，例如 `{'out_indices': (0, 1, 2, 3)}`。如果設定了 `backbone_config`，則不能指定此項。
  • encoder_hidden_dim (int, 可選, 預設為 256) — 混合編碼器中層的維度。
  • encoder_in_channels (list, 可選, 預設為 `[512, 1024, 2048]`) — 編碼器的多級特徵輸入。
  • feat_strides (list[int], 可選, 預設為 [8, 16, 32]) — 每個特徵圖使用的步幅。
  • encoder_layers (int, 可選, 預設為 1) — 編碼器使用的總層數。
  • encoder_ffn_dim (int, 可選, 預設為 1024) — 解碼器中“中間”（通常稱為前饋）層的維度。
  • encoder_attention_heads (int, 可選, 預設為 8) — Transformer 編碼器中每個注意力層的注意力頭數。
  • dropout (float, 可選, 預設為 0.0) — 所有 dropout 層的比例。
  • activation_dropout (float, 可選, 預設為 0.0) — 全連線層內啟用函式的 dropout 比例。
  • encode_proj_layers (list[int], 可選, 預設為 [2]) — 編碼器中要使用的投影層的索引。
  • positional_encoding_temperature (int, 可選, 預設為 10000) — 用於建立位置編碼的溫度引數。
  • encoder_activation_function (str, 可選, 預設為 "gelu") — 編碼器和池化層中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • activation_function (str, 可選, 預設為 "silu") — 通用層中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • eval_size (tuple[int, int], 可選) — 考慮步幅後，用於計算位置嵌入有效高度和寬度的尺寸。
  • normalize_before (bool, 可選, 預設為 False) — 決定是否在自注意力和前饋模組之前，在 transformer 編碼器層中應用層歸一化。
  • hidden_expansion (float, 可選, 預設為 1.0) — 用於擴大 RepVGGBlock 和 CSPRepLayer 維度大小的擴充套件比率。
  • d_model (int, 可選, 預設為 256) — 除混合編碼器外各層的維度。
  • num_queries (int, 可選, 預設為 300) — 物件查詢的數量。
  • decoder_in_channels (list, 可選, 預設為 [256, 256, 256]) — 解碼器的多級特徵維度
  • decoder_ffn_dim (int, 可選, 預設為 1024) — 解碼器中“中間”（通常稱為前饋）層的維度。
  • num_feature_levels (int, 可選, 預設為 3) — 輸入特徵級別的數量。
  • decoder_n_points (int, optional, defaults to 4) — 解碼器中每個注意力頭在每個特徵級別中取樣的鍵的數量。
  • decoder_layers (int, optional, defaults to 6) — 解碼器層數。
  • decoder_attention_heads (int, optional, defaults to 8) — Transformer 解碼器中每個注意力層的注意力頭數量。
  • decoder_activation_function (str, optional, defaults to "relu") — 解碼器中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • attention_dropout (float, optional, defaults to 0.0) — 注意力機率的丟棄率。
  • num_denoising (int, optional, defaults to 100) — 用於對比去噪的總去噪任務或查詢數量。
  • label_noise_ratio (float, optional, defaults to 0.5) — 應新增隨機噪聲的去噪標籤的比例。
  • box_noise_scale (float, optional, defaults to 1.0) — 新增到邊界框的噪聲的尺度或幅度。
  • learn_initial_query (bool, optional, defaults to False) — 指示是否應在訓練期間學習解碼器的初始查詢嵌入。
  • anchor_image_size (tuple[int, int], optional) — 在評估期間用於生成邊界框錨點的輸入影像的高度和寬度。如果為 None，則應用自動生成錨點。
  • with_box_refine (bool, optional, defaults to True) — 是否應用迭代式邊界框細化，其中每個解碼器層根據前一層的預測來細化邊界框。
  • is_encoder_decoder (bool, optional, defaults to True) — 架構是否為編碼器-解碼器結構。
  • matcher_alpha (float, optional, defaults to 0.25) — 匈牙利匹配器使用的引數 alpha。
  • matcher_gamma (float, optional, defaults to 2.0) — 匈牙利匹配器使用的引數 gamma。
  • matcher_class_cost (float, optional, defaults to 2.0) — 匈牙利匹配器使用的分類損失的相對權重。
  • matcher_bbox_cost (float, optional, defaults to 5.0) — 匈牙利匹配器使用的邊界框損失的相對權重。
  • matcher_giou_cost (float, optional, defaults to 2.0) — 匈牙利匹配器使用的 giou 損失的相對權重。
  • use_focal_loss (bool, optional, defaults to True) — 指示是否使用 focal loss 的引數。
  • auxiliary_loss (bool, optional, defaults to True) — 是否使用輔助解碼損失（每個解碼器層的損失）。
  • focal_loss_alpha (float, optional, defaults to 0.75) — 用於計算 focal loss 的引數 alpha。
  • focal_loss_gamma (float, optional, defaults to 2.0) — 用於計算 focal loss 的引數 gamma。
  • weight_loss_vfl (float, optional, defaults to 1.0) — 目標檢測損失中 Varifocal 損失的相對權重。
  • weight_loss_bbox (float, optional, defaults to 5.0) — 目標檢測損失中 L1 邊界框損失的相對權重。
  • weight_loss_giou (float, optional, defaults to 2.0) — 目標檢測損失中廣義 IoU 損失的相對權重。
  • weight_loss_fgl (float, optional, defaults to 0.15) — 目標檢測損失中細粒度定位損失的相對權重。
  • weight_loss_ddf (float, optional, defaults to 1.5) — 目標檢測損失中解耦蒸餾 focal loss 的相對權重。
  • eos_coefficient (float, optional, defaults to 0.0001) — 目標檢測損失中“無目標”類別的相對分類權重。
  • eval_idx (int, optional, defaults to -1) — 用於評估的解碼器層的索引。如果為負數，則從末尾開始計數（例如，-1 表示使用最後一層）。這允許在解碼器堆疊中進行早期預測，同時仍然訓練後續層。
  • layer_scale (float, optional, defaults to 1.0) — 後續解碼器層中隱藏維度的縮放因子。用於在評估層之後調整模型容量。
  • max_num_bins (int, optional, defaults to 32) — 分佈引導的邊界框細化的最大箱數。更高的值允許更細粒度的定位，但會增加計算量。
  • reg_scale (float, optional, defaults to 4.0) — 迴歸分佈的縮放因子。控制邊界框細化過程的範圍和粒度。
  • depth_mult (float, optional, defaults to 1.0) — RepNCSPELAN4 層中塊數量的乘數。用於在保持其架構的同時縮放模型的深度。
  • top_prob_values (int, optional, defaults to 4) — 從每個角的分佈中考慮的最高機率值的數量。
  • lqe_hidden_dim (int, optional, defaults to 64) — 位置質量估計器（LQE）網路的隱藏維度大小。
  • lqe_layers (int, optional, defaults to 2) — 位置質量估計器 MLP 中的層數。
  • decoder_offset_scale (float, optional, defaults to 0.5) — 在可變形注意力中使用的偏移尺度。
  • decoder_method (str, optional, defaults to "default") — 解碼器使用的方法："default" 或 "discrete"。
  • up (float, optional, defaults to 0.5) — 控制加權函式的上界。

這是用於儲存 DFineModel 配置的配置類。它根據指定的引數例項化一個 D-FINE 模型，定義模型架構。使用預設值例項化配置將產生與 D-FINE-X-COCO "ustc-community/dfine-xlarge-coco” 相似的配置。配置物件繼承自 PretrainedConfig，可用於控制模型輸出。請閱讀 PretrainedConfig 的文件以獲取更多資訊。

from_backbone_configs

< >

( backbone_config: PretrainedConfig **kwargs ) → DFineConfig

引數

返回

DFineConfig

一個配置物件的例項

從預訓練的主幹模型配置和 DETR 模型配置中例項化一個 DFineConfig（或其派生類）。

DFineModel

class transformers.DFineModel

< >

( config: DFineConfig )

引數

  • config (DFineConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。

RT-DETR 模型（由主幹網路和編碼器-解碼器組成），輸出原始的隱藏狀態，頂部沒有任何 head。

該模型繼承自 PreTrainedModel。請檢視超類文件以瞭解該庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪 head 等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< >

( pixel_values: FloatTensor pixel_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[list[dict]] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.d_fine.modeling_d_fine.DFineModelOutput 或 tuple(torch.FloatTensor)

引數

  • pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)) — 與輸入影像對應的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
  • pixel_mask (torch.LongTensor，形狀為 (batch_size, height, width)，可選) — 用於避免在填充畫素值上執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示真實的畫素（即 未被掩碼），
    • 0 表示填充的畫素（即 被掩碼）。

    什麼是注意力掩碼？

  • encoder_outputs (torch.FloatTensor, 可選) — 元組，包含 (last_hidden_state, 可選: hidden_states, 可選: attentions)。last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
  • inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞影像的扁平化表示，而不是傳遞扁平化的特徵圖（主幹網路 + 投影層的輸出）。
  • decoder_inputs_embeds (torch.FloatTensor，形狀為 (batch_size, num_queries, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是用零張量初始化查詢。
  • labels (list[Dict]，長度為 (batch_size,)，可選) — 用於計算二分匹配損失的標籤。字典列表，每個字典至少包含以下 2 個鍵：‘class_labels’ 和 ‘boxes’（分別是批次中影像的類別標籤和邊界框）。類別標籤本身應為長度為 (影像中邊界框數量,) 的 torch.LongTensor，邊界框應為形狀為 (影像中邊界框數量, 4) 的 torch.FloatTensor。
  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的 attentions。
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的 hidden_states。
  • return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

返回

transformers.models.d_fine.modeling_d_fine.DFineModelOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.d_fine.modeling_d_fine.DFineModelOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（DFineConfig）和輸入。

  • last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。

  • intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。

  • intermediate_logits (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — 堆疊的中間 logits（解碼器每一層的 logits）。

  • intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。

  • intermediate_predicted_corners (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間預測角點（解碼器每一層的預測角點）。

  • initial_reference_points (torch.FloatTensor，形狀為 (batch_size, num_queries, 4)) — 用於第一個解碼器層的初始參考點。

  • decoder_hidden_states (tuple[torch.FloatTensor]，可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。

    解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • decoder_attentions (tuple[torch.FloatTensor]，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • cross_attentions (tuple[torch.FloatTensor]，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

  • encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選，預設為 None) — 模型編碼器最後一層輸出的隱藏狀態序列。

  • encoder_hidden_states (tuple[torch.FloatTensor]，可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。

    編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • encoder_attentions (tuple[torch.FloatTensor]，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。

  • enc_topk_logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, config.num_labels)) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框被選為編碼器階段的區域提議。邊界框二元分類（即前景和背景）的輸出。

  • enc_topk_bboxes (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4)) — 編碼器階段預測的邊界框座標的 logits。

  • enc_outputs_class (torch.FloatTensor，形狀為 (batch_size, sequence_length, config.num_labels)，可選，當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框被選為第一階段的區域提議。邊界框二元分類（即前景和背景）的輸出。

  • enc_outputs_coord_logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4)，可選，當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 第一階段預測的邊界框座標的 logits。

  • denoising_meta_values (dict，可選，預設為 None) — 用於去噪相關值的額外字典。

DFineModel 的 forward 方法，覆蓋了 __call__ 特殊方法。

雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 `Module` 例項而不是這個函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

示例

>>> from transformers import AutoImageProcessor, DFineModel
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/DFine_r50vd")
>>> model = DFineModel.from_pretrained("PekingU/DFine_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

DFineForObjectDetection

class transformers.DFineForObjectDetection

< >

( config: DFineConfig )

引數

  • config (DFineConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。

RT-DETR 模型（由主幹網路和編碼器-解碼器組成），輸出邊界框和 logits，以便進一步解碼為分數和類別。

該模型繼承自 PreTrainedModel。請檢視超類文件以瞭解該庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪 head 等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< >

( pixel_values: FloatTensor pixel_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[list[dict]] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None **loss_kwargs ) → transformers.models.d_fine.modeling_d_fine.DFineObjectDetectionOutput 或 tuple(torch.FloatTensor)

引數

  • pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)) — 對應於輸入影像的張量。可以使用 {image_processor_class} 獲取畫素值。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
  • pixel_mask (torch.LongTensor，形狀為 (batch_size, height, width)，*可選*) — 用於避免在填充畫素值上執行注意力機制的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示真實的畫素 (即**未被遮蓋**)，
    • 0 表示填充的畫素 (即**被遮蓋**)。

    什麼是注意力掩碼？

  • encoder_outputs (torch.FloatTensor，*可選*) — 元組，包含 (last_hidden_state, *可選*: hidden_states, *可選*: attentions) last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，*可選*) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。
  • inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，*可選*) — 可選地，你可以選擇直接傳遞影像的扁平化表示，而不是傳遞扁平化的特徵圖（主幹網路 + 投影層的輸出）。
  • decoder_inputs_embeds (torch.FloatTensor，形狀為 (batch_size, num_queries, hidden_size)，*可選*) — 可選地，你可以選擇直接傳遞嵌入表示，而不是用零張量初始化查詢。
  • labels (list[Dict]，長度為 (batch_size,)，*可選*) — 用於計算二分匹配損失的標籤。一個字典列表，每個字典至少包含以下 2 個鍵：‘class_labels’ 和 ‘boxes’（分別是一個批次中影像的類別標籤和邊界框）。類別標籤本身應該是一個長度為 (影像中邊界框的數量,) 的 torch.LongTensor，而邊界框應該是一個形狀為 (影像中邊界框的數量, 4) 的 torch.FloatTensor。
  • output_attentions (bool，*可選*) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
  • output_hidden_states (bool，*可選*) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
  • return_dict (bool，*可選*) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.models.d_fine.modeling_d_fine.DFineObjectDetectionOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.d_fine.modeling_d_fine.DFineObjectDetectionOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置 (DFineConfig) 和輸入的不同元素。

  • loss (torch.FloatTensor，形狀為 (1,)，*可選*，在提供 labels 時返回) — 總損失，是用於類別預測的負對數似然（交叉熵）和邊界框損失的線性組合。後者定義為 L1 損失和廣義尺度不變 IoU 損失的線性組合。

  • loss_dict (Dict, 可選) — 包含各個損失的字典。用於日誌記錄。

  • logits (形狀為 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor) — 所有查詢的分類 logits（包括無物件）。

  • pred_boxes (torch.FloatTensor，形狀為 (batch_size, num_queries, 4)) — 所有查詢的歸一化邊界框座標，表示為 (center_x, center_y, width, height)。這些值在 [0, 1] 範圍內歸一化，相對於批次中每個單獨影像的大小（不考慮可能的填充）。你可以使用 ~DFineImageProcessor.post_process_object_detection 來檢索未歸一化（絕對）的邊界框。

  • auxiliary_outputs (list[Dict]，*可選*) — 可選，僅在啟用輔助損失（即 config.auxiliary_loss 設定為 True）並提供標籤時返回。它是一個字典列表，包含每個解碼器層的上述兩個鍵（logits 和 pred_boxes）。

  • last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, num_queries, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。

  • intermediate_hidden_states (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆疊的中間隱藏狀態（解碼器每層的輸出）。

  • intermediate_logits (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, config.num_labels)) — 堆疊的中間 logits（解碼器每一層的 logits）。

  • intermediate_reference_points (torch.FloatTensor, 形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間參考點（解碼器每層的參考點）。

  • intermediate_predicted_corners (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的中間預測角點（解碼器每一層的預測角點）。

  • initial_reference_points (torch.FloatTensor，形狀為 (batch_size, config.decoder_layers, num_queries, 4)) — 堆疊的初始參考點（解碼器每一層的初始參考點）。

  • decoder_hidden_states (tuple[torch.FloatTensor]，可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。

    解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • decoder_attentions (tuple[torch.FloatTensor]，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • cross_attentions (tuple[torch.FloatTensor]，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

  • encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選，預設為 None) — 模型編碼器最後一層輸出的隱藏狀態序列。

  • encoder_hidden_states (tuple[torch.FloatTensor]，可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。

    編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • encoder_attentions (tuple[torch.FloatTensor]，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • init_reference_points (torch.FloatTensor, 形狀為 (batch_size, num_queries, 4)) — 透過 Transformer 解碼器傳送的初始參考點。

  • enc_topk_logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, config.num_labels)，*可選*，當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 編碼器中預測的邊界框座標的 logits。

  • enc_topk_bboxes (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4)，*可選*，當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 編碼器中預測的邊界框座標的 logits。

  • enc_outputs_class (torch.FloatTensor，形狀為 (batch_size, sequence_length, config.num_labels)，可選，當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 預測的邊界框分數，其中得分最高的 config.two_stage_num_proposals 個邊界框被選為第一階段的區域提議。邊界框二元分類（即前景和背景）的輸出。

  • enc_outputs_coord_logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, 4)，可選，當 config.with_box_refine=True 和 config.two_stage=True 時返回) — 第一階段預測的邊界框座標的 logits。

  • denoising_meta_values (dict，*可選*，預設為 None) — 用於去噪相關值的額外字典

DFineForObjectDetection 的 forward 方法覆蓋了 __call__ 特殊方法。

雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 `Module` 例項而不是這個函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

示例

>>> import torch
>>> from transformers.image_utils import load_image
>>> from transformers import AutoImageProcessor, DFineForObjectDetection

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = load_image(url)

>>> image_processor = AutoImageProcessor.from_pretrained("ustc-community/dfine-xlarge-coco")
>>> model = DFineForObjectDetection.from_pretrained("ustc-community/dfine-xlarge-coco")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> logits = outputs.logits
>>> list(logits.shape)
[1, 300, 80]

>>> boxes = outputs.pred_boxes
>>> list(boxes.shape)
[1, 300, 4]

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)
>>> result = results[0]  # first image in batch

>>> for score, label, box in zip(result["scores"], result["labels"], result["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected cat with confidence 0.958 at location [344.49, 23.4, 639.84, 374.27]
Detected cat with confidence 0.956 at location [11.71, 53.52, 316.64, 472.33]
Detected remote with confidence 0.947 at location [40.46, 73.7, 175.62, 117.57]
Detected sofa with confidence 0.918 at location [0.59, 1.88, 640.25, 474.74]
< > 在 GitHub 上更新

←CvT DAB-DETR→
© . This site is unofficial and not affiliated with Hugging Face, Inc.