Transformers 文件
ViTDet
並獲得增強的文件體驗
開始使用
ViTDet
概述
ViTDet 模型由 Yanghao Li、Hanzi Mao、Ross Girshick 和 Kaiming He 在 Exploring Plain Vision Transformer Backbones for Object Detection 中提出。VitDet 利用普通的 Vision Transformer 進行目標檢測任務。
論文摘要如下：
我們探索了普通、非分層的 Vision Transformer (ViT) 作為目標檢測的骨幹網路。這種設計使得原始的 ViT 架構可以直接用於目標檢測的微調，而無需重新設計用於預訓練的分層骨幹。透過最小的微調適應，我們的純骨幹檢測器可以獲得有競爭力的結果。令人驚訝的是，我們觀察到：(i) 僅從單尺度特徵圖（無需常見的 FPN 設計）構建簡單的特徵金字塔就足夠了；(ii) 使用視窗注意力（無需移位）並在少量跨視窗傳播塊的輔助下就足夠了。使用作為 Masked Autoencoders (MAE) 預訓練的純 ViT 骨幹，我們的檢測器，名為 ViTDet，可以與之前所有基於分層骨幹的領先方法競爭，僅使用 ImageNet-1K 預訓練即可在 COCO 資料集上達到 61.3 AP_box。
技巧
- 目前，僅提供骨幹網路。
VitDetConfig
class transformers.VitDetConfig
< 源 >( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 mlp_ratio = 4 hidden_act = 'gelu' dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-06 image_size = 224 pretrain_image_size = 224 patch_size = 16 num_channels = 3 qkv_bias = True drop_path_rate = 0.0 window_block_indices = [] residual_block_indices = [] use_absolute_position_embeddings = True use_relative_position_embeddings = False window_size = 0 out_features = None out_indices = None **kwargs )
引數
- hidden_size (
int, 可選, 預設為 768) — 編碼器層和池化層維度。 - num_hidden_layers (
int, 可選, 預設為 12) — Transformer 編碼器中的隱藏層數量。 - num_attention_heads (
int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數量。 - mlp_ratio (
int, 可選, 預設為 4) — MLP 隱藏維度與嵌入維度之比。 - hidden_act (
str或function, 可選, 預設為"gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果為字串，支援"gelu"、"relu"、"selu"和"gelu_new"。 - dropout_prob (
float, 可選, 預設為 0.0) — 嵌入、編碼器和池化器中所有全連線層的 dropout 機率。 - initializer_range (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態初始化器的標準差。 - layer_norm_eps (
float, 可選, 預設為 1e-06) — 層歸一化層使用的 epsilon 值。 - image_size (
int, 可選, 預設為 224) — 每張圖片的大小（解析度）。 - pretrain_image_size (
int, 可選, 預設為 224) — 預訓練期間每張圖片的大小（解析度）。 - patch_size (
int, 可選, 預設為 16) — 每個補丁的大小（解析度）。 - num_channels (
int, 可選, 預設為 3) — 輸入通道的數量。 - qkv_bias (
bool, 可選, 預設為True) — 是否為查詢、鍵和值新增偏置。 - drop_path_rate (
float, 可選, 預設為 0.0) — 隨機深度率。 - window_block_indices (
list[int], 可選, 預設為[]) — 應使用視窗注意力而不是常規全域性自注意力的塊索引列表。 - residual_block_indices (
list[int], 可選, 預設為[]) — 在 MLP 之後應具有額外殘差塊的塊索引列表。 - use_absolute_position_embeddings (
bool, 可選, 預設為True) — 是否為補丁嵌入新增絕對位置嵌入。 - use_relative_position_embeddings (
bool, 可選, 預設為False) — 是否為注意力圖新增相對位置嵌入。 - window_size (
int, 可選, 預設為 0) — 注意力視窗的大小。 - out_features (
list[str], 可選) — 如果用作骨幹網路，要輸出的特徵列表。可以是"stem"、"stage1"、"stage2"等（取決於模型有多少個階段）。如果未設定且out_indices已設定，則預設為相應的階段。如果未設定且out_indices未設定，則預設為最後一個階段。必須與stage_names屬性中定義的順序相同。 - out_indices (
list[int], 可選) — 如果用作骨幹網路，要輸出的特徵索引列表。可以是 0, 1, 2 等（取決於模型有多少個階段）。如果未設定且out_features已設定，則預設為相應的階段。如果未設定且out_features未設定，則預設為最後一個階段。必須與stage_names屬性中定義的順序相同。
這是一個配置類，用於儲存 VitDetModel 的配置。它用於根據指定引數例項化 VitDet 模型，定義模型架構。使用預設值例項化配置將產生與 VitDet google/vitdet-base-patch16-224 架構相似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。
示例
>>> from transformers import VitDetConfig, VitDetModel
>>> # Initializing a VitDet configuration
>>> configuration = VitDetConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = VitDetModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configVitDet模型
class transformers.VitDetModel
< 源 >( config: VitDetConfig )
引數
- config (VitDetConfig) — 模型配置類，包含模型的所有引數。使用配置檔案例項化不會載入與模型相關的權重，僅載入配置。請查閱 from_pretrained() 方法以載入模型權重。
裸 Vitdet 模型輸出原始隱藏狀態，不帶任何特定頭部。
此模型繼承自 PreTrainedModel。查閱超類文件以瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參閱 PyTorch 文件以瞭解與一般用法和行為相關的所有事項。
前向傳播
< 源 >( pixel_values: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.Tensor, 形狀為(batch_size, num_channels, image_size, image_size), 可選) — 對應於輸入影像的張量。畫素值可以使用{image_processor_class}獲取。有關詳細資訊，請參閱{image_processor_class}.__call__（{processor_class}使用{image_processor_class}處理影像）。 - head_mask (
torch.Tensor, 形狀為(num_heads,)或(num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇在[0, 1]：- 1 表示頭部未被掩蓋，
- 0 表示頭部被掩蓋。
- output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是純元組。
返回
transformers.modeling_outputs.BaseModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.BaseModelOutput 或 torch.FloatTensor 的元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），包含根據配置（VitDetConfig）和輸入的不同元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。 -
hidden_states (
tuple(torch.FloatTensor), 可選, 在傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor的元組（如果模型有嵌入層，則為嵌入層輸出一個，每個層輸出一個）的形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor), 可選, 在傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個）的形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
VitDetModel 的前向傳播方法，覆蓋了 __call__ 特殊方法。
雖然前向傳播的實現需要在該函式中定義，但之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則靜默忽略它們。
示例
>>> from transformers import VitDetConfig, VitDetModel
>>> import torch
>>> config = VitDetConfig()
>>> model = VitDetModel(config)
>>> pixel_values = torch.randn(1, 3, 224, 224)
>>> with torch.no_grad():
... outputs = model(pixel_values)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 768, 14, 14]