帶暫存器的 DINOv2

概述

帶暫存器的 DINOv2 模型由 Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski 在《Vision Transformers Need Registers》一文中提出。

Vision Transformer (ViT) 是一種 Transformer 編碼器模型（類 BERT），最初是為了在 ImageNet 上進行監督影像分類而引入的。

後來，人們找到了讓 ViT 在自監督影像特徵提取（即在不需要任何標籤的情況下學習有意義的特徵，也稱為嵌入）上表現出色的方法。這方面的一些示例論文包括 DINOv2 和 MAE。

DINOv2 的作者注意到 ViTs 在注意力圖譜中存在偽影。這是因為模型將一些影像塊用作“暫存器”。作者提出了一個解決方法：只需新增一些新的 token（稱為“暫存器”token），這些 token 只在預訓練期間使用（之後丟棄）。這樣可以實現

無偽影
可解釋的注意力圖譜
以及效能提升。

論文摘要如下：

Transformers 最近成為學習視覺表示的強大工具。在本文中，我們識別並描述了監督和自監督 ViT 網路特徵圖譜中的偽影。這些偽影對應於在推理過程中主要出現在影像中資訊量較低的背景區域的高範數 token，這些 token 被重新用於內部計算。我們提出了一種簡單而有效的解決方案，即在 Vision Transformer 的輸入序列中提供額外的 token 來充當這個角色。我們證明，該解決方案完全解決了監督和自監督模型中的這一問題，為自監督視覺模型在密集視覺預測任務上設定了新的最高水平，使得更大模型能夠進行目標發現，最重要的是，為下游視覺處理帶來了更平滑的特徵圖譜和注意力圖譜。

使用暫存器與不使用暫存器訓練的各種模型的注意力圖譜視覺化。圖片來自原始論文。

技巧

帶暫存器的 DINOv2 的用法與不帶暫存器的 DINOv2 相同，只是效能會更好。

該模型由 nielsr 貢獻。原始程式碼可以在這裡找到。

Dinov2WithRegistersConfig

class transformers.Dinov2WithRegistersConfig

< 來源 >

( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 mlp_ratio = 4 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-06 image_size = 224 patch_size = 16 num_channels = 3 qkv_bias = True layerscale_value = 1.0 drop_path_rate = 0.0 use_swiglu_ffn = False num_register_tokens = 4 out_features = None out_indices = None apply_layernorm = True reshape_hidden_states = True **kwargs )

引數

hidden_size (int, 可選, 預設為 768) — 編碼器層和池化層的維度。
num_hidden_layers (int, 可選, 預設為 12) — Transformer 編碼器中的隱藏層數。
num_attention_heads (int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數量。
mlp_ratio (int, 可選, 預設為 4) — MLP 隱藏大小相對於 hidden_size 的比率。
hidden_act (str or function, 可選, 預設為 "gelu") — 編碼器和池化層中的非線性啟用函式（函式或字串）。如果為字串，支援 "gelu"、"relu"、"selu" 和 "gelu_new"。
hidden_dropout_prob (float, 可選, 預設為 0.0) — 嵌入、編碼器和池化層中所有全連線層的丟棄機率。
attention_probs_dropout_prob (float, 可選, 預設為 0.0) — 注意力機率的丟棄率。
initializer_range (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。
layer_norm_eps (float, 可選, 預設為 1e-06) — 層歸一化層使用的 epsilon 值。
image_size (int, 可選, 預設為 224) — 每張影像的大小（解析度）。
patch_size (int, 可選, 預設為 16) — 每個 patch 的大小（解析度）。
num_channels (int, 可選, 預設為 3) — 輸入通道的數量。
qkv_bias (bool, 可選, 預設為 `True`) — 是否為 queries、keys 和 values 新增偏置。
layerscale_value (float, 可選, 預設為 1.0) — 用於層縮放的初始值。
drop_path_rate (float, 可選, 預設為 0.0) — 每個樣本的隨機深度率（在殘差層的主路徑中應用時）。
use_swiglu_ffn (bool, 可選, 預設為 `False`) — 是否使用 SwiGLU 前饋神經網路。
num_register_tokens (int, 可選, 預設為 4) — 使用的暫存器 token 的數量。
out_features (list[str], 可選) — 如果用作骨幹網路，指定輸出的特徵列表。可以是 "stem"、"stage1"、"stage2" 等（取決於模型有多少階段）。如果未設定且 out_indices 已設定，則將預設為相應的階段。如果未設定且 out_indices 也未設定，則將預設為最後一個階段。必須與 stage_names 屬性中定義的順序相同。
out_indices (list[int], 可選) — 如果用作骨幹網路，指定輸出特徵的索引列表。可以是 0, 1, 2 等（取決於模型有多少階段）。如果未設定且 out_features 已設定，則將預設為相應的階段。如果未設定且 out_features 也未設定，則將預設為最後一個階段。必須與 stage_names 屬性中定義的順序相同。
apply_layernorm (bool, 可選, 預設為 `True`) — 在模型用作骨幹網路時，是否對特徵圖應用層歸一化。
reshape_hidden_states (bool, 可選, 預設為 `True`) — 在模型用作骨幹網路時，是否將特徵圖重塑為形狀為 `(batch_size, hidden_size, height, width)` 的 4D 張量。如果為 `False`，特徵圖將是形狀為 `(batch_size, seq_len, hidden_size)` 的 3D 張量。

這是用於儲存 Dinov2WithRegistersModel 配置的配置類。它用於根據指定的引數例項化一個 Dinov2WithRegisters 模型，定義模型架構。使用預設值例項化配置將產生與帶暫存器的 DINOv2 facebook/dinov2-with-registers-base 架構類似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。

示例

>>> from transformers import Dinov2WithRegistersConfig, Dinov2WithRegistersModel

>>> # Initializing a Dinov2WithRegisters base style configuration
>>> configuration = Dinov2WithRegistersConfig()

>>> # Initializing a model (with random weights) from the base style configuration
>>> model = Dinov2WithRegistersModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Dinov2WithRegistersModel

class transformers.Dinov2WithRegistersModel

< 來源 >

( config: Dinov2WithRegistersConfig )

引數

config (Dinov2WithRegistersConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請查閱 from_pretrained() 方法來載入模型權重。

不帶任何特定頭部的純 Dinov2 With Registers 模型，輸出原始的隱藏狀態。

該模型繼承自 PreTrainedModel。請查閱超類文件，瞭解該庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是一個 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< 來源 >

( pixel_values: typing.Optional[torch.Tensor] = None bool_masked_pos: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。詳情請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
bool_masked_pos (torch.BoolTensor，形狀為 (batch_size, sequence_length)) — 布林掩碼位置。指示哪些 patch 被掩碼 (1)，哪些沒有 (0)。僅與預訓練相關。
head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選自 [0, 1]：
- 1 表示頭部未被掩碼,
- 0 表示頭部被掩碼。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參見返回張量下的 `attentions`。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參見返回張量下的 `hidden_states`。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。

transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPooling 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），根據配置 (Dinov2WithRegistersConfig) 和輸入包含不同的元素。

last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。
pooler_output (torch.FloatTensor，形狀為 (batch_size, hidden_size)) — 序列第一個 token（分類 token）的最後一層隱藏狀態，經過用於輔助預訓練任務的層進一步處理。例如，對於 BERT 族模型，這返回經過線性層和 tanh 啟用函式處理後的分類 token。線性層權重是在預訓練期間透過下一句預測（分類）目標進行訓練的。
hidden_states (tuple(torch.FloatTensor), 可選, 在傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個用於其輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor), 可選, 在傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

Dinov2WithRegistersModel 的前向方法，覆蓋了 `__call__` 特殊方法。

儘管前向傳遞的配方需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理預處理和後處理步驟，而後者會默默地忽略它們。

示例

Dinov2WithRegistersForImageClassification

class transformers.Dinov2WithRegistersForImageClassification

< 來源 >

( config: Dinov2WithRegistersConfig )

引數

config (Dinov2WithRegistersConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請查閱 from_pretrained() 方法來載入模型權重。

帶有一個影像分類頭部的 Dinov2WithRegisters 模型 Transformer（在 [CLS] token 的最終隱藏狀態之上新增一個線性層），例如用於 ImageNet。

該模型繼承自 PreTrainedModel。請查閱超類文件，瞭解該庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是一個 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< 來源 >

( pixel_values: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.ImageClassifierOutput 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值在 [0, 1] 中選擇：
- 1 表示該頭未被遮蔽，
- 0 表示該頭被遮蔽。
labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算影像分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 範圍內。如果 config.num_labels == 1，則計算迴歸損失（均方損失）；如果 config.num_labels > 1，則計算分類損失（交叉熵）。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
return_dict (bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

transformers.modeling_outputs.ImageClassifierOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.ImageClassifierOutput 或一個 torch.FloatTensor 的元組（如果傳入 return_dict=False 或 config.return_dict=False），根據配置（Dinov2WithRegistersConfig）和輸入，包含不同的元素。

loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。
logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個為嵌入層的輸出，另外每個階段的輸出各一個），形狀為 (batch_size, sequence_length, hidden_size)。模型在每個階段輸出的隱藏狀態（也稱為特徵圖）。
attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, patch_size, sequence_length)。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

Dinov2WithRegistersForImageClassification 的 forward 方法重寫了 __call__ 特殊方法。

儘管前向傳遞的配方需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理預處理和後處理步驟，而後者會默默地忽略它們。

示例

>>> from transformers import AutoImageProcessor, Dinov2WithRegistersForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/dinov2-with-registers-base")
>>> model = Dinov2WithRegistersForImageClassification.from_pretrained("facebook/dinov2-with-registers-base")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

< > 在 GitHub 上更新