Transformers 文件
鄰域注意力Transformer
並獲得增強的文件體驗
開始使用
鄰域注意力Transformer
該模型目前處於維護模式，我們不接受任何更改其程式碼的新PR。如果您在使用此模型時遇到任何問題，請重新安裝支援此模型的最後一個版本：v4.40.2。您可以透過執行以下命令進行安裝：pip install -U transformers==4.40.2。
概述
NAT是由Ali Hassani、Steven Walton、Jiachen Li、Shen Li和Humphrey Shi在鄰域注意力Transformer中提出的。
它是一種基於鄰域注意力（一種滑動視窗自注意力模式）的層級視覺Transformer。
論文摘要如下：
我們提出了鄰域注意力（NA），這是第一個用於視覺的高效可擴充套件滑動視窗注意力機制。NA是一種畫素級操作，將自注意力（SA）定位到最近的相鄰畫素，因此與SA的二次複雜度相比，它具有線性時間和空間複雜度。滑動視窗模式使得NA的感受野可以增長而無需額外的畫素移位，並且與Swin Transformer的視窗自注意力（WSA）不同，它保留了平移等變性。我們開發了NATTEN（鄰域注意力擴充套件），一個帶有高效C++和CUDA核心的Python包，它使得NA比Swin的WSA執行速度快40%，同時記憶體使用量減少25%。我們進一步提出了鄰域注意力Transformer（NAT），一種基於NA的新型分層Transformer設計，可提升影像分類和下游視覺效能。NAT的實驗結果具有競爭力；NAT-Tiny在ImageNet上達到83.2%的top-1準確率，在MS-COCO上達到51.4%的mAP，在ADE20K上達到48.4%的mIoU，與類似大小的Swin模型相比，ImageNet準確率提高了1.9%，COCO mAP提高了1.0%，ADE20K mIoU提高了2.6%。
鄰域注意力與其他注意力模式的比較。摘自原始論文。此模型由Ali Hassani貢獻。原始程式碼可在此處找到。
使用技巧
- 可以使用AutoImageProcessor API來準備模型所需的影像。
- NAT可用作骨幹網路。當
output_hidden_states = True時，它將同時輸出hidden_states和reshaped_hidden_states。reshaped_hidden_states的形狀為(batch, num_channels, height, width)，而不是(batch_size, height, width, num_channels)。
備註
- NAT依賴於NATTEN的鄰域注意力實現。您可以透過參考shi-labs.com/natten安裝預構建的Linux輪子，或者透過執行
pip install natten在您的系統上構建。請注意，後者可能需要時間進行編譯。NATTEN尚不支援Windows裝置。 - 目前僅支援補丁大小為4。
資源
Hugging Face官方和社群（🌎表示）資源列表，幫助您開始使用NAT。
- NatForImageClassification受此示例指令碼和notebook支援。
- 另請參閱：影像分類任務指南
如果您有興趣在此處提交資源，請隨時開啟 Pull Request，我們將對其進行審查！該資源最好能展示一些新內容，而不是重複現有資源。
NatConfig
類 transformers.NatConfig
< 來源 >( patch_size = 4 num_channels = 3 embed_dim = 64 depths = [3, 4, 6, 5] num_heads = [2, 4, 8, 16] kernel_size = 7 mlp_ratio = 3.0 qkv_bias = True hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 drop_path_rate = 0.1 hidden_act = 'gelu' initializer_range = 0.02 layer_norm_eps = 1e-05 layer_scale_init_value = 0.0 out_features = None out_indices = None **kwargs )
引數
- patch_size (
int, 可選, 預設為4) — 每個補丁的大小（解析度）。注意：目前僅支援補丁大小為4。 - num_channels (
int, 可選, 預設為3) — 輸入通道數。 - embed_dim (
int, 可選, 預設為64) — 補丁嵌入的維度。 - depths (
list[int], 可選, 預設為[3, 4, 6, 5]) — 編碼器每個級別的層數。 - num_heads (
list[int], 可選, 預設為[2, 4, 8, 16]) — Transformer編碼器每層中的注意力頭數。 - kernel_size (
int, 可選, 預設為7) — 鄰域注意力核大小。 - mlp_ratio (
float, 可選, 預設為3.0) — MLP隱藏維度與嵌入維度的比率。 - qkv_bias (
bool, 可選, 預設為True) — 是否應為查詢、鍵和值新增可學習的偏差。 - hidden_dropout_prob (
float, 可選, 預設為0.0) — 嵌入和編碼器中所有全連線層的dropout機率。 - attention_probs_dropout_prob (
float, 可選, 預設為0.0) — 注意力機率的dropout比率。 - drop_path_rate (
float, 可選, 預設為0.1) — 隨機深度率。 - hidden_act (
str或function, 可選, 預設為"gelu") — 編碼器中的非線性啟用函式（函式或字串）。如果是字串，支援"gelu"、"relu"、"selu"和"gelu_new"。 - initializer_range (
float, 可選, 預設為0.02) — 用於初始化所有權重矩陣的truncated_normal_initializer的標準偏差。 - layer_norm_eps (
float, 可選, 預設為1e-05) — 層歸一化層使用的epsilon。 - layer_scale_init_value (
float, 可選, 預設為0.0) — 層縮放的初始值。如果小於等於0則停用。 - out_features (
list[str], 可選) — 如果用作骨幹網路，輸出特徵的列表。可以是"stem"、"stage1"、"stage2"等（取決於模型有多少個階段）。如果未設定且out_indices已設定，則預設為相應的階段。如果兩者都未設定，則預設為最後一個階段。必須與stage_names屬性中定義的順序相同。 - out_indices (
list[int], 可選) — 如果用作骨幹網路，輸出特徵的索引列表。可以是0、1、2等（取決於模型有多少個階段）。如果未設定且out_features已設定，則預設為相應的階段。如果兩者都未設定，則預設為最後一個階段。必須與stage_names屬性中定義的順序相同。
這是用於儲存NatModel配置的配置類。它用於根據指定的引數例項化一個Nat模型，定義模型架構。使用預設值例項化配置將生成與Nat shi-labs/nat-mini-in1k-224架構類似的配置。
配置物件繼承自PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱PretrainedConfig的文件。
示例
>>> from transformers import NatConfig, NatModel
>>> # Initializing a Nat shi-labs/nat-mini-in1k-224 style configuration
>>> configuration = NatConfig()
>>> # Initializing a model (with random weights) from the shi-labs/nat-mini-in1k-224 style configuration
>>> model = NatModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configNatModel
類 transformers.NatModel
< 來源 >( config add_pooling_layer = True )
引數
- config (NatConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請查閱from_pretrained()方法載入模型權重。
裸Nat模型Transformer，輸出原始隱藏狀態，頂部沒有任何特定頭。此模型是PyTorch torch.nn.Module的子類。將其用作常規PyTorch模組，並參考PyTorch文件瞭解所有與通用用法和行為相關的事項。
正向傳播
< 來源 >( pixel_values: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.nat.modeling_nat.NatModelOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (形狀為
(batch_size, num_channels, height, width)的torch.FloatTensor) — 畫素值。畫素值可以使用AutoImageProcessor獲取。有關詳細資訊，請參見ViTImageProcessor.call()。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參見返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參見返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回ModelOutput而不是普通元組。
返回
transformers.models.deprecated.nat.modeling_nat.NatModelOutput 或 tuple(torch.FloatTensor)
一個transformers.models.deprecated.nat.modeling_nat.NatModelOutput或一個torch.FloatTensor元組（如果傳入return_dict=False或config.return_dict=False），包含根據配置（NatConfig）和輸入而變化的不同元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。 -
pooler_output (
torch.FloatTensor，形狀為(batch_size, hidden_size)，可選，當傳遞add_pooling_layer=True時返回) — 最後一層隱藏狀態的平均池化。 -
hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 每個階段的輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個階段一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
-
reshaped_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 每個階段的輸出），形狀為(batch_size, hidden_size, height, width)。模型在每層輸出處的隱藏狀態，以及重新調整以包含空間維度的初始嵌入輸出。
NatModel正向傳播方法，重寫了__call__特殊方法。
儘管前向傳播的配方需要在該函式中定義，但此後應該呼叫Module例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoImageProcessor, NatModel
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("shi-labs/nat-mini-in1k-224")
>>> model = NatModel.from_pretrained("shi-labs/nat-mini-in1k-224")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 7, 7, 512]NatForImageClassification
類 transformers.NatForImageClassification
< 來源 >( config )
引數
- config (NatConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請查閱from_pretrained()方法載入模型權重。
Nat模型Transformer，頂部帶有影像分類頭（[CLS] token最終隱藏狀態上方的線性層），例如用於ImageNet。
此模型是PyTorch torch.nn.Module的子類。將其用作常規PyTorch模組，並參考PyTorch文件瞭解所有與通用用法和行為相關的事項。
正向傳播
< 來源 >( pixel_values: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.nat.modeling_nat.NatImageClassifierOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.FloatTensor，形狀為(batch_size, num_channels, height, width)) — 畫素值。畫素值可以使用 AutoImageProcessor 獲取。詳細資訊請參閱 ViTImageProcessor.call()。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - labels (
torch.LongTensor，形狀為(batch_size,), 可選) — 用於計算影像分類/迴歸損失的標籤。索引應在[0, ..., config.num_labels - 1]之間。如果config.num_labels == 1，則計算迴歸損失（均方損失）；如果config.num_labels > 1，則計算分類損失（交叉熵）。
返回
transformers.models.deprecated.nat.modeling_nat.NatImageClassifierOutput 或 tuple(torch.FloatTensor)
一個 transformers.models.deprecated.nat.modeling_nat.NatImageClassifierOutput 或一個 torch.FloatTensor 的元組（如果傳入 return_dict=False 或 config.return_dict=False），包含根據配置（NatConfig）和輸入的不同元素。
-
loss (形狀為
(1,)的torch.FloatTensor，可選，當提供labels時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。 -
logits (形狀為
(batch_size, config.num_labels)的torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 每個階段的輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個階段一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
-
reshaped_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 每個階段的輸出），形狀為(batch_size, hidden_size, height, width)。模型在每層輸出處的隱藏狀態，以及重新調整以包含空間維度的初始嵌入輸出。
NatForImageClassification 的前向方法，重寫了 __call__ 特殊方法。
儘管前向傳播的配方需要在該函式中定義，但此後應該呼叫Module例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoImageProcessor, NatForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("shi-labs/nat-mini-in1k-224")
>>> model = NatForImageClassification.from_pretrained("shi-labs/nat-mini-in1k-224")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tiger cat