Hiera

概述

Hiera 由 Chaitanya Ryali, Yuan-Ting Hu, Daniel Bolya, Chen Wei, Haoqi Fan, Po-Yao Huang, Vaibhav Aggarwal, Arkabandhu Chowdhury, Omid Poursaeed, Judy Hoffman, Jitendra Malik, Yanghao Li, Christoph Feichtenhofer 在論文 Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles 中提出。

該論文介紹了一種名為“Hiera”的分層視覺 Transformer，它透過移除不必要的元件，簡化了現代分層視覺 Transformer 的架構，同時又不影響其準確性或效率。與傳統 Transformer 為了提高監督分類效能而新增複雜的視覺特定元件不同，Hiera 證明了這些通常被稱為“花裡胡哨”的附加元件對於實現高準確性並非必需。透過利用強大的視覺預訓練任務（MAE）進行預訓練，Hiera 保持了簡潔性，並在各種影像和影片識別任務中，無論是在推理還是訓練方面，都實現了卓越的準確性和速度。該方法表明，視覺任務所需的空間偏差可以透過適當的預訓練有效學習，從而無需增加架構複雜性。

論文摘要如下：

現代的分層視覺 Transformer 為了追求監督分類效能，添加了若干視覺特定元件。儘管這些元件帶來了有效的準確率和吸引人的 FLOPs 計數，但增加的複雜性實際上使得這些 Transformer 比其普通的 ViT 對應物更慢。在本文中，我們認為這種額外的累贅是不必要的。透過使用強大的視覺預訓練任務（MAE）進行預訓練，我們可以從一個先進的多階段視覺 Transformer 中剝離所有“花裡胡哨”的元件而不損失準確性。在這個過程中，我們創造了 Hiera，一個極其簡單的分層視覺 Transformer，它比以前的模型更準確，同時在推理和訓練期間都顯著更快。我們在各種影像和影片識別任務上評估了 Hiera。我們的程式碼和模型可在 https://github.com/facebookresearch/hiera 上獲取。

Hiera 架構。圖片取自原始論文。

該模型由 EduardoPacheco 和 namangarg110 共同貢獻。原始程式碼可在[此處]找到。

資源

Hugging Face 官方及社群（由 🌎 標識）提供了一系列資源，幫助您開始使用 Hiera。如果您有興趣提交資源以包含在此處，請隨時發起 Pull Request，我們將進行稽核！理想情況下，資源應展示新內容，而不是重複現有資源。

影像分類

HieraForImageClassification 受此示例指令碼和筆記本支援。
另請參閱：影像分類任務指南

HieraConfig

class transformers.HieraConfig

< 源 >

( embed_dim = 96 image_size = [224, 224] patch_size = [7, 7] patch_stride = [4, 4] patch_padding = [3, 3] mlp_ratio = 4.0 depths = [2, 3, 16, 3] num_heads = [1, 2, 4, 8] embed_dim_multiplier = 2.0 num_query_pool = 3 query_stride = [2, 2] masked_unit_size = [8, 8] masked_unit_attention = [True, True, False, False] drop_path_rate = 0.0 num_channels = 3 hidden_act = 'gelu' initializer_range = 0.02 layer_norm_init = 1.0 layer_norm_eps = 1e-06 decoder_hidden_size = None decoder_depth = None decoder_num_heads = None normalize_pixel_loss = True mask_ratio = 0.6 out_features = None out_indices = None **kwargs )

引數

embed_dim (int, 可選, 預設為 96) — 影像塊嵌入的維度。
image_size (list(int), 可選, 預設為 [224, 224]) — 輸入的大小（解析度），對於影像格式為 (height, width)，對於影片格式為 (frames, height, width)。
patch_size (list(int), 可選, 預設為 [7, 7]) — 每個影像塊的大小（解析度）。
patch_stride (list(int), 可選, 預設為 [4, 4]) — 影像塊的步幅。
patch_padding (list(int), 可選, 預設為 [3, 3]) — 影像塊的填充。
mlp_ratio (float, 可選, 預設為 4.0) — MLP 隱藏維度與嵌入維度的比率。
depths (list(int), 可選, 預設為 [2, 3, 16, 3]) — Transformer 編碼器中每一層的深度。
num_heads (list(int), 可選, 預設為 [1, 2, 4, 8]) — Transformer 編碼器中每一層的注意力頭數量。
embed_dim_multiplier (float, 可選, 預設為 2.0) — Transformer 編碼器中每一層影像塊嵌入維度的乘數。
num_query_pool (int, 可選, 預設為 3) — 查詢池化階段的數量。
query_stride (list(int), 可選, 預設為 [2, 2]) — 查詢池化的步幅。
masked_unit_size (list(int), 可選, 預設為 [8, 8]) — 掩碼單元的大小。
masked_unit_attention (list(bool), 可選, 預設為 [True, True, False, False]) — 是否在 Transformer 編碼器的每一層中使用掩碼單元注意力。
drop_path_rate (float, 可選, 預設為 0.0) — Drop path 機率。
num_channels (int, 可選, 預設為 3) — 輸入通道數。
hidden_act (str, 可選, 預設為 "gelu") — 編碼器中的非線性啟用函式（函式或字串）。如果是字串，支援 "gelu"、"relu"、"selu" 和 "gelu_new"。
initializer_range (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差，以及用於初始化所有偏置向量的 zero_initializer。
layer_norm_init (float, 可選, 預設為 1.0) — 層歸一化層的初始權重值。
layer_norm_eps (float, 可選, 預設為 1e-06) — 層歸一化層使用的 epsilon 值。
decoder_hidden_size (int, 可選) — 用於 MAE 預訓練的解碼器嵌入維度。
decoder_depth (int, 可選) — 用於 MAE 預訓練的解碼器深度。
decoder_num_heads (int, 可選) — 用於 MAE 預訓練的解碼器中每一層的注意力頭數量。
normalize_pixel_loss (bool, 可選, 預設為 True) — 是否透過畫素數量對畫素損失進行歸一化。
mask_ratio (float, 可選, 預設為 0.6) — 輸入中被掩碼的標記的比例。
out_features (list[str], 可選) — 如果用作骨幹網路，指定輸出的特徵列表。可以是 "stem"、"stage1"、"stage2" 等任何值（取決於模型有多少個階段）。如果未設定而 out_indices 已設定，則將預設為相應的階段。如果未設定且 out_indices 也未設定，則將預設為最後一個階段。必須與 stage_names 屬性中定義的順序相同。
out_indices (list[int], 可選) — 如果用作骨幹網路，指定輸出特徵的索引列表。可以是 0、1、2 等任何值（取決於模型有多少個階段）。如果未設定而 out_features 已設定，則將預設為相應的階段。如果未設定且 out_features 也未設定，則將預設為最後一個階段。必須與 stage_names 屬性中定義的順序相同。

這是用於儲存 HieraModel 配置的配置類。它用於根據指定的引數例項化一個 Hiera 模型，定義模型架構。使用預設值例項化配置將產生與 Hiera facebook/hiera-base-224 架構類似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import HieraConfig, HieraModel

>>> # Initializing a Hiera hiera-base-patch16-224 style configuration
>>> configuration = HieraConfig()

>>> # Initializing a model (with random weights) from the hiera-base-patch16-224 style configuration
>>> model = HieraModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

HieraModel

class transformers.HieraModel

< 源 >

( config: HieraConfig add_pooling_layer: bool = True is_mae: bool = False )

引數

config (HieraConfig) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，僅載入配置。請檢視 from_pretrained() 方法以載入模型權重。
add_pooling_layer (bool, 可選, 預設為 True) — 是否應用池化層。
is_mae (bool, 可選, 預設為 False) — 是否以 MAE 模式執行模型。

裸的 Hiera 模型，輸出原始隱藏狀態，頂部沒有任何特定的頭部。

此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch 的 torch.nn.Module 子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< source >

( pixel_values: typing.Optional[torch.Tensor] = None noise: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
noise (torch.FloatTensor，形狀為 (batch_size, num_mask_units)，可選) — 主要用於測試目的，以控制隨機性並保持可復現性。
head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值選自 [0, 1]：
- 1 表示頭未被掩碼，
- 0 表示頭被掩碼。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
interpolate_pos_encoding (bool，可選) — 是否對預訓練的位置編碼進行插值。
return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通元組。

transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPooling 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），根據配置（HieraConfig）和輸入，包含各種元素。

last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。
pooler_output (torch.FloatTensor，形狀為 (batch_size, hidden_size)) — 序列的第一個標記（分類標記）的最後一層隱藏狀態，經過用於輔助預訓練任務的層進一步處理。例如，對於 BERT 族模型，這返回分類標記經過線性層和 tanh 啟用函式處理後的結果。線性層權重在預訓練期間透過下一句預測（分類）目標進行訓練。
hidden_states (tuple(torch.FloatTensor)，可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor)，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

HieraModel 的 forward 方法，重寫了 `__call__` 特殊方法。

儘管前向傳播的流程需要在此函式內定義，但之後應該呼叫 `Module` 例項而不是此函式，因為前者會處理前處理和後處理步驟，而後者會靜默地忽略它們。

示例

HieraForPreTraining

class transformers.HieraForPreTraining

< source >

( config: HieraConfig )

引數

config (HieraConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。

帶有解碼器的 Hiera 模型 Transformer，用於自監督預訓練。

請注意，我們在 examples directory 中提供了一個指令碼，用於在自定義資料上預訓練此模型。

此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch 的 torch.nn.Module 子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< source >

( pixel_values: typing.Optional[torch.Tensor] = None noise: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.hiera.modeling_hiera.HieraForPreTrainingOutput 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
noise (torch.FloatTensor，形狀為 (batch_size, num_mask_units)，可選) — 主要用於測試目的，以控制隨機性並保持可復現性。
head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值選自 [0, 1]：
- 1 表示頭未被掩碼，
- 0 表示頭被掩碼。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
interpolate_pos_encoding (bool，可選) — 是否對預訓練的位置編碼進行插值。
return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通元組。

transformers.models.hiera.modeling_hiera.HieraForPreTrainingOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.hiera.modeling_hiera.HieraForPreTrainingOutput 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），根據配置（HieraConfig）和輸入，包含各種元素。

loss (torch.FloatTensor，形狀為 (1,)) — 畫素重建損失。
logits (torch.FloatTensor，形狀為 (batch_size, sequence_length, patch_size ** 2 * num_channels)) — 畫素重建的 logits。
bool_masked_pos (torch.BoolTensor，形狀為 (batch_size, sequence_length)) — 指示哪些影像塊被掩碼（0）以及哪些未被掩碼（1）的張量。
ids_restore (torch.LongTensor，形狀為 (batch_size, sequence_length)) — 包含（打亂的）被掩碼影像塊原始索引的張量。
hidden_states (tuple[torch.FloatTensor]，可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple[torch.FloatTensor]，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
reshaped_hidden_states (tuple(torch.FloatTensor)，可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出 + 每個層一個輸出），形狀為 (batch_size, height, width, hidden_size)。模型在每層輸出以及初始嵌入輸出的隱藏狀態，重塑以包含空間維度。

HieraForPreTraining 的 forward 方法，重寫了 `__call__` 特殊方法。

示例

>>> from transformers import AutoImageProcessor, HieraForPreTraining
>>> import torch
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/hiera-tiny-224-mae-hf")
>>> model = HieraForPreTraining.from_pretrained("facebook/hiera-tiny-224-mae-hf")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> loss = outputs.loss
>>> print(list(logits.shape))
[1, 196, 768]

HieraForImageClassification

class transformers.HieraForImageClassification

< source >

( config: HieraConfig )

引數

config (HieraConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。

Hiera 模型 Transformer，頂部帶有一個影像分類頭（在最終隱藏狀態上進行平均池化後再接一個線性層），例如用於 ImageNet。

請注意，透過在模型的前向傳播中將 `interpolate_pos_encoding` 設定為 `True`，可以在比訓練時解析度更高的影像上微調 Hiera。這將把預訓練的位置嵌入插值到更高的解析度。

此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch 的 torch.nn.Module 子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< source >

( pixel_values head_mask: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.hiera.modeling_hiera.HieraForImageClassificationOutput 或 tuple(torch.FloatTensor)

引數

pixel_values (`形狀為(batch_size, num_channels, image_size, image_size)`) -- 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__ (`{processor_class}` 使用 `{image_processor_class}` 處理影像)。
head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值選自 [0, 1]：
- 1 表示頭未被掩碼，
- 0 表示頭被掩碼。
labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算影像分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 範圍內。如果 config.num_labels == 1，則計算迴歸損失（均方誤差損失）；如果 config.num_labels > 1，則計算分類損失（交叉熵）。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
interpolate_pos_encoding (bool，可選) — 是否對預訓練的位置編碼進行插值。
return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通元組。

transformers.models.hiera.modeling_hiera.HieraForImageClassificationOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.hiera.modeling_hiera.HieraForImageClassificationOutput 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），根據配置（HieraConfig）和輸入，包含各種元素。

loss (torch.FloatTensor，形狀為 (1,)，`可選`) — 訓練任務的損失值。
logits (torch.FloatTensor，形狀為 (batch_size, num_labels)) — 分類頭的預測分數（輸出層的 logits）。
hidden_states (tuple(torch.FloatTensor)，`可選`) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出 + 每個階段一個輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。這些是模型的展開隱藏狀態。

模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
attentions (tuple(torch.FloatTensor)，`可選`) — `torch.FloatTensor` 的元組（每個階段一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
loss (torch.FloatTensor，形狀為 (1,)，`可選`) — 訓練任務的損失值。
logits (torch.FloatTensor，形狀為 (batch_size, num_labels)) — 分類頭的預測分數（輸出層的 logits）。
hidden_states (tuple(torch.FloatTensor)，`可選`) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出 + 每個階段一個輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。這些是模型的展開隱藏狀態。

模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
attentions (tuple(torch.FloatTensor)，`可選`) — `torch.FloatTensor` 的元組（每個階段一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
reshaped_hidden_states (tuple(torch.FloatTensor)，`可選`) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出 + 每個階段一個輸出），形狀為 `(batch_size, height, width, hidden_size)`。這些是模型的重塑和重新卷疊的隱藏狀態。

模型在每層輸出處的隱藏狀態，以及重新調整以包含空間維度的初始嵌入輸出。

HieraForImageClassification 的 forward 方法，重寫了 `__call__` 特殊方法。

示例

>>> from transformers import AutoImageProcessor, HieraForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/hiera-base-224")
>>> model = HieraForImageClassification.from_pretrained("facebook/hiera-base-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

< > 在 GitHub 上更新

Transformers

Hiera

概述

資源

HieraConfig

class transformers.HieraConfig

HieraModel

class transformers.HieraModel

forward

HieraForPreTraining

class transformers.HieraForPreTraining

forward

HieraForImageClassification

class transformers.HieraForImageClassification

forward