I-JEPA

概述

I-JEPA 模型由 Mahmoud Assran、Quentin Duval、Ishan Misra、Piotr Bojanowski、Pascal Vincent、Michael Rabbat、Yann LeCun 和 Nicolas Ballas 在論文《基於影像的聯合嵌入預測架構》中提出。I-JEPA 是一種自監督學習方法，它根據同一影像的其他部分來預測影像一部分的表示。這種方法側重於學習語義特徵，而不依賴於手工製作的資料變換所產生的預定義不變性（這可能偏向於特定任務），也不依賴於填充畫素級細節（這通常導致表示的意義不大）。

論文摘要如下：

本文展示了一種無需依賴手工製作的資料增強即可學習高度語義化影像表示的方法。我們引入了基於影像的聯合嵌入預測架構（I-JEPA），這是一種用於影像自監督學習的非生成方法。I-JEPA 背後的思想很簡單：從單個上下文塊預測同一影像中各個目標塊的表示。引導 I-JEPA 產生語義表示的一個核心設計選擇是掩蔽策略；具體來說，至關重要的是 (a) 取樣具有足夠大尺度（語義化）的目標塊，以及 (b) 使用足夠資訊豐富（空間分佈）的上下文塊。經驗上，當與視覺 Transformer 結合時，我們發現 I-JEPA 具有高度可擴充套件性。例如，我們在 16 個 A100 GPU 上，在 72 小時內訓練了一個 ViT-Huge/14 模型在 ImageNet 上，從而在從線性分類到物件計數和深度預測等廣泛的下游任務中取得了強大的效能。

I-JEPA 架構。摘自原始論文。

該模型由 jmtzt 貢獻。原始程式碼可以在此處找到。

如何使用

以下是如何使用此模型進行影像特徵提取的方法：

import requests
import torch
from PIL import Image
from torch.nn.functional import cosine_similarity

from transformers import AutoModel, AutoProcessor

url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"
image_1 = Image.open(requests.get(url_1, stream=True).raw)
image_2 = Image.open(requests.get(url_2, stream=True).raw)

model_id = "facebook/ijepa_vith14_1k"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModel.from_pretrained(model_id)

@torch.no_grad()
def infer(image):
    inputs = processor(image, return_tensors="pt")
    outputs = model(**inputs)
    return outputs.last_hidden_state.mean(dim=1)


embed_1 = infer(image_1)
embed_2 = infer(image_2)

similarity = cosine_similarity(embed_1, embed_2)
print(similarity)

資源

Hugging Face 官方和社群（以 🌎 標誌）資源列表，幫助您開始使用 I-JEPA。

影像分類

IJepaForImageClassification 受此示例指令碼和筆記本支援。
另請參閱：影像分類任務指南

IJepaConfig

class transformers.IJepaConfig

< 源 >

( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-12 image_size = 224 patch_size = 16 num_channels = 3 qkv_bias = True pooler_output_size = None pooler_act = 'tanh' **kwargs )

引數

hidden_size (int, 可選, 預設為 768) — 編碼器層和池化層的維度。
num_hidden_layers (int, 可選, 預設為 12) — Transformer 編碼器中的隱藏層數量。
num_attention_heads (int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數量。
intermediate_size (int, 可選, 預設為 3072) — Transformer 編碼器中“中間”（即前饋）層的維度。
hidden_act (str 或 function, 可選, 預設為 "gelu") — 編碼器和池化層中的非線性啟用函式（函式或字串）。如果為字串，則支援 "gelu"、"relu"、"selu" 和 "gelu_new"。
hidden_dropout_prob (float, 可選, 預設為 0.0) — 嵌入層、編碼器和池化層中所有全連線層的丟棄機率。
attention_probs_dropout_prob (float, 可選, 預設為 0.0) — 注意力機率的丟棄率。
initializer_range (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。
layer_norm_eps (float, 可選, 預設為 1e-12) — 層歸一化層使用的 epsilon 值。
image_size (int, 可選, 預設為 224) — 每張影像的大小（解析度）。
patch_size (int, 可選, 預設為 16) — 每個補丁的大小（解析度）。
num_channels (int, 可選, 預設為 3) — 輸入通道的數量。
qkv_bias (bool, 可選, 預設為 True) — 是否為查詢、鍵和值新增偏置。
pooler_output_size (int, 可選) — 池化層的維度。如果為 None，則預設為 `hidden_size`。
pooler_act (str, 可選, 預設為 "tanh") — 池化層使用的啟用函式。Flax 和 Pytorch 支援 ACT2FN 的鍵值，Tensorflow 支援 https://www.tensorflow.org/api_docs/python/tf/keras/activations 中的元素。

這是用於儲存 IJepaModel 配置的配置類。它用於根據指定的引數例項化 IJEPA 模型，定義模型架構。使用預設值例項化配置將產生與 I-JEPA facebook/ijepa_vith14_1k 架構類似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import IJepaConfig, IJepaModel

>>> # Initializing a IJEPA ijepa-base-patch16-224 style configuration
>>> configuration = IJepaConfig()

>>> # Initializing a model (with random weights) from the ijepa-base-patch16-224 style configuration
>>> model = IJepaModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

IJepaModel

class transformers.IJepaModel

< 源 >

( config: IJepaConfig add_pooling_layer: bool = False use_mask_token: bool = False )

引數

config (IJepaConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
add_pooling_layer (bool, 可選, 預設為 True) — 是否新增池化層。
use_mask_token (bool, 可選, 預設為 False) — 是否在掩蔽影像建模中使用掩碼標記。

原始的 Ijepa 模型，輸出未經任何特定頭部處理的原始隱藏狀態。

此模型繼承自 PreTrainedModel。請檢視超類的文件，瞭解庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

此模型也是 PyTorch 的 torch.nn.Module 子類。可以像常規的 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解與通用用法和行為相關的所有事項。

forward

< 源 >

( pixel_values: typing.Optional[torch.Tensor] = None bool_masked_pos: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
bool_masked_pos (torch.BoolTensor，形狀為 (batch_size, num_patches)，可選) — 布林掩碼位置。指示哪些補丁被掩碼（1），哪些沒有（0）。
head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於將自注意力模組的選定頭部置零的掩碼。掩碼值在 [0, 1] 之間選擇：
- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
interpolate_pos_encoding (bool, 可選) — 是否對預訓練的位置編碼進行插值。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。

transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPooling 或一個 `torch.FloatTensor` 的元組（如果傳遞 `return_dict=False` 或 `config.return_dict=False`），包含各種元素，具體取決於配置（IJepaConfig）和輸入。

last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。
pooler_output (torch.FloatTensor，形狀為 (batch_size, hidden_size)) — 序列第一個標記（分類標記）的最後一層隱藏狀態，經過用於輔助預訓練任務的層進一步處理。例如，對於 BERT 系列模型，這將返回經過線性層和 tanh 啟用函式處理後的分類標記。線性層權重是在預訓練期間從下一句預測（分類）目標中訓練的。
hidden_states (tuple(torch.FloatTensor), 可選, 在傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor), 可選, 在傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

IJepaModel 的 forward 方法，覆蓋了 `__call__` 特殊方法。

儘管前向傳播的配方需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理預處理和後處理步驟，而後者會默默地忽略它們。

示例

IJepaForImageClassification

class transformers.IJepaForImageClassification

< 源 >

( config: IJepaConfig )

引數

config (IJepaConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

IJepa 模型 transformer，頂部帶有一個影像分類頭（在最終隱藏狀態之上加一個線性層），例如用於 ImageNet。

請注意，透過在模型的前向傳播中將 `interpolate_pos_encoding` 設定為 `True`，可以在比訓練時解析度更高的影像上微調 IJepa。這會將預訓練的位置嵌入插值到更高的解析度。

此模型繼承自 PreTrainedModel。請檢視超類的文件，瞭解庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

此模型也是 PyTorch 的 torch.nn.Module 子類。可以像常規的 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解與通用用法和行為相關的所有事項。

forward

< 源 >

( pixel_values: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.ImageClassifierOutput 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於將自注意力模組的選定頭部置零的掩碼。掩碼值在 [0, 1] 之間選擇：
- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算影像分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 範圍內。如果 config.num_labels == 1，則計算迴歸損失（均方損失）；如果 config.num_labels > 1，則計算分類損失（交叉熵）。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參閱返回張量下的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參閱返回張量下的 hidden_states。
interpolate_pos_encoding (bool, 可選) — 是否對預訓練的位置編碼進行插值。
return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

transformers.modeling_outputs.ImageClassifierOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.ImageClassifierOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置（IJepaConfig）和輸入而變化的不同元素。

loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。
logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，外加每個階段的一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。模型在每個階段輸出的隱藏狀態（也稱為特徵圖）。
attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, patch_size, sequence_length)。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

IJepaForImageClassification 的 forward 方法覆蓋了 __call__ 特殊方法。

儘管前向傳播的配方需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理預處理和後處理步驟，而後者會默默地忽略它們。

示例

>>> from transformers import AutoImageProcessor, IJepaForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/ijepa_vith14_1k")
>>> model = IJepaForImageClassification.from_pretrained("facebook/ijepa_vith14_1k")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

< > 在 GitHub 上更新

Transformers

I-JEPA

概述

如何使用

資源

IJepaConfig

class transformers.IJepaConfig

IJepaModel

class transformers.IJepaModel

forward

IJepaForImageClassification

class transformers.IJepaForImageClassification

forward