AltCLIP

AltCLIP 將 CLIP 文字編碼器替換為多語言 XLM-R 編碼器，並透過教師學習和對比學習對齊影像和文字表示。

您可以在 AltClip 集合中找到所有原始的 AltCLIP 檢查點。

點選右側邊欄中的 AltCLIP 模型，檢視更多將 AltCLIP 應用於不同任務的示例。

以下示例演示瞭如何使用 AutoModel 類計算影像與一個或多個標題之間的相似度分數。

自動模型

量化透過以較低精度表示權重來減少大型模型的記憶體負擔。有關更多可用量化後端，請參閱量化概述。

以下示例使用torchao僅將權重量化為int4。

# !pip install torchao
import torch
import requests
from PIL import Image
from transformers import AltCLIPModel, AltCLIPProcessor, TorchAoConfig

model = AltCLIPModel.from_pretrained(
    "BAAI/AltCLIP",
    quantization_config=TorchAoConfig("int4_weight_only", group_size=128),
    torch_dtype=torch.bfloat16,
)

processor = AltCLIPProcessor.from_pretrained("BAAI/AltCLIP")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the label probabilities

labels = ["a photo of a cat", "a photo of a dog"]
for label, prob in zip(labels, probs[0]):
    print(f"{label}: {prob.item():.4f}")

注意事項

AltCLIP 使用雙向注意力而不是因果注意力，並使用 XLM-R 中的 [CLS] 標記表示文字嵌入。
使用 CLIPImageProcessor 對影像進行大小調整（或重新縮放）和歸一化，以用於模型。
AltCLIPProcessor 將 CLIPImageProcessor 和 XLMRobertaTokenizer 組合成一個例項，用於編碼文字和準備影像。

AltCLIPConfig

class transformers.AltCLIPConfig

< 源 >

( text_config = None vision_config = None projection_dim = 768 logit_scale_init_value = 2.6592 **kwargs )

引數

text_config (dict, 可選) — 用於初始化 AltCLIPTextConfig 的配置選項字典。
vision_config (dict, 可選) — 用於初始化 AltCLIPVisionConfig 的配置選項字典。
projection_dim (int, 可選, 預設為 768) — 文字和視覺投影層的維度。
logit_scale_init_value (float, 可選, 預設為 2.6592) — logit_scale 引數的初始值。預設值按照原始 CLIP 實現使用。
kwargs (可選) — 關鍵字引數字典。

這是用於儲存 AltCLIPModel 配置的配置類。它用於根據指定引數例項化 AltCLIP 模型，定義模型架構。使用預設值例項化配置將生成與 AltCLIP BAAI/AltCLIP 架構相似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 文件。

示例

>>> from transformers import AltCLIPConfig, AltCLIPModel

>>> # Initializing a AltCLIPConfig with BAAI/AltCLIP style configuration
>>> configuration = AltCLIPConfig()

>>> # Initializing a AltCLIPModel (with random weights) from the BAAI/AltCLIP style configuration
>>> model = AltCLIPModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

>>> # We can also initialize a AltCLIPConfig from a AltCLIPTextConfig and a AltCLIPVisionConfig

>>> # Initializing a AltCLIPText and AltCLIPVision configuration
>>> config_text = AltCLIPTextConfig()
>>> config_vision = AltCLIPVisionConfig()

>>> config = AltCLIPConfig.from_text_vision_configs(config_text, config_vision)

from_text_vision_configs

< 源 >

( text_config: AltCLIPTextConfig vision_config: AltCLIPVisionConfig **kwargs ) → AltCLIPConfig

AltCLIPConfig

一個配置物件的例項

從 altclip 文字模型配置和 altclip 視覺模型配置例項化一個 AltCLIPConfig（或派生類）。

AltCLIPTextConfig

class transformers.AltCLIPTextConfig

< 源 >

( vocab_size = 250002 hidden_size = 1024 num_hidden_layers = 24 num_attention_heads = 16 intermediate_size = 4096 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 514 type_vocab_size = 1 initializer_range = 0.02 initializer_factor = 0.02 layer_norm_eps = 1e-05 pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 position_embedding_type = 'absolute' use_cache = True project_dim = 768 **kwargs )

引數

vocab_size (int, 可選, 預設為 250002) — AltCLIP 模型的詞彙表大小。定義了呼叫 AltCLIPTextModel 時傳入的 inputs_ids 可以表示的不同標記的數量。
hidden_size (int, 可選, 預設為 1024) — 編碼器層和池化層的維度。
num_hidden_layers (int, 可選, 預設為 24) — Transformer 編碼器中的隱藏層數量。
num_attention_heads (int, 可選, 預設為 16) — Transformer 編碼器中每個注意力層的注意力頭數量。
intermediate_size (int, 可選, 預設為 4096) — Transformer 編碼器中“中間”（通常稱為前饋）層的維度。
hidden_act (str 或 Callable, 可選, 預設為 "gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果是字串，則支援 "gelu"、"relu"、"silu" 和 "gelu_new"。
hidden_dropout_prob (float, 可選, 預設為 0.1) — 嵌入、編碼器和池化器中所有全連線層的 dropout 機率。
attention_probs_dropout_prob (float, 可選, 預設為 0.1) — 注意力機率的 dropout 比率。
max_position_embeddings (int, 可選, 預設為 514) — 此模型可能使用的最大序列長度。通常為了以防萬一會將其設定得很大（例如，512、1024 或 2048）。
type_vocab_size (int, 可選, 預設為 1) — 呼叫 AltCLIPTextModel 時傳入的 token_type_ids 的詞彙表大小
initializer_range (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態初始化器的標準差。
initializer_factor (float, 可選, 預設為 1.0) — 初始化所有權重矩陣的因子（應保持為 1，內部用於初始化測試）。
layer_norm_eps (float, 可選, 預設為 1e-05) — 層歸一化層使用的 epsilon 值。
pad_token_id (int, 可選, 預設為 1) — 填充標記的 ID。
bos_token_id (int, 可選, 預設為 0) — 序列開始標記的 ID。
eos_token_id (Union[int, list[int]], 可選, 預設為 2) — 序列結束標記的 ID。可選地，使用列表設定多個序列結束標記。
position_embedding_type (str, 可選, 預設為 "absolute") — 位置嵌入型別。選擇 "absolute"、"relative_key"、"relative_key_query" 中的一個。對於位置嵌入，使用 "absolute"。有關 "relative_key" 的更多資訊，請參閱 Self-Attention with Relative Position Representations (Shaw et al.)。有關 "relative_key_query" 的更多資訊，請參閱 Improve Transformer Models with Better Relative Position Embeddings (Huang et al.) 中的方法 4。
use_cache (bool, 可選, 預設為 True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。僅在 config.is_decoder=True 時相關。
project_dim (int, 可選, 預設為 768) — 對映層之前的教師模型的維度。

這是用於儲存 AltCLIPTextModel 配置的配置類。它用於根據指定引數例項化 AltCLIP 文字模型，定義模型架構。使用預設值例項化配置將生成與 AltCLIP BAAI/AltCLIP 架構相似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 文件。

示例

>>> from transformers import AltCLIPTextModel, AltCLIPTextConfig

>>> # Initializing a AltCLIPTextConfig with BAAI/AltCLIP style configuration
>>> configuration = AltCLIPTextConfig()

>>> # Initializing a AltCLIPTextModel (with random weights) from the BAAI/AltCLIP style configuration
>>> model = AltCLIPTextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

AltCLIPVisionConfig

class transformers.AltCLIPVisionConfig

< 源 >

( hidden_size = 768 intermediate_size = 3072 projection_dim = 512 num_hidden_layers = 12 num_attention_heads = 12 num_channels = 3 image_size = 224 patch_size = 32 hidden_act = 'quick_gelu' layer_norm_eps = 1e-05 attention_dropout = 0.0 initializer_range = 0.02 initializer_factor = 1.0 **kwargs )

引數

hidden_size (int, 可選, 預設為 768) — 編碼器層和池化層的維度。
intermediate_size (int, 可選, 預設為 3072) — Transformer 編碼器中“中間”（即前饋）層的維度。
projection_dim (int, 可選, 預設為 512) — 文字和視覺投影層的維度。
num_hidden_layers (int, 可選, 預設為 12) — Transformer 編碼器中的隱藏層數量。
num_attention_heads (int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數量。
num_channels (int, 可選, 預設為 3) — 輸入通道的數量。
image_size (int, 可選, 預設為 224) — 每張影像的大小（解析度）。
patch_size (int, 可選, 預設為 32) — 每個影像塊的大小（解析度）。
hidden_act (str 或 function, 可選, 預設為 "quick_gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果是字串，支援 "gelu"、"relu"、"selu" 和 "gelu_new" "quick_gelu"。
layer_norm_eps (float, 可選, 預設為 1e-05) — 層歸一化層使用的 epsilon。
attention_dropout (float, 可選, 預設為 0.0) — 注意力機率的 dropout 比率。
initializer_range (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態初始化器的標準差。
initializer_factor (float, 可選, 預設為 1.0) — 初始化所有權重矩陣的因子（應保持為 1，內部用於初始化測試）。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 文件。

示例

>>> from transformers import AltCLIPVisionConfig, AltCLIPVisionModel

>>> # Initializing a AltCLIPVisionConfig with BAAI/AltCLIP style configuration
>>> configuration = AltCLIPVisionConfig()

>>> # Initializing a AltCLIPVisionModel (with random weights) from the BAAI/AltCLIP style configuration
>>> model = AltCLIPVisionModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

AltCLIPModel

class transformers.AltCLIPModel

< 源 >

( config: AltCLIPConfig )

forward

< 源 >

( input_ids: typing.Optional[torch.LongTensor] = None pixel_values: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None token_type_ids: typing.Optional[torch.Tensor] = None return_loss: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: bool = False return_dict: typing.Optional[bool] = None ) → transformers.models.altclip.modeling_altclip.AltCLIPOutput 或 tuple(torch.FloatTensor)

引數

input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。

可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是 input ID？
pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可選) — 與輸入影像對應的張量。可以使用 {image_processor_class} 獲取畫素值。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：
- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
什麼是注意力掩碼？
position_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor, 可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

什麼是位置 ID？
token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 分段 token 索引，用於指示輸入的第一個和第二個部分。索引在 [0, 1] 中選擇：
- 0 對應於 句子 A token，
- 1 對應於 句子 B token。
什麼是 token 型別 ID？
return_loss (bool, 可選) — 是否返回對比損失。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量中的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量中的 hidden_states。
interpolate_pos_encoding (bool, 預設為 False) — 是否對預訓練的位置編碼進行插值。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

transformers.models.altclip.modeling_altclip.AltCLIPOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.altclip.modeling_altclip.AltCLIPOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置（AltCLIPConfig）和輸入的不同元素。

loss (torch.FloatTensor，形狀為 (1,), 可選, 當 return_loss 為 True 時返回) — 影像-文字相似度的對比損失。
logits_per_image (形狀為 (image_batch_size, text_batch_size) 的 torch.FloatTensor) — image_embeds 和 text_embeds 之間的縮放點積分數。這表示影像-文字相似度分數。
logits_per_text (形狀為 (text_batch_size, image_batch_size) 的 torch.FloatTensor) — text_embeds 和 image_embeds 之間的縮放點積分數。這表示文字-影像相似度分數。
text_embeds (形狀為 (batch_size, output_dim) 的 torch.FloatTensor) — 透過對 AltCLIPTextModel 的池化輸出應用投影層獲得的文字嵌入。
image_embeds (形狀為 (batch_size, output_dim) 的 torch.FloatTensor) — 透過對 AltCLIPVisionModel 的池化輸出應用投影層獲得的影像嵌入。
text_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.text_model_output, 預設為 None) — AltCLIPTextModel 的輸出。
vision_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.vision_model_output, 預設為 None) — AltCLIPVisionModel 的輸出。

AltCLIPModel 的 forward 方法，重寫了 __call__ 特殊方法。

儘管 forward pass 的配方需要在此函式中定義，但在此之後應該呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者會默默地忽略它們。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, AltCLIPModel

>>> model = AltCLIPModel.from_pretrained("BAAI/AltCLIP")
>>> processor = AutoProcessor.from_pretrained("BAAI/AltCLIP")
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True
... )
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the label probabilities

get_image_features

< 源 >

( pixel_values: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: bool = False return_dict: typing.Optional[bool] = None ) → image_features (形狀為 (batch_size, output_dim) 的 torch.FloatTensor)

引數

pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可選) — 與輸入影像對應的張量。可以使用 {image_processor_class} 獲取畫素值。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量中的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量中的 hidden_states。
interpolate_pos_encoding (bool, 預設為 False) — 是否對預訓練的位置編碼進行插值。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

image_features (torch.FloatTensor, 形狀為 (batch_size, output_dim)

透過對 AltCLIPVisionModel 的池化輸出應用投影層獲得的影像嵌入。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, AltCLIPModel

>>> model = AltCLIPModel.from_pretrained("BAAI/AltCLIP")
>>> processor = AutoProcessor.from_pretrained("BAAI/AltCLIP")
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> inputs = processor(images=image, return_tensors="pt")
>>> image_features = model.get_image_features(**inputs)

get_text_features

< 源 >

( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None token_type_ids = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → text_features (形狀為 (batch_size, output_dim) 的 torch.FloatTensor)

引數

input_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。

可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是 input ID？
attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：
- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
什麼是注意力掩碼？
position_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

什麼是位置 ID？
token_type_ids (形狀為 (batch_size, sequence_length) 的 ``) -- 分段 token 索引，用於指示輸入的第一個和第二個部分。索引在 [0, 1] 中選擇：
- 0 對應於 句子 A token，
- 1 對應於 句子 B token。
什麼是 token 型別 ID？
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量中的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量中的 hidden_states。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

text_features (torch.FloatTensor, 形狀為 (batch_size, output_dim)

透過對 AltCLIPTextModel 的池化輸出應用投影層獲得的文字嵌入。

示例

>>> from transformers import AutoProcessor, AltCLIPModel

>>> model = AltCLIPModel.from_pretrained("BAAI/AltCLIP")
>>> processor = AutoProcessor.from_pretrained("BAAI/AltCLIP")
>>> inputs = processor(text=["a photo of a cat", "a photo of a dog"], padding=True, return_tensors="pt")
>>> text_features = model.get_text_features(**inputs)

AltCLIPTextModel

class transformers.AltCLIPTextModel

< 源 >

( config )

forward

< 源 >

( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None encoder_hidden_states: typing.Optional[torch.Tensor] = None encoder_attention_mask: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPoolingAndProjection 或 tuple(torch.FloatTensor)

引數

input_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。

可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是 input ID？
attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：
- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
什麼是注意力掩碼？
token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 分段 token 索引，用於指示輸入的第一個和第二個部分。索引在 [0, 1] 中選擇：
- 0 對應於 句子 A token，
- 1 對應於 句子 B token。
什麼是 token 型別 ID？
position_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

什麼是位置 ID？
head_mask (形狀為 (num_heads,) 或 (num_layers, num_heads) 的 torch.Tensor, 可選) — 用於將自注意力模組的選定頭部置零的掩碼。掩碼值在 [0, 1] 中選擇：
- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.Tensor, 可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 input_ids。如果你想對如何將 input_ids 索引轉換為關聯向量擁有比模型內部嵌入查詢矩陣更多的控制權，這會很有用。
encoder_hidden_states (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.Tensor, 可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型配置為解碼器，則在交叉注意力中使用。
encoder_attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 用於避免對編碼器輸入填充 token 索引執行注意力的掩碼。如果模型配置為解碼器，則此掩碼用於交叉注意力。掩碼值在 [0, 1] 中選擇：
- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量中的 attentions。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量中的 hidden_states。

transformers.modeling_outputs.BaseModelOutputWithPoolingAndProjection 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPoolingAndProjection 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置（AltCLIPConfig）和輸入的不同元素。

last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。
pooler_output (形狀為 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列第一個 token（分類 token）的最後一層隱藏狀態，經過輔助預訓練任務所用層的進一步處理後得到。例如，對於 BERT 系列模型，這表示分類 token 在經過線性層和 tanh 啟用函式處理後的結果。線性層權重在預訓練期間根據下一個句子預測（分類）目標進行訓練。
hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
projection_state (tuple(torch.FloatTensor), 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — 形狀為 (batch_size,config.project_dim) 的 torch.FloatTensor 元組。

投影層之前的文字嵌入，用於模擬教師編碼器的最後一個隱藏狀態。

AltCLIPTextModel 的 forward 方法，重寫了 __call__ 特殊方法。

示例

>>> from transformers import AutoProcessor, AltCLIPTextModel

>>> model = AltCLIPTextModel.from_pretrained("BAAI/AltCLIP")
>>> processor = AutoProcessor.from_pretrained("BAAI/AltCLIP")

>>> texts = ["it's a cat", "it's a dog"]

>>> inputs = processor(text=texts, padding=True, return_tensors="pt")

>>> outputs = model(**inputs)
>>> last_hidden_state = outputs.last_hidden_state
>>> pooled_output = outputs.pooler_output  # pooled CLS states

AltCLIPVisionModel

class transformers.AltCLIPVisionModel

< 源 >

( config: AltCLIPVisionConfig )

forward

< 源 >

( pixel_values: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: bool = False return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

引數

pixel_values (torch.FloatTensor, 形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 對應輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參見返回張量中的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參見返回張量中的 hidden_states。
interpolate_pos_encoding (bool, 預設為 False) — 是否插值預訓練的位置編碼。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。

transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPooling 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置（AltCLIPConfig）和輸入的不同元素。

last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。
pooler_output (形狀為 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列第一個 token（分類 token）的最後一層隱藏狀態，經過輔助預訓練任務所用層的進一步處理後得到。例如，對於 BERT 系列模型，這表示分類 token 在經過線性層和 tanh 啟用函式處理後的結果。線性層權重在預訓練期間根據下一個句子預測（分類）目標進行訓練。
hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

此 AltCLIPVisionModel 前向方法，覆蓋了 __call__ 特殊方法。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, AltCLIPVisionModel

>>> model = AltCLIPVisionModel.from_pretrained("BAAI/AltCLIP")
>>> processor = AutoProcessor.from_pretrained("BAAI/AltCLIP")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> inputs = processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> last_hidden_state = outputs.last_hidden_state
>>> pooled_output = outputs.pooler_output  # pooled CLS states

AltCLIPProcessor

class transformers.AltCLIPProcessor

< 源 >

( image_processor = None tokenizer = None )

引數

image_processor (CLIPImageProcessor, 可選) — 影像處理器是必需的輸入。
tokenizer (XLMRobertaTokenizerFast, 可選) — 分詞器是必需的輸入。

構造一個 AltCLIP 處理器，它將 CLIP 影像處理器和 XLM-Roberta 分詞器封裝到一個單一的處理器中。

AltCLIPProcessor 提供了 CLIPImageProcessor 和 XLMRobertaTokenizerFast 的所有功能。有關更多資訊，請參閱 __call__() 和 decode()。

batch_decode

< 源 >

( *args **kwargs )

此方法將其所有引數轉發到 XLMRobertaTokenizerFast 的 batch_decode()。有關更多資訊，請參閱此方法的文件字串。

decode

< 源 >

( *args **kwargs )

此方法將其所有引數轉發到 XLMRobertaTokenizerFast 的 decode()。有關更多資訊，請參閱此方法的文件字串。

< > 在 GitHub 上更新

Transformers

AltCLIP

注意事項

AltCLIPConfig

class transformers.AltCLIPConfig

from_text_vision_configs

AltCLIPTextConfig

class transformers.AltCLIPTextConfig

AltCLIPVisionConfig

class transformers.AltCLIPVisionConfig

AltCLIPModel

class transformers.AltCLIPModel

forward

get_image_features

get_text_features

AltCLIPTextModel

class transformers.AltCLIPTextModel

forward

AltCLIPVisionModel

class transformers.AltCLIPVisionModel

forward

AltCLIPProcessor

class transformers.AltCLIPProcessor

batch_decode

decode