VisionTextDualEncoder

概述

`VisionTextDualEncoderModel` 可用於初始化視覺-文字雙編碼器模型，其中任何預訓練的視覺自編碼模型作為視覺編碼器（例如 ViT、BEiT、DeiT），任何預訓練的文字自編碼模型作為文字編碼器（例如 RoBERTa、BERT）。在視覺和文字編碼器之上添加了兩個投影層，將輸出嵌入投影到共享的潛在空間。投影層是隨機初始化的，因此模型應在下游任務上進行微調。該模型可用於使用 CLIP 類似的對比影像-文字訓練來對齊視覺-文字嵌入，然後可用於零樣本視覺任務，如影像分類或檢索。

在 LiT: Zero-Shot Transfer with Locked-image Text Tuning 中展示瞭如何利用預訓練（鎖定/凍結）影像和文字模型進行對比學習，從而在新零樣本視覺任務（如影像分類或檢索）上獲得顯著改進。

VisionTextDualEncoderConfig

class transformers.VisionTextDualEncoderConfig

< 原始檔 >

( projection_dim = 512 logit_scale_init_value = 2.6592 **kwargs )

引數

projection_dim (int, 可選, 預設為 512) — 文字和視覺投影層的維度。
logit_scale_init_value (float, 可選, 預設為 2.6592) — logit_scale 引數的初始值。預設為原始 CLIP 實現的值。
kwargs (可選) — 關鍵字引數的字典。

`VisionTextDualEncoderConfig` 是用於儲存 `VisionTextDualEncoderModel` 配置的配置類。它用於根據指定的引數例項化 `VisionTextDualEncoderModel` 模型，定義文字模型和視覺模型的配置。

配置物件繼承自 `PretrainedConfig`，可用於控制模型輸出。有關更多資訊，請參閱 `PretrainedConfig` 的文件。

示例

>>> from transformers import ViTConfig, BertConfig, VisionTextDualEncoderConfig, VisionTextDualEncoderModel

>>> # Initializing a BERT and ViT configuration
>>> config_vision = ViTConfig()
>>> config_text = BertConfig()

>>> config = VisionTextDualEncoderConfig.from_vision_text_configs(config_vision, config_text, projection_dim=512)

>>> # Initializing a BERT and ViT model (with random weights)
>>> model = VisionTextDualEncoderModel(config=config)

>>> # Accessing the model configuration
>>> config_vision = model.config.vision_config
>>> config_text = model.config.text_config

>>> # Saving the model, including its configuration
>>> model.save_pretrained("vit-bert")

>>> # loading model and config from pretrained folder
>>> vision_text_config = VisionTextDualEncoderConfig.from_pretrained("vit-bert")
>>> model = VisionTextDualEncoderModel.from_pretrained("vit-bert", config=vision_text_config)

from_vision_text_configs

< 原始檔 >

( vision_config: PretrainedConfig text_config: PretrainedConfig **kwargs ) → VisionTextDualEncoderConfig

VisionTextDualEncoderConfig

一個配置物件的例項

從文字模型配置和視覺模型配置例項化 `VisionTextDualEncoderConfig`（或派生類）。

VisionTextDualEncoderProcessor

class transformers.VisionTextDualEncoderProcessor

< 原始檔 >

( image_processor = None tokenizer = None **kwargs )

引數

image_processor (`AutoImageProcessor`, 可選) — 影像處理器是必需輸入。
tokenizer (`PreTrainedTokenizer`, 可選) — 分詞器是必需輸入。

構造一個 VisionTextDualEncoder 處理器，它將影像處理器和分詞器封裝到單個處理器中。

`VisionTextDualEncoderProcessor` 提供了 `AutoImageProcessor` 和 `AutoTokenizer` 的所有功能。有關更多資訊，請參閱 __call__() 和 `decode()`。

batch_decode

< 原始檔 >

( *args **kwargs )

此方法將其所有引數轉發給 VisionTextDualEncoderTokenizer 的 `batch_decode()`。有關更多資訊，請參閱此方法的文件字串。

decode

< 原始檔 >

( *args **kwargs )

此方法將其所有引數轉發給 VisionTextDualEncoderTokenizer 的 `decode()`。有關更多資訊，請參閱此方法的文件字串。

PyTorch

隱藏 Pytorch 內容

VisionTextDualEncoderModel

class transformers.VisionTextDualEncoderModel

< 原始檔 >

( config: typing.Optional[transformers.models.vision_text_dual_encoder.configuration_vision_text_dual_encoder.VisionTextDualEncoderConfig] = None vision_model: typing.Optional[transformers.modeling_utils.PreTrainedModel] = None text_model: typing.Optional[transformers.modeling_utils.PreTrainedModel] = None )

引數

config (`VisionTextDualEncoderConfig`, 可選) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請查閱 `from_pretrained()` 方法以載入模型權重。
vision_model (~modeling_utils.PreTrainedModel, 可選) — 要使用的視覺模型。
text_model (~modeling_utils.PreTrainedModel, 可選) — 要使用的文字模型。

裸露的視覺文字雙編碼器模型，輸出原始隱藏狀態，頂部沒有任何特定頭部。

此模型繼承自 `PreTrainedModel`。有關庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等），請查閱超類文件。

此模型也是 PyTorch `torch.nn.Module` 子類。將其用作常規 PyTorch 模組，並查閱 PyTorch 文件以瞭解與一般用法和行為相關的所有事項。

forward

< 原始檔 >

( input_ids: typing.Optional[torch.LongTensor] = None pixel_values: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None return_loss: typing.Optional[bool] = None token_type_ids: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → `transformers.models.clip.modeling_clip.CLIPOutput` 或 `tuple(torch.FloatTensor)`

引數

input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 詞彙表中輸入序列 token 的索引。預設情況下，填充將被忽略。

索引可以使用 `AutoTokenizer` 獲取。有關詳細資訊，請參閱 `PreTrainedTokenizer.encode()` 和 `PreTrainedTokenizer.__call__()`。

什麼是輸入 ID？
pixel_values (形狀為 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇在 [0, 1] 中：
- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
什麼是注意力掩碼？
position_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

什麼是位置 ID？
return_loss (bool, 可選) — 是否返回對比損失。
token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 用於指示輸入的第一部分和第二部分的段落 token 索引。索引選擇在 [0, 1] 中：
- 0 對應於 句子 A token，
- 1 對應於 句子 B token。
什麼是 token 型別 ID？
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量中的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量中的 hidden_states。
return_dict (bool, 可選) — 是否返回 `ModelOutput` 而不是普通元組。

transformers.models.clip.modeling_clip.CLIPOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.clip.modeling_clip.CLIPOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），其中包含各種元素，具體取決於配置 (`VisionTextDualEncoderConfig`) 和輸入。

loss (torch.FloatTensor，形狀為 (1,), 可選, 當 return_loss 為 True 時返回) — 影像-文字相似度的對比損失。
logits_per_image (形狀為 (image_batch_size, text_batch_size) 的 torch.FloatTensor) — image_embeds 和 text_embeds 之間的縮放點積分數。這表示影像-文字相似度分數。
logits_per_text (形狀為 (text_batch_size, image_batch_size) 的 torch.FloatTensor) — text_embeds 和 image_embeds 之間的縮放點積分數。這表示文字-影像相似度分數。
text_embeds (形狀為 (batch_size, output_dim) 的 torch.FloatTensor) — 透過將投影層應用於 `CLIPTextModel` 的池化輸出獲得的文字嵌入。
image_embeds (形狀為 (batch_size, output_dim) 的 torch.FloatTensor) — 透過將投影層應用於 `CLIPVisionModel` 的池化輸出獲得的影像嵌入。
text_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.text_model_output，預設為 None) — `CLIPTextModel` 的輸出。
vision_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.vision_model_output，預設為 None) — `CLIPVisionModel` 的輸出。

`VisionTextDualEncoderModel` 前向方法，覆蓋 __call__ 特殊方法。

儘管前向傳遞的實現需要在該函式中定義，但在此之後應該呼叫 Module 例項，而不是直接呼叫此函式，因為前者會處理預處理和後處理步驟，而後者會默默忽略它們。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import (
...     VisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = VisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="pt", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
...     return_loss=True,
... )
>>> loss, logits_per_image = outputs.loss, outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = VisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the label probabilities

TensorFlow

隱藏 TensorFlow 內容

FlaxVisionTextDualEncoderModel

class transformers.FlaxVisionTextDualEncoderModel

< 原始檔 >

( config: VisionTextDualEncoderConfig input_shape: typing.Optional[tuple] = None seed: int = 0 dtype: dtype = <class 'jax.numpy.float32'> _do_init: bool = True **kwargs )

引數

config (`VisionTextDualEncoderConfig`) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請查閱 `from_pretrained()` 方法以載入模型權重。
dtype (jax.numpy.dtype, 可選, 預設為 jax.numpy.float32) — 計算的資料型別。可以是 jax.numpy.float32，jax.numpy.float16（在 GPU 上）和 jax.numpy.bfloat16（在 TPU 上）之一。

這可用於在 GPU 或 TPU 上啟用混合精度訓練或半精度推理。如果指定，所有計算將使用給定的 dtype 進行。

請注意，這僅指定計算的資料型別，不影響模型引數的資料型別。

如果您希望更改模型引數的資料型別，請參閱 `to_fp16()` 和 `to_bf16()`。

此類別可用於初始化視覺-文字雙編碼器模型，其中任何預訓練的視覺自編碼模型作為視覺編碼器，任何預訓練的文字模型作為文字編碼器。視覺和文字編碼器透過 `from_pretrained()` 方法載入。投影層會自動新增到模型中，並且應在下游任務（如對比影像-文字建模）上進行微調。

此類視覺-文字雙編碼器模型訓練/微調後，可以像任何其他模型一樣儲存/載入（有關更多資訊，請參閱示例）。

此模型繼承自 `PreTrainedModel`。有關庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等），請查閱超類文件。

此模型也是 `flax.linen.Module` 子類。將其用作常規 Flax linen 模組，並查閱 Flax 文件以瞭解與一般用法和行為相關的所有事項。

最後，此模型支援固有的 JAX 功能，例如

call

< 原始檔 >

( input_ids pixel_values attention_mask = None position_ids = None token_type_ids = None params: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None train: bool = False output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → `transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput` 或 `tuple(torch.FloatTensor)`

引數

input_ids (形狀為 (batch_size, sequence_length) 的 numpy.ndarray) — 詞彙表中輸入序列標記的索引。如果提供填充，則預設忽略。

可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是輸入 ID？
attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 用於避免對填充標記索引執行注意力的掩碼。在 [0, 1] 中選擇掩碼值：
- 1 表示**未掩碼**的標記，
- 0 表示**已掩碼**的標記。
什麼是注意力掩碼？
position_ids (形狀為 (batch_size, sequence_length) 的 numpy.ndarray, 可選) — 每個輸入序列標記在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 範圍內選擇。

什麼是位置 ID？
pixel_values (形狀為 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 畫素值。如果提供填充，則預設忽略。畫素值可以透過影像處理器獲取（例如，如果使用 ViT 作為編碼器，則應使用 AutoImageProcessor）。有關詳細資訊，請參閱 ViTImageProcessor.call()。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的 hidden_states。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput 或 tuple(torch.FloatTensor)

一個 transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput 或 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含取決於配置 (VisionTextDualEncoderConfig) 和輸入的不同元素。

logits_per_image:(形狀為 (image_batch_size, text_batch_size) 的 jnp.ndarray) — image_embeds 和 text_embeds 之間的縮放點積分數。這表示影像-文字相似度分數。
logits_per_text:(形狀為 (text_batch_size, image_batch_size) 的 jnp.ndarray) — text_embeds 和 image_embeds 之間的縮放點積分數。這表示文字-影像相似度分數。
text_embeds(形狀為 (batch_size, output_dim) 的 jnp.ndarray) — 透過將投影層應用於 FlaxCLIPTextModel 的池化輸出獲得的文字嵌入。
image_embeds(形狀為 (batch_size, output_dim) 的 jnp.ndarray) — 透過將投影層應用於 FlaxCLIPVisionModel 的池化輸出獲得的影像嵌入。
text_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPTextModel 的輸出。
vision_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPVisionModel 的輸出。

FlaxVisionTextDualEncoderModel 的 forward 方法，重寫了 __call__ 特殊方法。

示例

>>> from PIL import Image
>>> import requests
>>> import jax
>>> from transformers import (
...     FlaxVisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcesor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = FlaxVisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="np", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
... )
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = FlaxVisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = jax.nn.softmax(logits_per_image, axis=1)  # we can take the softmax to get the label probabilities

JAX

隱藏 JAX 內容

TFVisionTextDualEncoderModel

class transformers.TFVisionTextDualEncoderModel

< source >

( config: Optional[VisionTextDualEncoderConfig] = None vision_model: Optional[TFPreTrainedModel] = None text_model: Optional[TFPreTrainedModel] = None )

引數

config (VisionEncoderDecoderConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型關聯的權重，只會載入配置。請檢視 from_pretrained() 方法以載入模型權重。

此類視覺-文字雙編碼器模型訓練/微調後，可以像任何其他模型一樣儲存/載入（有關更多資訊，請參閱示例）。

此模型繼承自 TFPreTrainedModel。請檢視超類文件，瞭解庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭等）。

此模型也是 Keras Model 的子類。將其作為常規 Keras 模型使用，並參閱 TF 文件以獲取所有與通用用法和行為相關的事項。

呼叫

< source >

( input_ids: tf.Tensor | None = None pixel_values: tf.Tensor | None = None attention_mask: tf.Tensor | None = None position_ids: tf.Tensor | None = None return_loss: Optional[bool] = None token_type_ids: tf.Tensor | None = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False ) → transformers.models.clip.modeling_tf_clip.TFCLIPOutput 或 tuple(tf.Tensor)

引數

input_ids (形狀為 (batch_size, sequence_length) 的 tf.Tensor) — 詞彙表中輸入序列標記的索引。如果提供填充，則預設忽略。

可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是輸入 ID？
attention_mask (形狀為 (batch_size, sequence_length) 的 tf.Tensor, 可選) — 用於避免對填充標記索引執行注意力的掩碼。在 [0, 1] 中選擇掩碼值：
- 1 表示**未掩碼**的標記，
- 0 表示**已掩碼**的標記。
什麼是注意力掩碼？
position_ids (形狀為 (batch_size, sequence_length) 的 tf.Tensor, 可選) — 每個輸入序列標記在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 範圍內選擇。

什麼是位置 ID？
pixel_values (形狀為 (batch_size, num_channels, height, width) 的 tf.Tensor) — 畫素值。如果提供填充，則預設忽略。畫素值可以透過影像處理器獲取（例如，如果使用 ViT 作為編碼器，則應使用 AutoImageProcessor）。有關詳細資訊，請參閱 ViTImageProcessor.call()。
return_loss (bool, 可選) — 是否返回對比損失。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的 hidden_states。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

transformers.models.clip.modeling_tf_clip.TFCLIPOutput 或 tuple(tf.Tensor)

一個 transformers.models.clip.modeling_tf_clip.TFCLIPOutput 或 tf.Tensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含取決於配置 (VisionTextDualEncoderConfig) 和輸入的不同元素。

loss (tf.Tensor，形狀為 (1,)，可選，當 return_loss 為 True 時返回) — 影像-文字相似度的對比損失。
logits_per_image:(形狀為 (image_batch_size, text_batch_size) 的 tf.Tensor) — image_embeds 和 text_embeds 之間的縮放點積分數。這表示影像-文字相似度分數。
logits_per_text:(形狀為 (text_batch_size, image_batch_size) 的 tf.Tensor) — text_embeds 和 image_embeds 之間的縮放點積分數。這表示文字-影像相似度分數。
text_embeds(形狀為 (batch_size, output_dim) 的 tf.Tensor) — 透過將投影層應用於 TFCLIPTextModel 的池化輸出獲得的文字嵌入。
image_embeds(形狀為 (batch_size, output_dim) 的 tf.Tensor) — 透過將投影層應用於 TFCLIPVisionModel 的池化輸出獲得的影像嵌入。
text_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling): TFCLIPTextModel 的輸出。
vision_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling): TFCLIPVisionModel 的輸出。

TFVisionTextDualEncoderModel 的 forward 方法，重寫了 __call__ 特殊方法。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import (
...     TFVisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = TFVisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="np", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
...     return_loss=True,
... )
>>> loss, logits_per_image = outputs.loss, outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = TFVisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = tf.nn.softmax(logits_per_image, axis=1)  # we can take the softmax to get the label probabilities

< > 在 GitHub 上更新

Transformers

VisionTextDualEncoder

概述

VisionTextDualEncoderConfig

class transformers.VisionTextDualEncoderConfig

from_vision_text_configs

VisionTextDualEncoderProcessor

class transformers.VisionTextDualEncoderProcessor

batch_decode

decode

VisionTextDualEncoderModel

class transformers.VisionTextDualEncoderModel

forward

FlaxVisionTextDualEncoderModel

class transformers.FlaxVisionTextDualEncoderModel

__call__

TFVisionTextDualEncoderModel

class transformers.TFVisionTextDualEncoderModel

呼叫

call