Transformers 文件
TVLT
並獲得增強的文件體驗
開始使用
TVLT
此模型僅處於維護模式，我們不接受任何更改其程式碼的新 PR。如果您在執行此模型時遇到任何問題，請重新安裝支援此模型的最後一個版本：v4.40.2。您可以透過執行以下命令進行操作：pip install -U transformers==4.40.2。
概述
TVLT 模型由 Zineng Tang、Jaemin Cho、Yixin Nie 和 Mohit Bansal（前三位作者貢獻相同）在TVLT: Textless Vision-Language Transformer 中提出。Textless Vision-Language Transformer (TVLT) 是一種模型，它使用原始視覺和音訊輸入進行視覺和語言表示學習，不使用文字專用模組，如分詞或自動語音識別（ASR）。它可以執行各種視聽和視覺語言任務，如檢索、問答等。
論文摘要如下：
在這項工作中，我們提出了 Textless Vision-Language Transformer (TVLT)，其中同構 Transformer 塊接受原始視覺和音訊輸入，用於視覺和語言表示學習，且模態特定設計最小化，不使用文字專用模組，如分詞或自動語音識別 (ASR)。TVLT 透過重建連續影片幀和音訊頻譜圖的遮蔽補丁（遮蔽自編碼）以及對比建模以對齊影片和音訊來訓練。TVLT 在各種多模態任務上達到了與其基於文字的對應物相當的效能，例如視覺問答、影像檢索、影片檢索和多模態情感分析，推理速度快 28 倍，引數量僅為 1/3。我們的發現表明，在不假設文字預先存在的情況下，可以從低階視覺和音訊訊號中學習緊湊高效的視覺-語言表示。
原始程式碼可以在這裡找到。此模型由Zineng Tang貢獻。
使用提示
- TVLT 是一種同時接受
pixel_values和audio_values作為輸入的模型。可以使用 TvltProcessor 為模型準備資料。該處理器將影像處理器（用於影像/影片模態）和音訊特徵提取器（用於音訊模態）封裝為一個。 - TVLT 使用不同大小的影像/影片和音訊進行訓練：作者將輸入影像/影片調整並裁剪為 224，並將音訊頻譜圖的長度限制為 2048。為了使影片和音訊的批處理成為可能，作者使用
pixel_mask指示哪些畫素是真實的/填充的，以及audio_mask指示哪些音訊值是真實的/填充的。 - TVLT 的設計與標準的 Vision Transformer (ViT) 和遮蔽自編碼器 (MAE) 非常相似，如 ViTMAE 中所示。區別在於該模型包含了音訊模態的嵌入層。
- 此模型的 PyTorch 版本僅在 torch 1.10 及更高版本中可用。
TvltConfig
class transformers.TvltConfig
< 來源 >( image_size = 224 spectrogram_length = 2048 frequency_length = 128 image_patch_size = [16, 16] audio_patch_size = [16, 16] num_image_channels = 3 num_audio_channels = 1 num_frames = 8 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-06 qkv_bias = True use_mean_pooling = False decoder_num_attention_heads = 16 decoder_hidden_size = 512 decoder_num_hidden_layers = 8 decoder_intermediate_size = 2048 pixel_mask_ratio = 0.75 audio_mask_ratio = 0.15 audio_mask_type = 'frame-level' task_matching = True task_mae = True loss_type = 'classification' **kwargs )
引數
- image_size (
int, 可選, 預設為 224) — 每張影像的大小（解析度）。 - spectrogram_length (
int, 可選, 預設為 2048) — 每個音訊頻譜圖的時間長度。 - frequency_length (
int, 可選, 預設為 128) — 音訊頻譜圖的頻率長度。 - image_patch_size (
list[int], 可選, 預設為[16, 16]) — 每個影像補丁的大小（解析度）。 - audio_patch_size (
list[int], 可選, 預設為[16, 16]) — 每個音訊補丁的大小（解析度）。 - num_image_channels (
int, 可選, 預設為 3) — 輸入影像通道的數量。 - num_audio_channels (
int, 可選, 預設為 1) — 輸入音訊通道的數量。 - num_frames (
int, 可選, 預設為 8) — 輸入影片的最大幀數。 - hidden_size (
int, 可選, 預設為 768) — 編碼器層和池化器層的維度。 - num_hidden_layers (
int, 可選, 預設為 12) — Transformer 編碼器中的隱藏層數量。 - num_attention_heads (
int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層頭的數量。 - intermediate_size (
int, 可選, 預設為 3072) — Transformer 編碼器中“中間”（即，前饋）層的維度。 - hidden_act (
str或function, 可選, 預設為"gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果為字串，則支援"gelu"、"relu"、"selu"和"gelu_new"。 - hidden_dropout_prob (
float, 可選, 預設為 0.0) — 嵌入層、編碼器和池化器中所有全連線層的 dropout 機率。 - attention_probs_dropout_prob (
float, 可選, 預設為 0.0) — 注意力機率的 dropout 比率。 - initializer_range (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態分佈初始化器的標準差。 - layer_norm_eps (
float, 可選, 預設為 1e-06) — 層歸一化層使用的 epsilon 值。 - qkv_bias (
bool, 可選, 預設為True) — 是否在查詢、鍵和值中新增偏置。 - use_mean_pooling (
bool, 可選, 預設為False) — 是否對最終隱藏狀態進行均值池化，而不是使用 [CLS] 標記的最終隱藏狀態。 - decoder_num_attention_heads (
int, 可選, 預設為 16) — 解碼器中每個注意力層的注意力頭數量。 - decoder_hidden_size (
int, 可選, 預設為 512) — 解碼器的維度。 - decoder_num_hidden_layers (
int, 可選, 預設為 8) — 解碼器中的隱藏層數量。 - decoder_intermediate_size (
int, 可選, 預設為 2048) — 解碼器中“中間”（即，前饋）層的維度。 - pixel_mask_ratio (
float, 可選, 預設為 0.75) — 影像補丁遮蔽比。 - audio_mask_ratio (
float, 可選, 預設為 0.15) — 音訊補丁遮蔽比。 - audio_mask_type (
str, 可選, 預設為"frame-level") — 音訊補丁遮蔽型別，選擇“frame-level”和“patch-level”之間。 - task_matching (
bool, 可選, 預設為True) — 是否在預訓練中使用視覺音訊匹配任務。 - task_mae (
bool, 可選, 預設為True) — 是否在預訓練中使用遮蔽自編碼器 (MAE)。 - loss_type (
str, 可選, 預設為"classification") — 損失型別包括迴歸和分類。
這是用於儲存 TvltModel 配置的配置類。它用於根據指定的引數例項化 TVLT 模型，定義模型架構。使用預設值例項化配置將產生與 TVLT ZinengTang/tvlt-base 架構類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。
示例
>>> from transformers import TvltConfig, TvltModel
>>> # # Initializing a TVLT ZinengTang/tvlt-base style configuration
>>> configuration = TvltConfig()
>>> # # Initializing a model (with random weights) from the ZinengTang/tvlt-base style configuration
>>> model = TvltModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configTvltProcessor
class transformers.TvltProcessor
< 來源 >( image_processor feature_extractor )
引數
- image_processor (
TvltImageProcessor) — TvltImageProcessor 的例項。影像處理器是必需的輸入。 - feature_extractor (
TvltFeatureExtractor) — TvltFeatureExtractor 的例項。特徵提取器是必需的輸入。
構建一個 TVLT 處理器，它將 TVLT 影像處理器和 TVLT 特徵提取器封裝到一個處理器中。
TvltProcessor 提供了 TvltImageProcessor 和 TvltFeatureExtractor 的所有功能。有關更多資訊，請參閱上述兩個方法的文件字串 call()。
__call__
< 來源 >( images = None audio = None images_mixed = None sampling_rate = None mask_audio = False mask_pixel = False *args **kwargs )
將 images 引數轉發給 TvltImageProcessor 的 preprocess()，並將 audio 引數轉發給 TvltFeatureExtractor 的 call()。請參閱上述兩種方法的文件字串以獲取更多資訊。
TvltImageProcessor
class transformers.TvltImageProcessor
< 來源 >( do_resize: bool = True size: typing.Optional[dict[str, int]] = None patch_size: list = [16, 16] num_frames: int = 8 resample: Resampling = <Resampling.BILINEAR: 2> do_center_crop: bool = True crop_size: typing.Optional[dict[str, int]] = None do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, list[float], NoneType] = [0.5, 0.5, 0.5] image_std: typing.Union[float, list[float], NoneType] = [0.5, 0.5, 0.5] init_mask_generator = False **kwargs )
引數
- do_resize (
bool, 可選, 預設為True) — 是否將影像的 (高度, 寬度) 尺寸調整為指定的size。可以透過preprocess方法中的do_resize引數覆蓋。 - size (
dict[str, int]可選, 預設為{"shortest_edge" -- 224}): 調整大小後輸出影像的尺寸。影像的最短邊將調整為size["shortest_edge"]，同時保持原始影像的縱橫比。可以透過preprocess方法中的size覆蓋。 - patch_size (
list[int]可選, 預設為 [16,16]) — 影像塊嵌入的塊大小。 - num_frames (
int可選, 預設為 8) — 影片幀的最大數量。 - resample (
PILImageResampling, 可選, 預設為PILImageResampling.BILINEAR) — 如果調整影像大小，則使用的重取樣濾波器。可以透過preprocess方法中的resample引數覆蓋。 - do_center_crop (
bool, 可選, 預設為True) — 是否將影像中心裁剪到指定的crop_size。可以透過preprocess方法中的do_center_crop引數覆蓋。 - crop_size (
dict[str, int], 可選, 預設為{"height" -- 224, "width": 224}): 應用中心裁剪後圖像的尺寸。可以透過preprocess方法中的crop_size引數覆蓋。 - do_rescale (
bool, 可選, 預設為True) — 是否按指定的縮放因子rescale_factor重新縮放影像。可以透過preprocess方法中的do_rescale引數覆蓋。 - rescale_factor (
int或float, 可選, 預設為 1/255) — 定義如果重新縮放影像，則使用的縮放因子。可以透過preprocess方法中的rescale_factor引數覆蓋。 - do_normalize (
bool, 可選, 預設為True) — 是否對影像進行歸一化。可以透過preprocess方法中的do_normalize引數覆蓋。 - image_mean (
float或list[float], 可選, 預設為IMAGENET_STANDARD_MEAN) — 如果對影像進行歸一化，則使用的平均值。這是一個浮點數或浮點數列表，其長度與影像中的通道數相同。可以透過preprocess方法中的image_mean引數覆蓋。 - image_std (
float或list[float], 可選, 預設為IMAGENET_STANDARD_STD) — 如果對影像進行歸一化，則使用的標準差。這是一個浮點數或浮點數列表，其長度與影像中的通道數相同。可以透過preprocess方法中的image_std引數覆蓋。
構造一個 TVLT 影像處理器。
該處理器可用於透過將影像轉換為 1 幀影片來為模型準備影片或影像。
預處理
< 來源 >( videos: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] do_resize: typing.Optional[bool] = None size: typing.Optional[dict[str, int]] = None patch_size: typing.Optional[list[int]] = None num_frames: typing.Optional[int] = None resample: Resampling = None do_center_crop: typing.Optional[bool] = None crop_size: typing.Optional[dict[str, int]] = None do_rescale: typing.Optional[bool] = None rescale_factor: typing.Optional[float] = None do_normalize: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None is_mixed: bool = False return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None **kwargs ) → BatchFeature
引數
- videos (
ImageInput) — 要預處理的影像或影片。期望是畫素值範圍為 0 到 255 的單幀或批次幀。如果傳入的幀畫素值在 0 到 1 之間，請設定do_rescale=False。 - do_resize (
bool, 可選, 預設為self.do_resize) — 是否調整影像大小。 - size (
dict[str, int], 可選, 預設為self.size) — 應用調整大小後圖像的尺寸。 - patch_size (
list[int]可選, 預設為 self.patch_size) — 影像塊嵌入的塊大小。 - num_frames (
int可選, 預設為 self.num_frames) — 影片幀的最大數量。 - resample (
PILImageResampling, 可選, 預設為self.resample) — 如果調整影像大小，則使用的重取樣濾波器。這可以是列舉PILImageResampling之一，僅當do_resize設定為True時有效。 - do_center_crop (
bool, 可選, 預設為self.do_centre_crop) — 是否對影像進行中心裁剪。 - crop_size (
dict[str, int], 可選, 預設為self.crop_size) — 應用中心裁剪後圖像的尺寸。 - do_rescale (
bool, 可選, 預設為self.do_rescale) — 是否將影像值重新縮放到 [0 - 1] 之間。 - rescale_factor (
float, 可選, 預設為self.rescale_factor) — 如果do_rescale設定為True，則用於重新縮放影像的縮放因子。 - do_normalize (
bool, 可選, 預設為self.do_normalize) — 是否對影像進行歸一化。 - image_mean (
float或list[float], 可選, 預設為self.image_mean) — 影像平均值。 - image_std (
float或list[float], 可選, 預設為self.image_std) — 影像標準差。 - is_mixed (
bool, 可選) — 如果輸入影片包含負樣本。 - return_tensors (
str或TensorType, 可選) — 要返回的張量型別。可以是以下之一：- 未設定：返回
np.ndarray列表。 TensorType.TENSORFLOW或'tf'：返回tf.Tensor型別的批次。TensorType.PYTORCH或'pt'：返回torch.Tensor型別的批次。TensorType.NUMPY或'np'：返回np.ndarray型別的批次。TensorType.JAX或'jax'：返回jax.numpy.ndarray型別的批次。
- 未設定：返回
- data_format (
ChannelDimension或str, 可選, 預設為ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一：ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。ChannelDimension.LAST：影像格式為 (height, width, num_channels)。- 未設定：使用輸入影像推斷的通道維度格式。
- input_data_format (
ChannelDimension或str, 可選) — 輸入影像的通道維度格式。如果未設定，則從輸入影像推斷通道維度格式。可以是以下之一："channels_first"或ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。"channels_last"或ChannelDimension.LAST：影像格式為 (height, width, num_channels)。"none"或ChannelDimension.NONE：影像格式為 (height, width)。
返回
一個具有以下欄位的 BatchFeature
-
pixel_values — 將饋送到模型的畫素值，形狀為 (batch_size, num_channels, height, width)。
-
pixel_mask — 將饋送到模型的畫素掩碼，形狀為 (batch_size, num_pixel_patches)。
-
pixel_values_mixed — 包含正樣本和負樣本的畫素值，將饋送到模型，形狀為 (batch_size, num_channels, height, width)。
-
pixel_mask_mixed — 包含正樣本和負樣本的畫素掩碼，將饋送到模型，形狀為 (batch_size, num_pixel_patches)。
預處理一個或多個影片或影像。
TvltFeatureExtractor
class transformers.TvltFeatureExtractor
< 來源 >( spectrogram_length = 2048 num_channels = 1 patch_size = [16, 16] feature_size = 128 sampling_rate = 44100 hop_length_to_sampling_rate = 86 n_fft = 2048 padding_value = 0.0 **kwargs )
引數
- spectrogram_length (
dict[str, int]可選, 預設為 2048) — 每個音訊頻譜圖的時間長度。 - num_channels (
int可選, 預設為 1) — 音訊通道數。 - patch_size (
list[int]可選, 預設為[16, 16]) — 音訊塊嵌入的塊大小。 - feature_size (
int, 可選, 預設為 128) — 音訊頻譜圖的頻率長度。 - sampling_rate (
int, 可選, 預設為 44100) — 音訊檔案應以赫茲 (Hz) 為單位進行數字化的取樣率。 - hop_length_to_sampling_rate (
int, 可選, 預設為 86) — 跳躍長度是用於獲取梅爾頻率係數的 STFT 重疊視窗的長度。例如，取樣率為 44100 時，跳躍長度為 512，44100 / 512 = 86。 - n_fft (
int, 可選, 預設為 2048) — 傅立葉變換的大小。 - padding_value (
float, 可選, 預設為 0.0) — 用於填充音訊的填充值。應與靜音相對應。
構造一個 TVLT 音訊特徵提取器。該特徵提取器可用於為模型準備音訊。
此特徵提取器繼承自 FeatureExtractionMixin，其中包含大部分主要方法。使用者應參考此超類以獲取有關這些方法的更多資訊。
__call__
< 來源 >( raw_speech: typing.Union[numpy.ndarray, list[float], list[numpy.ndarray], list[list[float]]] return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None return_attention_mask: typing.Optional[bool] = True sampling_rate: typing.Optional[int] = None resample: bool = False mask_audio: bool = False **kwargs ) → BatchFeature
引數
- raw_speech (
np.ndarray,list[float],list[np.ndarray],list[list[float]]) — 要填充的序列或序列批次。每個序列可以是 numpy 陣列、浮點值列表、numpy 陣列列表或浮點值列表的列表。必須是單通道音訊，而不是立體聲，即每個時間步長一個浮點數。 - return_tensors (
str或 TensorType, 可選) — 如果設定，將返回張量而不是 Python 整數列表。可接受的值為：'pt'：返回 PyTorchtorch.Tensor物件。'np'：返回 Numpynp.ndarray物件。
- return_attention_mask (
bool, 可選, 預設為True) — 是否返回注意力掩碼。如果保留預設值，將根據特定特徵提取器的預設值返回注意力掩碼。什麼是注意力掩碼？對於 TvltTransformer 模型，對於批處理推理，應始終傳遞
attention_mask，以避免細微的錯誤。 - sampling_rate (
int, 可選) —raw_speech輸入的取樣率。強烈建議在轉發呼叫時傳遞sampling_rate，以防止無聲錯誤並允許自動語音識別管道。當前模型支援取樣率 16000 和 44100。 - resample (
bool, 可選, 預設為False) — 如果取樣率不匹配，則重新取樣輸入音訊以匹配。 - mask_audio (
bool, 可選, 預設為False) — 是否為 MAE 任務遮蓋輸入音訊。
返回
一個具有以下欄位的 BatchFeature
-
audio_values — 將饋送到模型的音訊值，形狀為 (batch_size, num_channels, height, width)。
-
audio_mask — 將饋送到模型的音訊掩碼，形狀為 (batch_size, num_audio_patches)。
準備一個或多個音訊以供模型使用的主要方法。
TvltModel
class transformers.TvltModel
< 來源 >( config )
引數
- config (TvltConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化模型不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
裸 TVLT 模型轉換器輸出原始隱藏狀態，不帶任何特定頭部。該模型是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，有關一般用法和行為的所有事項，請參考 PyTorch 文件。
轉發
< 來源 >( pixel_values: FloatTensor audio_values: FloatTensor pixel_mask: typing.Optional[torch.FloatTensor] = None audio_mask: typing.Optional[torch.FloatTensor] = None mask_pixel: bool = False mask_audio: bool = False output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.tvlt.modeling_tvlt.TvltModelOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (形狀為
(batch_size, num_frames, num_channels, height, width)的torch.FloatTensor) — 畫素值。畫素值可以使用 TvltProcessor 獲得。有關詳細資訊，請參閱 TvltProcessor.call()。 - audio_values (形狀為
(batch_size, num_channels, height, width)的torch.FloatTensor) — 音訊值。音訊值可以使用 TvltProcessor 獲得。有關詳細資訊，請參閱 TvltProcessor.call()。 - pixel_mask (
torch.FloatTensor形狀為(batch_size, num_pixel_patches)) — 畫素掩碼。畫素掩碼可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - audio_mask (
torch.FloatTensor形狀為(batch_size, num_audio_patches)) — 音訊掩碼。音訊掩碼可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_values_mixed (
torch.FloatTensor形狀為(batch_size, num_frames, num_channels, height, width)) — 在Tvlt視覺-音訊匹配中混合正負樣本的畫素值。混合畫素值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_mask_mixed (
torch.FloatTensor形狀為(batch_size, num_channels, height, width)) — 混合畫素值的畫素掩碼。混合畫素掩碼可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - mask_pixel (
bool, 可選) — 是否對MAE任務的畫素進行掩碼。僅在 TvltForPreTraining 中設定為 True。 - mask_audio (
bool, 可選) — 是否對MAE任務的音訊進行掩碼。僅在 TvltForPreTraining 中設定為 True。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
返回
transformers.models.deprecated.tvlt.modeling_tvlt.TvltModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.models.deprecated.tvlt.modeling_tvlt.TvltModelOutput 或 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含根據配置（TvltConfig）和輸入而定的各種元素。
- last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。 - last_pixel_hidden_state (
torch.FloatTensor形狀為(batch_size, pixel_sequence_length, hidden_size)) — 模型最後一層輸出的畫素序列隱藏狀態。 - last_audio_hidden_state (
torch.FloatTensor形狀為(batch_size, audio_sequence_length, hidden_size)) — 模型最後一層輸出的音訊序列隱藏狀態。 - pixel_label_masks (
torch.FloatTensor形狀為(batch_size, pixel_patch_length)) — 指示哪些畫素塊被掩碼（1）哪些沒有（0）的張量。 - audio_label_masks (
torch.FloatTensor形狀為(batch_size, audio_patch_length)) — 指示哪些音訊塊被掩碼（1）哪些沒有（0）的張量。 - pixel_ids_restore (
torch.LongTensor形狀為(batch_size, pixel_patch_length)) — 包含畫素掩碼 ID 排列的張量。 - audio_ids_restore (
torch.LongTensor形狀為(batch_size, audio_patch_length)) — 包含音訊掩碼 ID 排列的張量。 - hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，一個用於每層輸出），形狀為(batch_size, sequence_length, hidden_size)。模型每層的隱藏狀態以及初始嵌入輸出。 - attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
TvltModel 的 forward 方法，重寫了 __call__ 特殊方法。
儘管 forward pass 的配方需要在此函式中定義，但在此之後應該呼叫 Module 例項，而不是直接呼叫此函式，因為前者負責執行預處理和後處理步驟，而後者則會默默地忽略它們。
示例
>>> from transformers import TvltProcessor, TvltModel
>>> import numpy as np
>>> import torch
>>> num_frames = 8
>>> images = list(np.random.randn(num_frames, 3, 224, 224))
>>> audio = list(np.random.randn(10000))
>>> processor = TvltProcessor.from_pretrained("ZinengTang/tvlt-base")
>>> model = TvltModel.from_pretrained("ZinengTang/tvlt-base")
>>> input_dict = processor(images, audio, sampling_rate=44100, return_tensors="pt")
>>> outputs = model(**input_dict)
>>> loss = outputs.lossTvltForPreTraining
class transformers.TvltForPreTraining
< source >( config )
引數
- config (TvltConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。
用於自監督預訓練的 TVLT 模型 Transformer，頂部帶解碼器。此模型是 PyTorch torch.nn.Module 的子類。將其作為常規 PyTorch Module 使用，並參考 PyTorch 文件中所有與通用用法和行為相關的事項。
轉發
< source >( pixel_values: FloatTensor audio_values: FloatTensor pixel_mask: typing.Optional[torch.FloatTensor] = None audio_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None pixel_values_mixed: typing.Optional[torch.FloatTensor] = None pixel_mask_mixed: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.tvlt.modeling_tvlt.TvltForPreTrainingOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.FloatTensor形狀為(batch_size, num_frames, num_channels, height, width)) — 畫素值。畫素值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - audio_values (
torch.FloatTensor形狀為(batch_size, num_channels, height, width)) — 音訊值。音訊值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_mask (
torch.FloatTensor形狀為(batch_size, num_pixel_patches)) — 畫素掩碼。畫素掩碼可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - audio_mask (
torch.FloatTensor形狀為(batch_size, num_audio_patches)) — 音訊掩碼。音訊掩碼可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_values_mixed (
torch.FloatTensor形狀為(batch_size, num_frames, num_channels, height, width)) — 在Tvlt視覺-音訊匹配中混合正負樣本的畫素值。混合畫素值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_mask_mixed (
torch.FloatTensor形狀為(batch_size, num_channels, height, width)) — 混合畫素值的畫素掩碼。混合畫素值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - mask_pixel (
bool, 可選) — 是否對MAE任務的畫素進行掩碼。僅在 TvltForPreTraining 中設定為 True。 - mask_audio (
bool, 可選) — 是否對MAE任務的音訊進行掩碼。僅在 TvltForPreTraining 中設定為 True。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - pixel_values_mixed (
torch.FloatTensor形狀為(batch_size, num_frames, num_channels, height, width)) — 在Tvlt視覺-音訊匹配中混合正負樣本的畫素值。音訊值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_mask_mixed (
torch.FloatTensor形狀為(batch_size, num_channels, height, width)) — 混合畫素值的畫素掩碼。混合畫素值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - labels (
torch.LongTensor形狀為(batch_size, num_labels), 可選) — 用於計算視覺-音訊匹配損失的標籤。索引應在[0, 1]之間。num_labels必須為 1。
返回
transformers.models.deprecated.tvlt.modeling_tvlt.TvltForPreTrainingOutput 或 tuple(torch.FloatTensor)
一個 transformers.models.deprecated.tvlt.modeling_tvlt.TvltForPreTrainingOutput 或 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含根據配置（TvltConfig）和輸入而定的各種元素。
- loss (
torch.FloatTensor，形狀為(1,)) — 畫素重建損失。 - matching_logits (
torch.FloatTensor形狀為(batch_size, 1)) — 匹配目標 logits。 - pixel_logits (
torch.FloatTensor形狀為(batch_size, pixel_patch_length, image_patch_size ** 3 * pixel_num_channels))：畫素重建 logits。 - audio_logits (
torch.FloatTensor形狀為(batch_size, audio_patch_length, image_patch_size[0] * image_patch_size[1]))：音訊重建 logits。 - hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，一個用於每層輸出），形狀為(batch_size, sequence_length, hidden_size)。模型每層的隱藏狀態以及初始嵌入輸出。 - attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
TvltForPreTraining 的 forward 方法，重寫了 __call__ 特殊方法。
儘管 forward pass 的配方需要在此函式中定義，但在此之後應該呼叫 Module 例項，而不是直接呼叫此函式，因為前者負責執行預處理和後處理步驟，而後者則會默默地忽略它們。
示例
>>> from transformers import TvltProcessor, TvltForPreTraining
>>> import numpy as np
>>> import torch
>>> num_frames = 8
>>> images = list(np.random.randn(num_frames, 3, 224, 224))
>>> images_mixed = list(np.random.randn(num_frames, 3, 224, 224))
>>> audio = list(np.random.randn(10000))
>>> processor = TvltProcessor.from_pretrained("ZinengTang/tvlt-base")
>>> model = TvltForPreTraining.from_pretrained("ZinengTang/tvlt-base")
>>> input_dict = processor(
... images, audio, images_mixed, sampling_rate=44100, mask_pixel=True, mask_audio=True, return_tensors="pt"
... )
>>> outputs = model(**input_dict)
>>> loss = outputs.lossTvltForAudioVisualClassification
class transformers.TvltForAudioVisualClassification
< source >( config )
引數
- config (TvltConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。
Tvlt 模型 Transformer，頂部帶分類器頭（[CLS] 標記最終隱藏狀態頂部的 MLP），用於視聽分類任務，例如 CMU-MOSEI 情感分析和音訊到影片檢索。
此模型是 PyTorch torch.nn.Module 的子類。將其作為常規 PyTorch Module 使用，並參考 PyTorch 文件中所有與通用用法和行為相關的事項。
轉發
< source >( pixel_values: FloatTensor audio_values: FloatTensor pixel_mask: typing.Optional[torch.FloatTensor] = None audio_mask: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None labels: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.FloatTensor形狀為(batch_size, num_frames, num_channels, height, width)) — 畫素值。畫素值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - audio_values (
torch.FloatTensor形狀為(batch_size, num_channels, height, width)) — 音訊值。音訊值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_mask (
torch.FloatTensor形狀為(batch_size, num_pixel_patches)) — 畫素掩碼。畫素掩碼可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - audio_mask (
torch.FloatTensor形狀為(batch_size, num_audio_patches)) — 音訊掩碼。音訊掩碼可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_values_mixed (
torch.FloatTensor形狀為(batch_size, num_frames, num_channels, height, width)) — 在Tvlt視覺-音訊匹配中混合正負樣本的畫素值。混合畫素值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - pixel_mask_mixed (
torch.FloatTensor形狀為(batch_size, num_channels, height, width)) — 混合畫素值的畫素掩碼。混合畫素值可以使用 TvltProcessor 獲取。詳情請參閱 TvltProcessor.call()。 - mask_pixel (
bool, 可選) — 是否對MAE任務的畫素進行掩碼。僅在 TvltForPreTraining 中設定為 True。 - mask_audio (
bool, 可選) — 是否對MAE任務的音訊進行掩碼。僅在 TvltForPreTraining 中設定為 True。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - labels (
torch.LongTensor形狀為(batch_size, num_labels), 可選) — 用於計算視聽損失的標籤。索引應在[0, ..., num_classes-1]之間，其中num_classes指視聽任務中的類別數量。
返回
transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.SequenceClassifierOutput 或 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含根據配置（TvltConfig）和輸入而定的各種元素。
-
loss (形狀為
(1,)的torch.FloatTensor，可選，當提供labels時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。 -
logits (形狀為
(batch_size, config.num_labels)的torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+一個用於每層輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
TvltForAudioVisualClassification 的 forward 方法，重寫了 __call__ 特殊方法。
儘管 forward pass 的配方需要在此函式中定義，但在此之後應該呼叫 Module 例項，而不是直接呼叫此函式，因為前者負責執行預處理和後處理步驟，而後者則會默默地忽略它們。
示例
>>> from transformers import TvltProcessor, TvltForAudioVisualClassification
>>> import numpy as np
>>> import torch
>>> num_frames = 8
>>> images = list(np.random.randn(num_frames, 3, 224, 224))
>>> audio = list(np.random.randn(10000))
>>> processor = TvltProcessor.from_pretrained("ZinengTang/tvlt-base")
>>> model = TvltForAudioVisualClassification.from_pretrained("ZinengTang/tvlt-base")
>>> input_dict = processor(images, audio, sampling_rate=44100, return_tensors="pt")
>>> outputs = model(**input_dict)
>>> loss = outputs.loss