Transformers 文件
UMT5
並獲得增強的文件體驗
開始使用
UMT5
概述
UMT5 模型由 Hyung Won Chung、Xavier Garcia、Adam Roberts、Yi Tay、Orhan Firat、Sharan Narang 和 Noah Constant 在 UniMax: Fairer and More Effective Language Sampling for Large-Scale Multilingual Pretraining 中提出。
論文摘要如下：
預訓練多語言大型語言模型通常使用啟發式基於溫度的取樣來平衡不同語言。然而，以前的工作尚未系統地評估不同預訓練語言分佈在不同模型規模下的有效性。在本文中，我們提出了一種新的取樣方法，UniMax，它透過明確限制每種語言語料庫的重複次數，在確保更均勻覆蓋頭部語言的同時，減輕了對尾部語言的過擬合。我們針對一系列多語言基準測試，在不同模型規模下，對各種取樣策略進行了一系列廣泛的消融實驗。我們發現 UniMax 優於標準的基於溫度的取樣，並且隨著規模的增加，其優勢持續存在。作為我們的貢獻的一部分，我們釋出了：(i) 一個改進和重新整理的 mC4 多語言語料庫，包含 107 種語言的 29 萬億字元，以及 (ii) 一套使用 UniMax 取樣訓練的預訓練 umT5 模型檢查點。
Google 釋出了以下變體：
此模型由 agemagician 和 stefan-it 貢獻。原始程式碼可在此處找到。
使用技巧
- UMT5 僅在不包含任何監督訓練的 mC4 上進行預訓練。因此，與原始 T5 模型不同，此模型在使用下游任務之前必須進行微調。
- 由於 umT5 是以無監督方式預訓練的，因此在單任務微調期間使用任務字首沒有實際優勢。如果您正在進行多工微調，則應使用字首。
與 mT5 的區別？
UmT5 基於 mT5，具有非共享的相對位置偏置，該偏置是為每個層計算的。這意味著模型為每個層設定了 has_relative_bias。轉換指令碼也不同，因為該模型是以 t5x 的最新檢查點格式儲存的。
用法示例
>>> from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
>>> model = AutoModelForSeq2SeqLM.from_pretrained("google/umt5-small")
>>> tokenizer = AutoTokenizer.from_pretrained("google/umt5-small")
>>> inputs = tokenizer(
... "A <extra_id_0> walks into a bar and orders a <extra_id_1> with <extra_id_2> pinch of <extra_id_3>.",
... return_tensors="pt",
... )
>>> outputs = model.generate(**inputs)
>>> print(tokenizer.batch_decode(outputs))
['<pad><extra_id_0>nyone who<extra_id_1> drink<extra_id_2> a<extra_id_3> alcohol<extra_id_4> A<extra_id_5> A. This<extra_id_6> I<extra_id_7><extra_id_52><extra_id_53></s>']請參閱 T5 的文件頁面，瞭解更多技巧、程式碼示例和筆記本。
UMT5Config
類 transformers.UMT5Config
< 來源 >( vocab_size = 250112 d_model = 512 d_kv = 64 d_ff = 1024 num_layers = 8 num_decoder_layers = None num_heads = 6 relative_attention_num_buckets = 32 relative_attention_max_distance = 128 dropout_rate = 0.1 layer_norm_epsilon = 1e-06 initializer_factor = 1.0 feed_forward_proj = 'gated-gelu' is_encoder_decoder = True use_cache = True tokenizer_class = 'T5Tokenizer' tie_word_embeddings = True pad_token_id = 0 eos_token_id = 1 decoder_start_token_id = 0 classifier_dropout = 0.0 **kwargs )
引數
- vocab_size (
int, 可選, 預設為 250112) — UMT5 模型的詞彙表大小。定義了呼叫 UMT5Model 或TFUMT5Model時傳入的inputs_ids可以表示的不同 token 數量。 - d_model (
int, 可選, 預設為 512) — 編碼器層和池化層的大小。 - d_kv (
int, 可選, 預設為 64) — 每個注意力頭的鍵、查詢、值投影的大小。d_kv必須等於d_model // num_heads。 - d_ff (
int, 可選, 預設為 1024) — 每個UMT5Block中間前饋層的大小。 - num_layers (
int, 可選, 預設為 8) — Transformer 編碼器中的隱藏層數量。 - num_decoder_layers (
int, 可選) — Transformer 解碼器中的隱藏層數量。如果未設定，將使用與num_layers相同的值。 - num_heads (
int, 可選, 預設為 6) — Transformer 編碼器中每個注意力層的注意力頭數量。 - relative_attention_num_buckets (
int, 可選, 預設為 32) — 用於每個注意力層的桶的數量。 - relative_attention_max_distance (
int, 可選, 預設為 128) — 用於桶分離的更長序列的最大距離。 - dropout_rate (
float, 可選, 預設為 0.1) — 所有 dropout 層的比率。 - classifier_dropout (
float, 可選, 預設為 0.0) — 分類器的 dropout 比率。 - layer_norm_eps (
float, 可選, 預設為 1e-6) — 層歸一化層使用的 epsilon。 - initializer_factor (
float, 可選, 預設為 1) — 初始化所有權重矩陣的因子（應保持為 1，內部用於初始化測試）。 - feed_forward_proj (
string, 可選, 預設為"gated-gelu") — 要使用的前饋層型別。應為"relu"或"gated-gelu"之一。 - use_cache (
bool, 可選, 預設為True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。
這是儲存 UMT5Model 配置的配置類。它用於根據指定引數例項化 UMT5 模型，定義模型架構。使用預設值例項化配置將生成與 UMT5 google/umt5-small 架構相似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。
UMT5Model
類 transformers.UMT5Model
< 來源 >( config )
引數
- config (UMT5Model) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不載入與模型關聯的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。
UMT5 裸模型，輸出原始隱藏狀態，頂部沒有任何特定頭部。
此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用使用和行為相關的事項。
forward
< 來源 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None decoder_head_mask: typing.Optional[torch.FloatTensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None past_key_values: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None inputs_embeds: typing.Optional[torch.Tensor] = None decoder_inputs_embeds: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列 token 的索引。UMT5 是一個帶有相對位置嵌入的模型，因此您應該能夠在輸入兩側都填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解如何為預訓練準備
input_ids，請參閱 UMT5 訓練。 - attention_mask (
torch.FloatTensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值選自[0, 1]：- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列 token 的索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
UMT5 使用
pad_token_id作為decoder_input_ids生成的起始 token。如果使用past_key_values，可以選擇只輸入最後一個decoder_input_ids（那些沒有將過去的鍵值狀態傳遞給此模型的 token），形狀為(batch_size, 1)，而不是所有input_ids，形狀為(batch_size, sequence_length)。要了解如何為預訓練準備
decoder_input_ids，請參閱 UMT5 訓練。 - decoder_attention_mask (
torch.BoolTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略decoder_input_ids中填充 token 的張量。預設情況下也會使用因果掩碼。 - head_mask (
torch.FloatTensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值選自[0, 1]：- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
- decoder_head_mask (
torch.FloatTensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使解碼器中自注意力模組的選定頭無效的掩碼。掩碼值選自[0, 1]：- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
- cross_attn_head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使解碼器中交叉注意力模組的選定頭無效的掩碼。掩碼值選自[0, 1]：- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
- encoder_outputs (
tuple[tuple[torch.FloatTensor]]，可選) — 元組由 (last_hidden_state，可選：hidden_states，可選：attentions) 組成，其中last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。在解碼器的交叉注意力中會用到。 - past_key_values (
tuple[tuple[torch.FloatTensor]], 可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常由模型在解碼的先前階段返回的past_key_values組成，當use_cache=True或config.use_cache=True時。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為傳統快取格式。
模型將輸出與作為輸入提供的快取格式相同的快取格式。如果未傳遞
past_key_values，將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後一個input_ids（那些沒有將過去的鍵值狀態傳遞給此模型的 token），形狀為(batch_size, 1)，而不是所有input_ids，形狀為(batch_size, sequence_length)。 - inputs_embeds (
torch.Tensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您希望對如何將input_ids索引轉換為相關向量具有比模型內部嵌入查詢矩陣更多的控制權，則此功能很有用。 - decoder_inputs_embeds (
torch.Tensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用past_key_values，可以選擇只輸入最後一個decoder_inputs_embeds（參見past_key_values）。如果您希望對如何將decoder_input_ids索引轉換為相關向量具有比模型內部嵌入查詢矩陣更多的控制權，則此功能很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds將取inputs_embeds的值。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參見返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參見返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 描述輸入序列 token 在序列中位置的索引。與position_ids相反，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqModelOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置 (UMT5Config) 和輸入的不同元素。
-
last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
EncoderDecoderCache, 可選，當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
UMT5Model 的 forward 方法，重寫了 __call__ 特殊方法。
雖然前向傳遞的配方需要在此函式中定義，但之後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, UMT5Model
>>> tokenizer = AutoTokenizer.from_pretrained("google/umt5-small")
>>> model = UMT5Model.from_pretrained("google/umt5-small")
>>> input_ids = tokenizer(
... "Studies have been shown that owning a dog is good for you", return_tensors="pt"
... ).input_ids # Batch size 1
>>> decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids # Batch size 1
>>> # preprocess: Prepend decoder_input_ids with start token which is pad token for UMT5Model.
>>> # This is not needed for torch's UMT5ForConditionalGeneration as it does this internally using labels arg.
>>> decoder_input_ids = model._shift_right(decoder_input_ids)
>>> # forward pass
>>> outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
>>> last_hidden_states = outputs.last_hidden_stateUMT5ForConditionalGeneration
class transformers.UMT5ForConditionalGeneration
< 原始檔 >( config )
引數
- config (UMT5ForConditionalGeneration) — 模型的配置類，包含模型的所有引數。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請查閱 from_pretrained() 方法來載入模型權重。
頂部帶有 語言建模 頭部的 UMT5 模型。
此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用使用和行為相關的事項。
forward
< 原始檔 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None decoder_head_mask: typing.Optional[torch.FloatTensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.Tensor]]] = None past_key_values: typing.Optional[tuple[tuple[torch.Tensor]]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列 token 的索引。UMT5 是一個帶有相對位置嵌入的模型，因此您應該能夠在輸入兩側都填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解如何為預訓練準備
input_ids，請參閱 UMT5 訓練。 - attention_mask (
torch.FloatTensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值選自[0, 1]：- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列 token 的索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
UMT5 使用
pad_token_id作為decoder_input_ids生成的起始 token。如果使用past_key_values，可以選擇只輸入最後一個decoder_input_ids（那些沒有將過去的鍵值狀態傳遞給此模型的 token），形狀為(batch_size, 1)，而不是所有input_ids，形狀為(batch_size, sequence_length)。要了解如何為預訓練準備
decoder_input_ids，請參閱 UMT5 訓練。 - decoder_attention_mask (
torch.BoolTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略decoder_input_ids中填充 token 的張量。預設情況下也會使用因果掩碼。 - head_mask (
torch.FloatTensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值選自[0, 1]：- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
- decoder_head_mask (
torch.FloatTensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使解碼器中自注意力模組的選定頭無效的掩碼。掩碼值選自[0, 1]：- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
- cross_attn_head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使解碼器中交叉注意力模組的選定頭無效的掩碼。掩碼值選自[0, 1]：- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
- encoder_outputs (
tuple[tuple[torch.Tensor]], 可選) — 元組由 (last_hidden_state, 可選:hidden_states, 可選:attentions) 組成，其中last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。在解碼器的交叉注意力中會用到。 - past_key_values (
tuple[tuple[torch.Tensor]], 可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常由模型在解碼的先前階段返回的past_key_values組成，當use_cache=True或config.use_cache=True時。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為傳統快取格式。
模型將輸出與作為輸入提供的快取格式相同的快取格式。如果未傳遞
past_key_values，將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後一個input_ids（那些沒有將過去的鍵值狀態傳遞給此模型的 token），形狀為(batch_size, 1)，而不是所有input_ids，形狀為(batch_size, sequence_length)。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您希望對如何將input_ids索引轉換為相關向量具有比模型內部嵌入查詢矩陣更多的控制權，則此功能很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用past_key_values，可以選擇只輸入最後一個decoder_inputs_embeds（參見past_key_values）。如果您希望對如何將decoder_input_ids索引轉換為相關向量具有比模型內部嵌入查詢矩陣更多的控制權，則此功能很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds將取inputs_embeds的值。 - labels (
torch.LongTensor，形狀為(batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在[-100, 0, ..., config.vocab_size - 1]範圍內。所有設定為-100的標籤都會被忽略（掩蓋），損失僅針對[0, ..., config.vocab_size]範圍內的標籤計算。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參見返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參見返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 描述輸入序列 token 在序列中位置的索引。與position_ids相反，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqLMOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置 (UMT5Config) 和輸入的不同元素。
-
loss (
torch.FloatTensor，形狀為(1,)，可選，當提供labels時返回) — 語言建模損失。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
EncoderDecoderCache, 可選，當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
UMT5ForConditionalGeneration 的 forward 方法，重寫了 __call__ 特殊方法。
雖然前向傳遞的配方需要在此函式中定義，但之後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, UMT5ForConditionalGeneration
>>> tokenizer = AutoTokenizer.from_pretrained("google/umt5-small")
>>> model = UMT5ForConditionalGeneration.from_pretrained("google/umt5-small")
>>> # training
>>> input_ids = tokenizer("The <extra_id_0> walks in <extra_id_1> park", return_tensors="pt").input_ids
>>> labels = tokenizer("<extra_id_0> cute dog <extra_id_1> the <extra_id_2>", return_tensors="pt").input_ids
>>> outputs = model(input_ids=input_ids, labels=labels)
>>> loss = outputs.loss
>>> logits = outputs.logits
>>> # inference
>>> input_ids = tokenizer("Studies have shown that <extra_id_0> good for you", return_tensors="pt").input_ids
>>> outputs = model.generate(input_ids)
>>> tokenizer.decode(outputs[0], skip_special_tokens=True)UMT5EncoderModel
class transformers.UMT5EncoderModel
< 原始檔 >( config )
引數
- config (UMT5EncoderModel) — 模型的配置類，包含模型的所有引數。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請查閱 from_pretrained() 方法來載入模型權重。
UMT5 裸模型，輸出原始隱藏狀態，頂部沒有任何特定頭部。
此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用使用和行為相關的事項。
forward
< 原始檔 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列 token 的索引。UMT5 是一個帶有相對位置嵌入的模型，因此您應該能夠在輸入兩側都填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解如何為預訓練準備
input_ids，請參閱 UMT5 訓練。 - attention_mask (
torch.FloatTensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值選自[0, 1]：- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
- head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- inputs_embeds (形狀為
(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果你想對如何將input_ids索引轉換為相關向量有比模型內部嵌入查詢矩陣更多的控制，這將很有用。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回 ModelOutput 而不是普通的元組。
返回
transformers.modeling_outputs.BaseModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.BaseModelOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置（UMT5Config）和輸入的不同元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則包括嵌入層的輸出，加上每個層的輸出）。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每個層一個）。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
UMT5EncoderModel 的 forward 方法，重寫了 __call__ 特殊方法。
雖然前向傳遞的配方需要在此函式中定義，但之後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, UMT5EncoderModel
>>> tokenizer = AutoTokenizer.from_pretrained("google/umt5-small")
>>> model = UMT5EncoderModel.from_pretrained("google/umt5-small")
>>> input_ids = tokenizer(
... "Studies have been shown that owning a dog is good for you", return_tensors="pt"
... ).input_ids # Batch size 1
>>> outputs = model(input_ids=input_ids)
>>> last_hidden_states = outputs.last_hidden_stateUMT5ForSequenceClassification
class transformers.UMT5ForSequenceClassification
< source 原始碼 >( config: UMT5Config )
引數
- config (UMT5Config) — 模型配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
UMT5 模型，其上帶有序列分類/頭（在池化輸出之上有一個線性層），例如用於 GLUE 任務。
此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用使用和行為相關的事項。
forward
< source 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor) — 詞彙表中輸入序列 token 的索引。UMT5 是一個帶有相對位置嵌入的模型，因此你應該能夠在輸入的左右兩側進行填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解如何為預訓練準備
input_ids，請檢視 UMT5 訓練。 - attention_mask (形狀為
(batch_size, sequence_length)的torch.Tensor，可選) — 避免對填充 token 索引執行注意力的掩碼。掩碼值在[0, 1]中選擇：- 1 表示 token 未被掩碼，
- 0 表示 token 被掩碼。
- decoder_input_ids (形狀為
(batch_size, target_sequence_length)的torch.LongTensor，可選) — 詞彙表中解碼器輸入序列 token 的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
UMT5 使用
pad_token_id作為decoder_input_ids生成的起始 token。如果使用past_key_values，可選地只需輸入最後的decoder_input_ids（參閱past_key_values）。要了解如何為預訓練準備
decoder_input_ids，請檢視 UMT5 訓練。 - decoder_attention_mask (形狀為
(batch_size, target_sequence_length)的torch.BoolTensor，可選) — 預設行為：生成一個忽略decoder_input_ids中填充 token 的張量。預設情況下也將使用因果掩碼。 - head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.Tensor，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- decoder_head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可選) — 用於使解碼器中自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- cross_attn_head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.Tensor，可選) — 用於使解碼器中交叉注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- encoder_outputs (
list[torch.FloatTensor]，可選) — 元組包含（last_hidden_state，可選：hidden_states，可選：attentions）形狀為(batch_size, sequence_length, hidden_size)的last_hidden_state，是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。 - inputs_embeds (形狀為
(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果你想對如何將input_ids索引轉換為相關向量有比模型內部嵌入查詢矩陣更多的控制，這將很有用。 - decoder_inputs_embeds (形狀為
(batch_size, target_sequence_length, hidden_size)的torch.FloatTensor，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用past_key_values，可選地只需輸入最後的decoder_inputs_embeds（參閱past_key_values）。如果你想對如何將decoder_input_ids索引轉換為相關向量有比模型內部嵌入查詢矩陣更多的控制，這將很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds將採用inputs_embeds的值。 - labels (形狀為
(batch_size,)的torch.LongTensor，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在[0, ..., config.num_labels - 1]範圍內。如果config.num_labels > 1，則計算分類損失（交叉熵）。 - use_cache (
bool，可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（參閱past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回 ModelOutput 而不是普通的元組。
返回
transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置（UMT5Config）和輸入的不同元素。
-
loss (形狀為
(1,)的torch.FloatTensor，可選，當提供label時返回) — 分類 (如果 config.num_labels==1 則為迴歸) 損失。 -
logits (形狀為
(batch_size, config.num_labels)的torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。 -
past_key_values (
EncoderDecoderCache, 可選，當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
UMT5ForSequenceClassification 的 forward 方法，重寫了 __call__ 特殊方法。
雖然前向傳遞的配方需要在此函式中定義，但之後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
單標籤分類示例
>>> import torch
>>> from transformers import AutoTokenizer, UMT5ForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("google/umt5-small")
>>> model = UMT5ForSequenceClassification.from_pretrained("google/umt5-small")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = UMT5ForSequenceClassification.from_pretrained("google/umt5-small", num_labels=num_labels)
>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...多標籤分類示例
>>> import torch
>>> from transformers import AutoTokenizer, UMT5ForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("google/umt5-small")
>>> model = UMT5ForSequenceClassification.from_pretrained("google/umt5-small", problem_type="multi_label_classification")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = UMT5ForSequenceClassification.from_pretrained(
... "google/umt5-small", num_labels=num_labels, problem_type="multi_label_classification"
... )
>>> labels = torch.sum(
... torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).lossUMT5ForTokenClassification
class transformers.UMT5ForTokenClassification
< source 原始碼 >( config: UMT5Config )
引數
- config (UMT5Config) — 模型配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
Umt5 transformer，其上帶有 token 分類頭（在隱藏狀態輸出之上有一個線性層），例如用於命名實體識別 (NER) 任務。
此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用使用和行為相關的事項。
forward
< source 原始碼 >( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor) — 詞彙表中輸入序列 token 的索引。UMT5 是一個帶有相對位置嵌入的模型，因此你應該能夠在輸入的左右兩側進行填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解如何為預訓練準備
input_ids，請檢視 UMT5 訓練。 - attention_mask (形狀為
(batch_size, sequence_length)的torch.Tensor，可選) — 避免對填充 token 索引執行注意力的掩碼。掩碼值在[0, 1]中選擇：- 1 表示 token 未被掩碼，
- 0 表示 token 被掩碼。
- head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.Tensor，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- inputs_embeds (形狀為
(batch_size, sequence_length, hidden_size)的torch.Tensor，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果你想對如何將input_ids索引轉換為相關向量有比模型內部嵌入查詢矩陣更多的控制，這將很有用。 - labels (形狀為
(batch_size, sequence_length)的torch.LongTensor，可選) — 用於計算 token 分類損失的標籤。索引應在[0, ..., config.num_labels - 1]範圍內。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回 ModelOutput 而不是普通的元組。
返回
transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.TokenClassifierOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置（UMT5Config）和輸入的不同元素。
-
loss (形狀為
(1,)的torch.FloatTensor，可選，當提供labels時返回) — 分類損失。 -
logits (形狀為
(batch_size, sequence_length, config.num_labels)的torch.FloatTensor) — 分類分數（SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則包括嵌入層的輸出，加上每個層的輸出）。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每個層一個）。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
UMT5ForTokenClassification 的 forward 方法，重寫了 __call__ 特殊方法。
雖然前向傳遞的配方需要在此函式中定義，但之後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, UMT5ForTokenClassification
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("google/umt5-small")
>>> model = UMT5ForTokenClassification.from_pretrained("google/umt5-small")
>>> inputs = tokenizer(
... "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_token_class_ids = logits.argmax(-1)
>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...
>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...UMT5ForQuestionAnswering
class transformers.UMT5ForQuestionAnswering
< source 原始碼 >( config )
引數
- config (UMT5ForQuestionAnswering) — 模型配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
Umt5 transformer，其上帶有一個用於抽取式問答任務（如 SQuAD）的跨度分類頭（在隱藏狀態輸出之上有一個線性層，用於計算 span start logits 和 span end logits）。
此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用使用和行為相關的事項。
forward
< source 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None decoder_head_mask: typing.Optional[torch.FloatTensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.Tensor]]] = None start_positions: typing.Optional[torch.LongTensor] = None end_positions: typing.Optional[torch.LongTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqQuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor) — 詞彙表中輸入序列 token 的索引。UMT5 是一個帶有相對位置嵌入的模型，因此你應該能夠在輸入的左右兩側進行填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解如何為預訓練準備
input_ids，請檢視 UMT5 訓練。 - attention_mask (形狀為
(batch_size, sequence_length)的torch.FloatTensor，可選) — 避免對填充 token 索引執行注意力的掩碼。掩碼值在[0, 1]中選擇：- 1 表示 token 未被掩碼，
- 0 表示 token 被掩碼。
- decoder_input_ids (形狀為
(batch_size, target_sequence_length)的torch.LongTensor，可選) — 詞彙表中解碼器輸入序列 token 的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
UMT5 使用
pad_token_id作為decoder_input_ids生成的起始 token。如果使用past_key_values，可選地只需輸入最後的decoder_input_ids（參閱past_key_values）。要了解如何為預訓練準備
decoder_input_ids，請檢視 UMT5 訓練。 - decoder_attention_mask (形狀為
(batch_size, target_sequence_length)的torch.BoolTensor，可選) — 預設行為：生成一個忽略decoder_input_ids中填充 token 的張量。預設情況下也將使用因果掩碼。 - head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- decoder_head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可選) — 用於使解碼器中自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- cross_attn_head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.Tensor，可選) — 用於使解碼器中交叉注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- encoder_outputs (
tuple[tuple[torch.Tensor]], 可選) — 元組，包含（last_hidden_state，可選：hidden_states，可選：attentions）形狀為(batch_size, sequence_length, hidden_size)的last_hidden_state，（可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。 - start_positions (
torch.LongTensor，形狀為(batch_size,)，可選) — 用於計算標記跨度開始位置（索引）的標記分類損失的標籤。位置被限制在序列的長度（sequence_length）內。序列外的位置不計入損失計算。 - end_positions (
torch.LongTensor，形狀為(batch_size,)，可選) — 用於計算標記跨度結束位置（索引）的標記分類損失的標籤。位置被限制在序列的長度（sequence_length）內。序列外的位置不計入損失計算。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳入嵌入表示，而不是傳入input_ids。如果你想對如何將input_ids索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制，這很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳入嵌入表示，而不是傳入decoder_input_ids。如果使用past_key_values，可選地只需要輸入最後一個decoder_inputs_embeds（參見past_key_values）。如果你想對如何將decoder_input_ids索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制，這很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds取inputs_embeds的值。 - use_cache (
bool, 可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參見返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參見返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回ModelOutput而不是普通元組。
返回
transformers.modeling_outputs.Seq2SeqQuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)
一個transformers.modeling_outputs.Seq2SeqQuestionAnsweringModelOutput或一個torch.FloatTensor元組（如果傳入return_dict=False或config.return_dict=False時），包含根據配置（UMT5Config）和輸入的不同元素。
-
loss (
torch.FloatTensorof shape(1,), 可選, 當提供labels時返回) — 總範圍提取損失是起始位置和結束位置的交叉熵之和。 -
start_logits (
torch.FloatTensorof shape(batch_size, sequence_length)) — 範圍起始分數（SoftMax 之前）。 -
end_logits (
torch.FloatTensorof shape(batch_size, sequence_length)) — 範圍結束分數（SoftMax 之前）。 -
past_key_values (
EncoderDecoderCache, 可選，當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
UMT5ForQuestionAnswering的forward方法，重寫了__call__特殊方法。
雖然前向傳遞的配方需要在此函式中定義，但之後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, UMT5ForQuestionAnswering
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("google/umt5-small")
>>> model = UMT5ForQuestionAnswering.from_pretrained("google/umt5-small")
>>> question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"
>>> inputs = tokenizer(question, text, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()
>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> tokenizer.decode(predict_answer_tokens, skip_special_tokens=True)
...
>>> # target is "nice puppet"
>>> target_start_index = torch.tensor([14])
>>> target_end_index = torch.tensor([15])
>>> outputs = model(**inputs, start_positions=target_start_index, end_positions=target_end_index)
>>> loss = outputs.loss
>>> round(loss.item(), 2)
...