Transformers 文件
MVP
並獲得增強的文件體驗
開始使用
MVP
概述
MVP 模型由 Tianyi Tang、Junyi Li、Wayne Xin Zhao 和 Ji-Rong Wen 在論文《MVP: Multi-task Supervised Pre-training for Natural Language Generation》中提出。
摘要內容如下：
- MVP 遵循標準的 Transformer 編碼器-解碼器架構。
- MVP 使用帶標籤的資料集進行有監督的預訓練。
- MVP 還具有任務特定的軟提示（soft prompts），以激發模型執行特定任務的能力。
- MVP 專為自然語言生成而設計，可以適應廣泛的生成任務，包括但不限於摘要、資料到文字生成、開放式對話系統、故事生成、問答、問題生成、任務導向型對話系統、常識生成、釋義生成、文字風格轉換和文字簡化。我們的模型也可以適應自然語言理解任務，如序列分類和（抽取式）問答。
該模型由 Tianyi Tang 貢獻。詳細資訊和說明可以在這裡找到。
使用技巧
- 我們在此釋出了一系列模型，包括 MVP、帶任務特定提示的 MVP 以及多工預訓練變體。
- 如果你想使用一個不帶提示的模型（標準的 Transformer），可以透過
MvpForConditionalGeneration.from_pretrained('RUCAIBox/mvp')載入。 - 如果你想使用一個帶任務特定提示的模型，例如摘要任務，可以透過
MvpForConditionalGeneration.from_pretrained('RUCAIBox/mvp-summarization')載入。 - 我們的模型支援遵循 Prefix-tuning 的輕量級提示調整，使用
set_lightweight_tuning()方法。
使用示例
對於摘要任務，這是一個使用 MVP 和帶摘要特定提示的 MVP 的示例。
>>> from transformers import MvpTokenizer, MvpForConditionalGeneration
>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")
>>> model_with_prompt = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp-summarization")
>>> inputs = tokenizer(
... "Summarize: You may want to stick it to your boss and leave your job, but don't do it if these are your reasons.",
... return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Why You Shouldn't Quit Your Job"]
>>> generated_ids = model_with_prompt.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
["Don't do it if these are your reasons"]對於資料到文字生成任務，這是一個使用 MVP 和多工預訓練變體的示例。
>>> from transformers import MvpTokenizerFast, MvpForConditionalGeneration
>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")
>>> model_with_mtl = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mtl-data-to-text")
>>> inputs = tokenizer(
... "Describe the following data: Iron Man | instance of | Superhero [SEP] Stan Lee | creator | Iron Man",
... return_tensors="pt",
... )
>>> generated_ids = model.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Stan Lee created the character of Iron Man, a fictional superhero appearing in American comic']
>>> generated_ids = model_with_mtl.generate(**inputs)
>>> tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
['Iron Man is a fictional superhero appearing in American comic books published by Marvel Comics.']對於輕量級調整，即固定模型，僅調整提示，你可以載入帶有隨機初始化提示或任務特定提示的 MVP。我們的程式碼還支援遵循原始論文的 Prefix-tuning 與 BART。
>>> from transformers import MvpForConditionalGeneration
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp", use_prompt=True)
>>> # the number of trainable parameters (full tuning)
>>> sum(p.numel() for p in model.parameters() if p.requires_grad)
468116832
>>> # lightweight tuning with randomly initialized prompts
>>> model.set_lightweight_tuning()
>>> # the number of trainable parameters (lightweight tuning)
>>> sum(p.numel() for p in model.parameters() if p.requires_grad)
61823328
>>> # lightweight tuning with task-specific prompts
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mtl-data-to-text")
>>> model.set_lightweight_tuning()
>>> # original lightweight Prefix-tuning
>>> model = MvpForConditionalGeneration.from_pretrained("facebook/bart-large", use_prompt=True)
>>> model.set_lightweight_tuning()資源
MvpConfig
class transformers.MvpConfig
< 源 >( vocab_size = 50267 max_position_embeddings = 1024 encoder_layers = 12 encoder_ffn_dim = 4096 encoder_attention_heads = 16 decoder_layers = 12 decoder_ffn_dim = 4096 decoder_attention_heads = 16 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 activation_function = 'gelu' d_model = 1024 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 classifier_dropout = 0.0 scale_embedding = False use_cache = True pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 is_encoder_decoder = True decoder_start_token_id = 2 forced_eos_token_id = 2 use_prompt = False prompt_length = 100 prompt_mid_dim = 800 **kwargs )
引數
- vocab_size (
int, 可選, 預設為 50267) — MVP 模型的詞彙表大小。定義了在呼叫 MvpModel 時，可以透過inputs_ids表示的不同 token 的數量。 - d_model (
int, 可選, 預設為 1024) — 層和池化層的維度。 - encoder_layers (
int, 可選, 預設為 12) — 編碼器層數。 - decoder_layers (
int, 可選, 預設為 12) — 解碼器層數。 - encoder_attention_heads (
int, 可選, 預設為 16) — Transformer 編碼器中每個注意力層的注意力頭數量。 - decoder_attention_heads (
int, 可選, 預設為 16) — Transformer 解碼器中每個注意力層的注意力頭數量。 - decoder_ffn_dim (
int, 可選, 預設為 4096) — 解碼器中“中間”層（通常稱為前饋層）的維度。 - encoder_ffn_dim (
int, 可選, 預設為 4096) — 編碼器中“中間”層（通常稱為前饋層）的維度。 - activation_function (
str或function, 可選, 預設為"gelu") — 編碼器和池化層中的非線性啟用函式（函式或字串）。如果為字串，則支援"gelu"、"relu"、"silu"和"gelu_new"。 - dropout (
float, 可選, 預設為 0.1) — 嵌入層、編碼器和池化層中所有全連線層的丟棄機率。 - attention_dropout (
float, 可選, 預設為 0.0) — 注意力機率的丟棄率。 - activation_dropout (
float, 可選, 預設為 0.0) — 全連線層內啟用函式的丟棄率。 - classifier_dropout (
float, 可選, 預設為 0.0) — 分類器的丟棄率。 - max_position_embeddings (
int, 可選, 預設為 1024) — 該模型可能使用的最大序列長度。通常設定為一個較大的值以備不時之需（例如，512、1024 或 2048）。 - init_std (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。 - encoder_layerdrop (
float, 可選, 預設為 0.0) — 編碼器的 LayerDrop 機率。更多細節請參閱 [LayerDrop 論文](https://huggingface.co/papers/1909.11556)。 - decoder_layerdrop (
float, optional, defaults to 0.0) — 解碼器的 LayerDrop 機率。更多細節請參閱 [LayerDrop 論文](參見 https://huggingface.co/papers/1909.11556)。 - scale_embedding (
bool, optional, defaults toFalse) — 是否透過除以 sqrt(d_model) 來縮放詞嵌入。 - use_cache (
bool, optional, defaults toTrue) — 模型是否應返回最後的鍵/值注意力（並非所有模型都使用）。 - forced_eos_token_id (
int, optional, defaults to 2) — 當達到max_length時，強制作為最後生成詞元的詞元 ID。通常設定為eos_token_id。 - use_prompt (
bool, optional, defaults toFalse) — 是否使用提示。 - prompt_length (
int, optional, defaults to 100) — 提示的長度。 - prompt_mid_dim (
int, optional, defaults to 800) — 提示中“中間”層的維度。
這是用於儲存 MvpModel 配置的配置類。它用於根據指定的引數例項化一個 MVP 模型，定義模型架構。使用預設值例項化一個配置將產生與 MVP RUCAIBox/mvp 架構類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。更多資訊請閱讀 PretrainedConfig 的文件。
示例
>>> from transformers import MvpConfig, MvpModel
>>> # Initializing a MVP RUCAIBox/mvp style configuration
>>> configuration = MvpConfig()
>>> # Initializing a model (with random weights) from the RUCAIBox/mvp style configuration
>>> model = MvpModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configMvpTokenizer
class transformers.MvpTokenizer
< source >( vocab_file merges_file errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False **kwargs )
引數
- vocab_file (
str) — 詞彙表文件的路徑。 - merges_file (
str) — 合併檔案的路徑。 - errors (
str, optional, defaults to"replace") — 將位元組解碼為 UTF-8 時遵循的正規化。更多資訊請參見 bytes.decode。 - bos_token (
str, optional, defaults to"<s>") — 序列開始詞元，在預訓練期間使用。可用作序列分類器詞元。當使用特殊詞元構建序列時，這不是用於序列開始的詞元。使用的詞元是
cls_token。 - eos_token (
str, optional, defaults to"</s>") — 序列結束詞元。當使用特殊詞元構建序列時，這不是用於序列結束的詞元。使用的詞元是
sep_token。 - sep_token (
str, optional, defaults to"</s>") — 分隔符詞元，用於從多個序列構建一個序列，例如用於序列分類的兩個序列，或用於問答的文字和問題。它也用作使用特殊詞元構建的序列的最後一個詞元。 - cls_token (
str, optional, defaults to"<s>") — 分類器詞元，用於進行序列分類（對整個序列進行分類，而不是逐詞元分類）。當使用特殊詞元構建時，它是序列的第一個詞元。 - unk_token (
str, optional, defaults to"<unk>") — 未知詞元。不在詞彙表中的詞元無法轉換為 ID，將被設定為該詞元。 - pad_token (
str, optional, defaults to"<pad>") — 用於填充的詞元，例如當批處理不同長度的序列時使用。 - mask_token (
str, optional, defaults to"<mask>") — 用於掩蔽值的詞元。這是在使用掩蔽語言建模訓練此模型時使用的詞元。這是模型將嘗試預測的詞元。 - add_prefix_space (
bool, optional, defaults toFalse) — 是否在輸入前新增一個初始空格。這使得前導詞可以像其他詞一樣被處理。（MVP 分詞器透過前置空格來檢測詞的開頭）。
構建一個 MVP 分詞器，它與 RoBERTa 分詞器類似，使用位元組級位元組對編碼（Byte-Pair-Encoding）。
這個分詞器經過訓練，將空格視為詞元的一部分（有點像 sentencepiece），所以一個詞會
無論是否在句子開頭（無空格），編碼方式都會不同
>>> from transformers import MvpTokenizer
>>> tokenizer = MvpTokenizer.from_pretrained("RUCAIBox/mvp")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]您可以透過在例項化此分詞器時或在對某些文字呼叫它時傳遞 add_prefix_space=True 來繞過此行為，但由於模型並非以這種方式進行預訓練，這可能會導致效能下降。
當與 is_split_into_words=True 一起使用時，此分詞器會在每個詞（甚至是第一個詞）之前新增一個空格。
該分詞器繼承自 PreTrainedTokenizer，其中包含大多數主要方法。使用者應參考此超類以獲取有關這些方法的更多資訊。
build_inputs_with_special_tokens
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
透過連線和新增特殊詞元，從一個序列或一對序列為序列分類任務構建模型輸入。一個 MVP 序列具有以下格式：
- 單個序列：
<s> X </s> - 序列對：
<s> A </s></s> B </s>
將標記序列（字串）轉換為單個字串。
create_token_type_ids_from_sequences
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
從傳入的兩個序列建立一個掩碼，用於序列對分類任務。MVP 不使用詞元型別 ID，因此返回一個零列表。
get_special_tokens_mask
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]
從沒有新增特殊標記的標記列表中檢索序列ID。此方法在使用分詞器prepare_for_model方法新增特殊標記時呼叫。
MvpTokenizerFast
class transformers.MvpTokenizerFast
< source >( vocab_file = None merges_file = None tokenizer_file = None errors = 'replace' bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' add_prefix_space = False trim_offsets = True **kwargs )
引數
- vocab_file (
str) — 詞彙表文件的路徑。 - merges_file (
str) — 合併檔案的路徑。 - errors (
str, optional, defaults to"replace") — 將位元組解碼為 UTF-8 時遵循的正規化。更多資訊請參見 bytes.decode。 - bos_token (
str, optional, defaults to"<s>") — 序列開始詞元，在預訓練期間使用。可用作序列分類器詞元。當使用特殊詞元構建序列時，這不是用於序列開始的詞元。使用的詞元是
cls_token。 - eos_token (
str, optional, defaults to"</s>") — 序列結束詞元。當使用特殊詞元構建序列時，這不是用於序列結束的詞元。使用的詞元是
sep_token。 - sep_token (
str, optional, defaults to"</s>") — 分隔符詞元，用於從多個序列構建一個序列，例如用於序列分類的兩個序列，或用於問答的文字和問題。它也用作使用特殊詞元構建的序列的最後一個詞元。 - cls_token (
str, optional, defaults to"<s>") — 分類器詞元，用於進行序列分類（對整個序列進行分類，而不是逐詞元分類）。當使用特殊詞元構建時，它是序列的第一個詞元。 - unk_token (
str, optional, defaults to"<unk>") — 未知詞元。不在詞彙表中的詞元無法轉換為 ID，將被設定為該詞元。 - pad_token (
str, optional, defaults to"<pad>") — 用於填充的詞元，例如當批處理不同長度的序列時使用。 - mask_token (
str, optional, defaults to"<mask>") — 用於掩蔽值的詞元。這是在使用掩蔽語言建模訓練此模型時使用的詞元。這是模型將嘗試預測的詞元。 - add_prefix_space (
bool, optional, defaults toFalse) — 是否在輸入前新增一個初始空格。這使得前導詞可以像其他詞一樣被處理。（MVP 分詞器透過前置空格來檢測詞的開頭）。 - trim_offsets (
bool, optional, defaults toTrue) — 後處理步驟是否應修剪偏移量以避免包含空格。
構建一個“快速”MVP 分詞器（由 HuggingFace 的 tokenizers 庫支援），它源自 GPT-2 分詞器，使用位元組級位元組對編碼（Byte-Pair-Encoding）。
這個分詞器經過訓練，將空格視為詞元的一部分（有點像 sentencepiece），所以一個詞會
無論是否在句子開頭（無空格），編碼方式都會不同
>>> from transformers import MvpTokenizerFast
>>> tokenizer = MvpTokenizerFast.from_pretrained("RUCAIBox/mvp")
>>> tokenizer("Hello world")["input_ids"]
[0, 31414, 232, 2]
>>> tokenizer(" Hello world")["input_ids"]
[0, 20920, 232, 2]您可以透過在例項化此分詞器時或在對某些文字呼叫它時傳遞 add_prefix_space=True 來繞過此行為，但由於模型並非以這種方式進行預訓練，這可能會導致效能下降。
當與 is_split_into_words=True 一起使用時，此分詞器需要以 add_prefix_space=True 進行例項化。
該分詞器繼承自 PreTrainedTokenizerFast，其中包含大多數主要方法。使用者應參考此超類以獲取有關這些方法的更多資訊。
create_token_type_ids_from_sequences
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
從傳入的兩個序列建立一個掩碼，用於序列對分類任務。MVP 不使用詞元型別 ID，因此返回一個零列表。
MvpModel
class transformers.MvpModel
< source >( config: MvpConfig )
引數
- config (MvpConfig) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，僅載入配置。請檢視 from_pretrained() 方法來載入模型權重。
基礎的 Mvp 模型，輸出原始的隱藏狀態，頂部沒有任何特定的頭部。
該模型繼承自 PreTrainedModel。請查閱超類文件，瞭解該庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[list[torch.FloatTensor]] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqModelOutput or tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 輸入序列詞元在詞彙表中的索引。預設情況下，填充將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensorof shape(batch_size, sequence_length), optional) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示未被掩碼的詞元，
- 0 表示被掩碼的詞元。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列詞元的索引。索引可以使用 AutoTokenizer 獲取。更多詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
Mvp 使用
eos_token_id作為生成decoder_input_ids的起始詞元。如果使用了past_key_values，則可以選擇只輸入最後一個decoder_input_ids(參見past_key_values)。對於翻譯和摘要訓練，應提供
decoder_input_ids。如果沒有提供decoder_input_ids，模型將根據論文中的方法，透過將input_ids右移一位來建立該張量，以進行去噪預訓練。 - decoder_attention_mask (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為是生成一個忽略decoder_input_ids中填充詞元的張量。預設情況下也會使用因果掩碼。如果你想更改填充行為，應閱讀
modeling_mvp._prepare_decoder_attention_mask並根據你的需求進行修改。有關預設策略的更多資訊，請參見論文中的圖1。 - head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效化的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭未被掩碼，
- 0 表示頭已被掩碼。
- decoder_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中注意力模組中選定的頭無效化的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭未被掩碼，
- 0 表示頭已被掩碼。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中交叉注意力模組中選定的頭無效化的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭未被掩碼，
- 0 表示頭已被掩碼。
- encoder_outputs (
list[torch.FloatTensor]，可選) — 元組，包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的一系列隱藏狀態。用於解碼器的交叉注意力機制。 - past_key_values (
list[torch.FloatTensor]，可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常是模型在解碼的上一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 一個長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含兩個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為舊版快取格式。
模型將輸出與其輸入相同的快取格式。如果沒有傳遞
past_key_values，將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後一個input_ids（那些沒有提供過去鍵值狀態的 ID），其形狀為(batch_size, 1)，而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果你想比模型內部的嵌入查詢矩陣有更多控制權，來將input_ids索引轉換為相關聯的向量，這會很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用了past_key_values，則可以選擇只輸入最後一個decoder_inputs_embeds(參見past_key_values)。如果你想比模型內部的嵌入查詢矩陣有更多控制權，來將decoder_input_ids索引轉換為相關聯的向量，這會很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，decoder_inputs_embeds將取inputs_embeds的值。 - use_cache (
bool，可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼 (參見past_key_values)。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_outputs.Seq2SeqModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqModelOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（MvpConfig）和輸入。
-
last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
EncoderDecoderCache，可選，在傳遞use_cache=True或當config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。更多詳情請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則第一個是嵌入層的輸出，+ 之後是每一層的輸出）。解碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則第一個是嵌入層的輸出，+ 之後是每一層的輸出）。編碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
MvpModel 的 forward 方法重寫了 __call__ 特殊方法。
儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 Module 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
MvpForConditionalGeneration
class transformers.MvpForConditionalGeneration
< source >( config: MvpConfig )
引數
- config (MvpConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
帶有語言模型頭的 MVP 模型。可用於各種文字生成任務。
該模型繼承自 PreTrainedModel。請查閱超類文件，瞭解該庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[list[torch.FloatTensor]] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列詞元的索引。預設情況下將忽略填充。索引可以使用 AutoTokenizer 獲取。更多詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 避免對填充詞元索引執行注意力的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示詞元未被掩碼，
- 0 表示詞元已被掩碼。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列詞元的索引。索引可以使用 AutoTokenizer 獲取。更多詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
Mvp 使用
eos_token_id作為生成decoder_input_ids的起始詞元。如果使用了past_key_values，則可以選擇只輸入最後一個decoder_input_ids(參見past_key_values)。對於翻譯和摘要訓練，應提供
decoder_input_ids。如果沒有提供decoder_input_ids，模型將根據論文中的方法，透過將input_ids右移一位來建立該張量，以進行去噪預訓練。 - decoder_attention_mask (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為是生成一個忽略decoder_input_ids中填充詞元的張量。預設情況下也會使用因果掩碼。如果你想更改填充行為，應閱讀
modeling_mvp._prepare_decoder_attention_mask並根據你的需求進行修改。有關預設策略的更多資訊，請參見論文中的圖1。 - head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效化的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭未被掩碼，
- 0 表示頭已被掩碼。
- decoder_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中注意力模組中選定的頭無效化的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭未被掩碼，
- 0 表示頭已被掩碼。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中交叉注意力模組中選定的頭無效化的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭未被掩碼，
- 0 表示頭已被掩碼。
- encoder_outputs (
list[torch.FloatTensor]，可選) — 元組，包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的一系列隱藏狀態。用於解碼器的交叉注意力機制。 - past_key_values (
list[torch.FloatTensor]，可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常是模型在解碼的上一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 一個長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含兩個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為舊版快取格式。
模型將輸出與其輸入相同的快取格式。如果沒有傳遞
past_key_values，將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後一個input_ids（那些沒有提供過去鍵值狀態的 ID），其形狀為(batch_size, 1)，而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果你想比模型內部的嵌入查詢矩陣有更多控制權，來將input_ids索引轉換為相關聯的向量，這會很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用了past_key_values，則可以選擇只輸入最後一個decoder_inputs_embeds(參見past_key_values)。如果你想比模型內部的嵌入查詢矩陣有更多控制權，來將decoder_input_ids索引轉換為相關聯的向量，這會很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，decoder_inputs_embeds將取inputs_embeds的值。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 (參見input_ids文件字串) 中。索引設定為-100的詞元將被忽略 (掩碼)，損失僅對標籤在[0, ..., config.vocab_size]中的詞元計算。 - use_cache (
bool，可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼 (參見past_key_values)。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqLMOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（MvpConfig）和輸入。
-
loss (
torch.FloatTensor，形狀為(1,)，可選，當提供labels時返回) — 語言建模損失。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
EncoderDecoderCache，可選，在傳遞use_cache=True或當config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。更多詳情請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則第一個是嵌入層的輸出，+ 之後是每一層的輸出）。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則第一個是嵌入層的輸出，+ 之後是每一層的輸出）。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
MvpForConditionalGeneration 的 forward 方法重寫了 __call__ 特殊方法。
儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 Module 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
摘要示例
微調模型
>>> import torch
>>> from transformers import AutoTokenizer, MvpForConditionalGeneration
>>> tokenizer = AutoTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForConditionalGeneration.from_pretrained("RUCAIBox/mvp")
>>> inputs = tokenizer(
... "Summarize: You may want to stick it to your boss and leave your job, but don't do it if these are your reasons.",
... return_tensors="pt",
... )
>>> labels = tokenizer("Bad Reasons To Quit Your Job", return_tensors="pt")["input_ids"]
>>> loss = model(**inputs, labels=labels).loss
>>> loss.backward()模型微調後的推理
MvpForSequenceClassification
class transformers.MvpForSequenceClassification
< source >( config: MvpConfig **kwargs )
引數
- config (MvpConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
帶有序列分類/頭的 Mvp 模型（在池化輸出之上加一個線性層），例如用於 GLUE 任務。
該模型繼承自 PreTrainedModel。請查閱超類文件，瞭解該庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列詞元的索引。預設情況下將忽略填充。索引可以使用 AutoTokenizer 獲取。更多詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免在填充標記索引上執行注意力機制的掩碼。掩碼值在[0, 1]中選擇：- 1 表示標記未被掩碼，
- 0 表示標記已被掩碼。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 解碼器輸入序列標記在詞彙表中的索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
Mvp 使用
eos_token_id作為生成decoder_input_ids的起始標記。如果使用past_key_values，則可以選擇只輸入最後一個decoder_input_ids（請參閱past_key_values）。對於翻譯和摘要訓練，應提供
decoder_input_ids。如果沒有提供decoder_input_ids，模型將根據論文中的去噪預訓練方法，透過將input_ids右移來建立此張量。 - decoder_attention_mask (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略decoder_input_ids中填充標記的張量。預設情況下也會使用因果掩碼。如果你想更改填充行為，應閱讀
modeling_mvp._prepare_decoder_attention_mask並根據需要進行修改。有關預設策略的更多資訊，請參閱論文中的圖 1。 - head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示該頭未被掩碼，
- 0 表示該頭已被掩碼。
- decoder_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中注意力模組的選定頭無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示該頭未被掩碼，
- 0 表示該頭已被掩碼。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中交叉注意力模組的選定頭無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示該頭未被掩碼，
- 0 表示該頭已被掩碼。
- encoder_outputs (
list[torch.FloatTensor]，可選) — 元組，包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)。形狀為(batch_size, sequence_length, hidden_size)的last_hidden_state（可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以不傳遞input_ids，而是直接傳遞一個嵌入表示。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將input_ids索引轉換為相關向量，這會很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，你可以不傳遞decoder_input_ids，而是直接傳遞一個嵌入表示。如果使用past_key_values，則可以選擇只輸入最後一個decoder_inputs_embeds（請參閱past_key_values）。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將decoder_input_ids索引轉換為相關向量，這會很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，decoder_inputs_embeds將取inputs_embeds的值。 - labels (
torch.LongTensor，形狀為(batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在[0, ..., config.num_labels - 1]範圍內。如果config.num_labels > 1，則計算分類損失（交叉熵）。 - use_cache (
bool，可選) — 如果設定為True，則會返回past_key_values鍵值狀態，可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（MvpConfig）和輸入。
-
loss (形狀為
(1,)的torch.FloatTensor，可選，當提供label時返回) — 分類 (如果 config.num_labels==1 則為迴歸) 損失。 -
logits (形狀為
(batch_size, config.num_labels)的torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。 -
past_key_values (
EncoderDecoderCache，可選，在傳遞use_cache=True或當config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。更多詳情請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則第一個是嵌入層的輸出，+ 之後是每一層的輸出）。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則第一個是嵌入層的輸出，+ 之後是每一層的輸出）。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
MvpForSequenceClassification 的前向方法會覆蓋 __call__ 特殊方法。
儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 Module 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
單標籤分類示例
在 num_labels 個類別上微調模型
>>> import torch
>>> from transformers import AutoTokenizer, MvpForSequenceClassification
>>> num_labels = 2 # for example, this is a binary classification task
>>> tokenizer = AutoTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForSequenceClassification.from_pretrained("RUCAIBox/mvp", num_labels=num_labels)
>>> inputs = tokenizer("Classify: Hello, my dog is cute", return_tensors="pt")
>>> labels = torch.tensor(1) # the real label for inputs
>>> loss = model(**inputs, labels=labels).loss
>>> loss.backward()模型微調後的推理
MvpForQuestionAnswering
class transformers.MvpForQuestionAnswering
< 原始碼 >( config )
引數
- config (MvpForQuestionAnswering) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
帶有用於抽取式問答任務（如 SQuAD）的片段分類頭的 Mvp Transformer（在隱藏狀態輸出之上有一個線性層，用於計算 span start logits 和 span end logits）。
該模型繼承自 PreTrainedModel。請查閱超類文件，瞭解該庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< 原始碼 >( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[list[torch.FloatTensor]] = None start_positions: typing.Optional[torch.LongTensor] = None end_positions: typing.Optional[torch.LongTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqQuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列標記的索引。預設情況下將忽略填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免在填充標記索引上執行注意力機制的掩碼。掩碼值在[0, 1]中選擇：- 1 表示標記未被掩碼，
- 0 表示標記已被掩碼。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 解碼器輸入序列標記在詞彙表中的索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
Mvp 使用
eos_token_id作為生成decoder_input_ids的起始標記。如果使用past_key_values，則可以選擇只輸入最後一個decoder_input_ids（請參閱past_key_values）。對於翻譯和摘要訓練，應提供
decoder_input_ids。如果沒有提供decoder_input_ids，模型將根據論文中的去噪預訓練方法，透過將input_ids右移來建立此張量。 - decoder_attention_mask (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略decoder_input_ids中填充標記的張量。預設情況下也會使用因果掩碼。如果你想更改填充行為，應閱讀
modeling_mvp._prepare_decoder_attention_mask並根據需要進行修改。有關預設策略的更多資訊，請參閱論文中的圖 1。 - head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示該頭未被掩碼，
- 0 表示該頭已被掩碼。
- decoder_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中注意力模組的選定頭無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示該頭未被掩碼，
- 0 表示該頭已被掩碼。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中交叉注意力模組的選定頭無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示該頭未被掩碼，
- 0 表示該頭已被掩碼。
- encoder_outputs (
list[torch.FloatTensor]，可選) — 元組，包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)。形狀為(batch_size, sequence_length, hidden_size)的last_hidden_state（可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。 - start_positions (
torch.LongTensor，形狀為(batch_size,)，可選) — 標記的片段開始位置（索引）的標籤，用於計算標記分類損失。位置被限制在序列長度（sequence_length）內。序列之外的位置在計算損失時不予考慮。 - end_positions (
torch.LongTensor，形狀為(batch_size,)，可選) — 標記的片段結束位置（索引）的標籤，用於計算標記分類損失。位置被限制在序列長度（sequence_length）內。序列之外的位置在計算損失時不予考慮。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以不傳遞input_ids，而是直接傳遞一個嵌入表示。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將input_ids索引轉換為相關向量，這會很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，你可以不傳遞decoder_input_ids，而是直接傳遞一個嵌入表示。如果使用past_key_values，則可以選擇只輸入最後一個decoder_inputs_embeds（請參閱past_key_values）。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將decoder_input_ids索引轉換為相關向量，這會很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，decoder_inputs_embeds將取inputs_embeds的值。 - use_cache (
bool，可選) — 如果設定為True，則會返回past_key_values鍵值狀態，可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_outputs.Seq2SeqQuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqQuestionAnsweringModelOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（MvpConfig）和輸入。
-
loss (
torch.FloatTensorof shape(1,), 可選, 當提供labels時返回) — 總範圍提取損失是起始位置和結束位置的交叉熵之和。 -
start_logits (
torch.FloatTensorof shape(batch_size, sequence_length)) — 範圍起始分數（SoftMax 之前）。 -
end_logits (
torch.FloatTensorof shape(batch_size, sequence_length)) — 範圍結束分數（SoftMax 之前）。 -
past_key_values (
EncoderDecoderCache，可選，在傳遞use_cache=True或當config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。更多詳情請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則第一個是嵌入層的輸出，+ 之後是每一層的輸出）。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) — 形狀為(batch_size, sequence_length, hidden_size)的torch.FloatTensor元組（如果模型有嵌入層，則第一個是嵌入層的輸出，+ 之後是每一層的輸出）。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
MvpForQuestionAnswering 的前向方法會覆蓋 __call__ 特殊方法。
儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 Module 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
示例
為抽取式問答微調模型，我們的模型也支援使用 BartForConditionalGeneration 進行生成式問答。
>>> import torch
>>> from transformers import AutoTokenizer, MvpForQuestionAnswering
>>> tokenizer = AutoTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForQuestionAnswering.from_pretrained("RUCAIBox/mvp")
>>> inputs = tokenizer(
... "Answer the following question: Who was Jim Henson? [SEP] Jim Henson was a nice puppet",
... return_tensors="pt",
... )
>>> target_start_index = torch.tensor([18])
>>> target_end_index = torch.tensor([19])
>>> loss = model(**inputs, start_positions=target_start_index, end_positions=target_end_index).loss
>>> loss.backward()模型微調後的推理
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()
>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> predict_answer = tokenizer.decode(predict_answer_tokens)MvpForCausalLM
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None encoder_hidden_states: typing.Optional[torch.FloatTensor] = None encoder_attention_mask: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列標記的索引。預設情況下將忽略填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免在填充標記索引上執行注意力機制的掩碼。掩碼值在[0, 1]中選擇：- 1 表示標記未被掩碼，
- 0 表示標記已被掩碼。
- encoder_hidden_states (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型被配置為解碼器，則用於交叉注意力。 - encoder_attention_mask (
torch.FloatTensor，形狀為(batch_size, sequence_length)，可選) — 用於避免在編碼器輸入的填充標記索引上執行注意力機制的掩碼。如果模型被配置為解碼器，此掩碼將用於交叉注意力。掩碼值在[0, 1]中選擇：- 1 表示標記未被掩碼，
- 0 表示標記已被掩碼。
- head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示該頭未被掩碼，
- 0 表示該頭已被掩碼。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使交叉注意力模組中選定的頭無效的掩碼。掩碼值選自[0, 1]：- 1 表示該頭未被遮蔽，
- 0 表示該頭已被遮蔽。
- past_key_values (
list[torch.FloatTensor]，可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括在解碼的前一階段，當use_cache=True或config.use_cache=True時由模型返回的past_key_values。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。這也稱為舊版快取格式。
模型將輸出與輸入相同的快取格式。如果未傳遞
past_key_values，將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後的input_ids（那些沒有為其提供過去鍵值狀態的輸入），形狀為(batch_size, 1)，而不是所有形狀為(batch_size, sequence_length)的input_ids。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將input_ids索引轉換為相關向量，這會很有用。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（參見input_ids文件字串）。索引設定為-100的詞元將被忽略（遮蔽），損失僅對標籤在[0, ..., config.vocab_size]中的詞元進行計算。 - use_cache (
bool，可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或 config.return_dict=False），包含根據配置（MvpConfig）和輸入的不同元素。
-
loss (
torch.FloatTensor形狀為(1,)，可選，當提供labels時返回) — 語言建模損失（用於下一個 token 預測）。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
-
cross_attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或當config.output_attentions=True時返回) — 形狀為(batch_size, num_heads, sequence_length, sequence_length)的torch.FloatTensor元組（每層一個）。注意力 softmax 後的交叉注意力權重，用於計算交叉注意力頭中的加權平均。
-
past_key_values (
Cache，可選，當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。
MvpForCausalLM 的 forward 方法覆蓋了 __call__ 特殊方法。
儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 Module 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
示例
>>> from transformers import AutoTokenizer, MvpForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("RUCAIBox/mvp")
>>> model = MvpForCausalLM.from_pretrained("RUCAIBox/mvp", add_cross_attention=False)
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> list(logits.shape)
[1, 8, 50267]