Transformers 文件
PLBart
並獲得增強的文件體驗
開始使用
PLBart
概述
PLBART 模型由 Wasi Uddin Ahmad、Saikat Chakraborty、Baishakhi Ray 和 Kai-Wei Chang 在 《用於程式理解和生成的統一預訓練》 中提出。這是一個類 BART 模型，可用於執行程式碼摘要、程式碼生成和程式碼翻譯任務。預訓練模型 plbart-base 已在 Java、Python 和英語上使用多語言去噪任務進行訓練。
摘要如下：
程式碼摘要和生成支援程式語言 (PL) 和自然語言 (NL) 之間的轉換，而程式碼翻譯則有助於將舊程式碼從一種 PL 遷移到另一種 PL。本文介紹了 PLBART，這是一種序列到序列模型，能夠執行廣泛的程式和語言理解和生成任務。PLBART 透過去噪自動編碼對大量 Java 和 Python 函式及其相關的 NL 文字進行預訓練。在英語程式碼摘要、程式碼生成和七種程式語言的程式碼翻譯上的實驗表明，PLBART 優於或與現有最先進的模型相媲美。此外，在判別任務（例如，程式修復、克隆檢測和脆弱程式碼檢測）上的實驗證明了 PLBART 在程式理解方面的有效性。此外，分析表明 PLBART 學習程式語法、樣式（例如，識別符號命名約定）、邏輯流（例如，else 塊內的 if 塊等效於 else if 塊），這些對於程式語義至關重要，因此即使註釋有限也能表現出色。
該模型由 gchhablani 貢獻。作者的程式碼可在 此處 找到。
使用示例
PLBart 是一種多語言編碼器-解碼器（序列到序列）模型，主要用於程式碼到文字、文字到程式碼、程式碼到程式碼任務。由於該模型是多語言的，因此它期望序列採用不同的格式。一個特殊的語言 ID 標記被新增到源文字和目標文字中。源文字格式為 X [eos, src_lang_code]，其中 X 是源文字。目標文字格式為 [tgt_lang_code] X [eos]。從不使用 bos。
然而，對於微調，在某些情況下，當使用單一語言時，不提供語言標記。請參閱論文以瞭解更多資訊。
如果需要語言程式碼，常規的 call() 將在您將文字作為第一個引數或使用關鍵字引數 text 傳遞時編碼源文字格式，如果使用 text_target 關鍵字引數傳遞，則將編碼目標文字格式。
監督訓練
>>> from transformers import PLBartForConditionalGeneration, PLBartTokenizer
>>> tokenizer = PLBartTokenizer.from_pretrained("uclanlp/plbart-base", src_lang="en_XX", tgt_lang="python")
>>> example_python_phrase = "def maximum(a,b,c):NEW_LINE_INDENTreturn max([a,b,c])"
>>> expected_translation_english = "Returns the maximum value of a b c."
>>> inputs = tokenizer(example_python_phrase, text_target=expected_translation_english, return_tensors="pt")
>>> model(**inputs)生成
生成目標文字時，將 decoder_start_token_id 設定為目標語言 ID。以下示例展示瞭如何使用 uclanlp/plbart-python-en_XX 模型將 Python 翻譯成英語。
>>> from transformers import PLBartForConditionalGeneration, PLBartTokenizer
>>> tokenizer = PLBartTokenizer.from_pretrained("uclanlp/plbart-python-en_XX", src_lang="python", tgt_lang="en_XX")
>>> example_python_phrase = "def maximum(a,b,c):NEW_LINE_INDENTreturn max([a,b,c])"
>>> inputs = tokenizer(example_python_phrase, return_tensors="pt")
>>> model = PLBartForConditionalGeneration.from_pretrained("uclanlp/plbart-python-en_XX")
>>> translated_tokens = model.generate(**inputs, decoder_start_token_id=tokenizer.lang_code_to_id["en_XX"])
>>> tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
"Returns the maximum value of a b c."資源
PLBartConfig
類 transformers.PLBartConfig
< 來源 >( vocab_size = 50005 max_position_embeddings = 1024 encoder_layers = 6 encoder_ffn_dim = 3072 encoder_attention_heads = 12 decoder_layers = 6 decoder_ffn_dim = 3072 decoder_attention_heads = 12 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 use_cache = True is_encoder_decoder = True activation_function = 'gelu' d_model = 768 dropout = 0.1 attention_dropout = 0.1 activation_dropout = 0.0 init_std = 0.02 classifier_dropout = 0.0 scale_embedding = True pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 forced_eos_token_id = 2 **kwargs )
引數
- vocab_size (
int, 可選, 預設為 50005) — PLBART 模型的詞彙表大小。定義了呼叫 PLBartModel 時可以由inputs_ids表示的不同標記的數量。 - d_model (
int, 可選, 預設為 768) — 層和池化層的維度。 - encoder_layers (
int, 可選, 預設為 6) — 編碼器層的數量。 - decoder_layers (
int, 可選, 預設為 6) — 解碼器層的數量。 - encoder_attention_heads (
int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數。 - decoder_attention_heads (
int, 可選, 預設為 12) — Transformer 解碼器中每個注意力層的注意力頭數。 - decoder_ffn_dim (
int, 可選, 預設為 3072) — 解碼器中“中間”（通常稱為前饋）層的維度。 - encoder_ffn_dim (
int, 可選, 預設為 3072) — 解碼器中“中間”（通常稱為前饋）層的維度。 - activation_function (
str或function, 可選, 預設為"gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果為字串，則支援"gelu"、"relu"、"silu"和"gelu_new"。 - dropout (
float, 可選, 預設為 0.1) — 嵌入、編碼器和池化器中所有全連線層的 dropout 機率。 - attention_dropout (
float, 可選, 預設為 0.1) — 注意力機率的 dropout 比率。 - activation_dropout (
float, 可選, 預設為 0.0) — 全連線層內部啟用的 dropout 比率。 - classifier_dropout (
float, 可選, 預設為 0.0) — 分類器的 dropout 比率。 - max_position_embeddings (
int, 可選, 預設為 1024) — 此模型可能使用的最大序列長度。通常為了以防萬一設定為較大的值（例如，512、1024 或 2048）。 - init_std (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態初始化器的標準差。 - encoder_layerdrop (
float, 可選, 預設為 0.0) — 編碼器的 LayerDrop 機率。更多詳情請參閱 [LayerDrop 論文](參見 https://huggingface.co/papers/1909.11556)。 - decoder_layerdrop (
float, 可選, 預設為 0.0) — 解碼器的 LayerDrop 機率。更多詳情請參閱 [LayerDrop 論文](參見 https://huggingface.co/papers/1909.11556)。 - scale_embedding (
bool, 可選, 預設為True) — 透過除以 sqrt(d_model) 來縮放嵌入。 - use_cache (
bool, 可選, 預設為True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。 - forced_eos_token_id (
int, 可選, 預設為 2) — 當達到max_length時，強制作為最後生成的 token 的 token ID。通常設定為eos_token_id。
這是用於儲存 PLBartModel 配置的配置類。它用於根據指定的引數例項化 PLBART 模型，定義模型架構。使用預設值例項化配置將生成與 PLBART uclanlp/plbart-base 架構類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。
示例
>>> from transformers import PLBartConfig, PLBartModel
>>> # Initializing a PLBART uclanlp/plbart-base style configuration
>>> configuration = PLBartConfig()
>>> # Initializing a model (with random weights) from the uclanlp/plbart-base style configuration
>>> model = PLBartModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configPLBartTokenizer
class transformers.PLBartTokenizer
< source >( vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' language_codes = 'base' tokenizer_file = None src_lang = None tgt_lang = None sp_model_kwargs: typing.Optional[dict[str, typing.Any]] = None additional_special_tokens = None clean_up_tokenization_spaces = True **kwargs )
引數
- vocab_file (
str) — 詞彙表文件的路徑。 - src_lang (
str, 可選) — 表示源語言的字串。 - tgt_lang (
str, 可選) — 表示目標語言的字串。 - bos_token (
str, 可選, 預設為"<s>") — 序列開始標記。 - eos_token (
str, 可選, 預設為"</s>") — 序列結束標記。 - sep_token (
str, 可選, 預設為"</s>") — 分隔符標記，用於從多個序列構建序列時，例如用於序列分類的兩個序列，或用於問答的文字和問題。它也用作使用特殊標記構建的序列的最後一個標記。 - cls_token (
str, 可選, 預設為"<s>") — cls 標記，一個特殊標記，用作所有任務的第一個標記。 - unk_token (
str, 可選, 預設為"<unk>") — 未知標記。不在詞彙表中的標記不能轉換為 ID，而是設定為此標記。 - pad_token (
str, 可選, 預設為"<pad>") — 用於填充的標記，例如在對不同長度的序列進行批處理時。 - mask_token(
str, 可選, 預設為"<mask>") — 用於掩蓋值的標記。在使用掩碼任務訓練此模型時使用此標記。這僅在"base"分詞器型別中使用。對於"multi"分詞器，下游任務從不進行掩碼。 - language_codes (
str, 可選, 預設為"base") — 使用哪種語言程式碼。應為"base"或"multi"之一。 - sp_model_kwargs (
dict, 可選) — 將傳遞給SentencePieceProcessor.__init__()方法。SentencePiece 的 Python 包裝器 可用於設定：enable_sampling: 啟用子詞正則化。nbest_size: Unigram 的取樣引數。對於 BPE-Dropout 無效。nbest_size = {0,1}: 不執行取樣。nbest_size > 1: 從 nbest_size 結果中取樣。nbest_size < 0: 假設 nbest_size 是無限的，並使用前向濾波和後向取樣演算法從所有假設（格）中取樣。
alpha: 用於 Unigram 取樣的平滑引數，以及 BPE-dropout 的合併操作的 dropout 機率。
構建 PLBART 分詞器。
改編自 RobertaTokenizer 和 XLNetTokenizer。基於 SentencePiece。
源語言文件的分詞方法是 <tokens> <eos> <language code>，目標語言文件的分詞方法是 `<language code>
示例
>>> from transformers import PLBartTokenizer
>>> tokenizer = PLBartTokenizer.from_pretrained("uclanlp/plbart-python-en_XX", src_lang="python", tgt_lang="en_XX")
>>> example_python_phrase = "def maximum(a,b,c):NEW_LINE_INDENTreturn max([a,b,c])"
>>> expected_translation_english = "Returns the maximum value of a b c."
>>> inputs = tokenizer(example_python_phrase, text_target=expected_translation_english, return_tensors="pt")build_inputs_with_special_tokens
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
透過連線和新增特殊標記，從序列或序列對構建用於序列分類任務的模型輸入。PLBART 序列的格式如下，其中 X 表示序列
input_ids（用於編碼器）X [eos, src_lang_code]decoder_input_ids：（用於解碼器）X [eos, tgt_lang_code]
從不使用 BOS。序列對不是預期的用例，但它們將在沒有分隔符的情況下處理。
PLBartModel
class transformers.PLBartModel
< source >( config: PLBartConfig )
引數
- config (PLBartConfig) — 帶有模型所有引數的模型配置類。用配置檔案初始化並不會載入與模型相關的權重，只加載配置。要載入模型權重，請檢視 from_pretrained() 方法。
裸 PLBart 模型輸出原始隱藏狀態，頂部沒有任何特定頭部。
此模型繼承自 PreTrainedModel。檢視超類文件以瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其用作常規 PyTorch 模組，並參閱 PyTorch 文件以瞭解與一般用法和行為相關的所有事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.LongTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.LongTensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[list[torch.FloatTensor]] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqModelOutput or tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor形狀為(batch_size, sequence_length), 可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.LongTensor形狀為(batch_size, sequence_length), 可選) — 避免對填充 token 索引執行注意力的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示 token 未被掩蓋，
- 0 表示 token 已被掩蓋。
- decoder_input_ids (
torch.LongTensor形狀為(batch_size, target_sequence_length), 可選) — 詞彙表中解碼器輸入序列 token 的索引。索引可以使用 AutoTokenizer 或
PLBartMultiTokenizer獲取，具體取決於檢查點。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。PLBart 使用特定的語言 ID 標記作為
decoder_input_ids生成的起始標記，該標記根據源語言和目標語言而異，例如 en_XX 為 50003，java 為 50001。如果使用past_key_values，可以選擇只輸入最後一個decoder_input_ids（那些沒有將過去的鍵值狀態提供給此模型的）（請參閱past_key_values）。對於翻譯和摘要訓練，應提供
decoder_input_ids。如果未提供decoder_input_ids，模型將透過根據論文將input_ids向右移動以進行去噪預訓練來建立此張量。 - decoder_attention_mask (` —
- ` 物件 —torch.LongTensor 形狀為
(batch_size, target_sequence_length), 可選): 預設行為：生成一個忽略decoder_input_ids中填充 token 的張量。預設情況下也會使用因果掩碼。 - head_mask (
torch.Tensor形狀為(num_heads,)或(num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被掩蓋，
- 0 表示頭部已被掩蓋。
- decoder_head_mask (
torch.LongTensor形狀為(decoder_layers, decoder_attention_heads), 可選) — 用於使解碼器中注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被掩蓋，
- 0 表示頭部已被掩蓋。
- cross_attn_head_mask (` —
- ` 物件 —torch.Tensor 形狀為
(decoder_layers, decoder_attention_heads), 可選): 用於使解碼器中交叉注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被掩蓋，
- 0 表示頭部已被掩蓋。
- encoder_outputs (
list[torch.FloatTensor], 可選) — 元組包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)last_hidden_state形狀為(batch_size, sequence_length, hidden_size), 可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。 - past_key_values (
list[torch.FloatTensor], 可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- Cache 例項，請參閱我們的 kv cache 指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為傳統快取格式。
模型將輸出與作為輸入提供的快取格式相同的快取格式。如果未傳遞
past_key_values，則將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇僅輸入形狀為(batch_size, 1)的最後一個input_ids（那些沒有將其過去的鍵值狀態提供給此模型的）而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.FloatTensor形狀為(batch_size, sequence_length, hidden_size), 可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您希望對input_ids索引如何轉換為關聯向量擁有比模型內部嵌入查詢矩陣更多的控制，這很有用。 - decoder_inputs_embeds (
torch.FloatTensor形狀為(batch_size, target_sequence_length, hidden_size), 可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用past_key_values，可以選擇僅輸入最後一個decoder_inputs_embeds（請參閱past_key_values）。如果您希望對decoder_input_ids索引如何轉換為關聯向量擁有比模型內部嵌入查詢矩陣更多的控制，這很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds會採用inputs_embeds的值。 - use_cache (
bool, 可選) — 如果設定為True，則返回past_key_values鍵值狀態，並可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (
torch.LongTensor形狀為(sequence_length), 可選) — 描繪輸入序列 token 在序列中位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqModelOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或 config.return_dict=False）包含各種元素，具體取決於配置 (PLBartConfig) 和輸入。
-
last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
EncoderDecoderCache, 可選, 當use_cache=True或config.use_cache=True時返回) — 它是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), optional, 返回條件為output_hidden_states=True或config.output_hidden_states=True) —torch.FloatTensor的元組（如果模型有嵌入層，則包含嵌入層輸出，加上每個層輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), optional, 返回條件為output_hidden_states=True或config.output_hidden_states=True) —torch.FloatTensor的元組（如果模型有嵌入層，則包含嵌入層輸出，加上每個層輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
PLBartModel 的前向方法，覆蓋了 __call__ 特殊方法。
儘管前向傳播的配方需要在此函式中定義，但之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者會默默地忽略它們。
PLBartForConditionalGeneration
class transformers.PLBartForConditionalGeneration
< source >( config: PLBartConfig )
引數
- config (PLBartConfig) — 模型的配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。
帶有語言建模頭的 PLBART 模型。可用於程式碼到文字、文字到程式碼和程式碼到程式碼的轉換。
此模型繼承自 PreTrainedModel。檢視超類文件以瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其用作常規 PyTorch 模組，並參閱 PyTorch 文件以瞭解與一般用法和行為相關的所有事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.LongTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.LongTensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[list[torch.FloatTensor]] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 掩碼，用於避免在填充 token 索引上執行注意力。掩碼值在[0, 1]中選擇：- 1 表示 token 未被掩碼，
- 0 表示 token 被掩碼。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列 token 的索引。索引可以使用 AutoTokenizer 或
PLBartMultiTokenizer獲取，具體取決於檢查點。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。PLBart 使用一個特定的語言 ID token 作為
decoder_input_ids生成的起始 token，該 token 根據源語言和目標語言而變化，例如 en_XX 為 50003，java 為 50001。如果使用past_key_values，則可選地只需輸入最後的decoder_input_ids（參見past_key_values）。對於翻譯和摘要訓練，應提供
decoder_input_ids。如果未提供decoder_input_ids，模型將根據論文中的去噪預訓練，透過將input_ids向右移動來建立此張量。 - decoder_attention_mask (` —
- ` obj —torch.LongTensor，形狀為
(batch_size, target_sequence_length)，可選): 預設行為：生成一個忽略decoder_input_ids中填充 token 的張量。預設情況下也會使用因果掩碼。 - head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 掩碼，用於使自注意力模組的選定頭部無效。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- decoder_head_mask (
torch.LongTensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 掩碼，用於使解碼器中注意力模組的選定頭部無效。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- cross_attn_head_mask (` —
- ` obj —torch.Tensor，形狀為
(decoder_layers, decoder_attention_heads)，可選): 掩碼，用於使解碼器中交叉注意力模組的選定頭部無效。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- encoder_outputs (
list[torch.FloatTensor], 可選) — 元組包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)last_hidden_state形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。 - past_key_values (
list[torch.FloatTensor], 可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果未傳入
past_key_values，則將返回傳統快取格式。如果使用
past_key_values，使用者可以可選地只輸入最後input_ids（那些沒有將其過去的鍵值狀態提供給此模型的）的形狀(batch_size, 1)，而不是所有input_ids的形狀(batch_size, sequence_length)。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，除了傳遞input_ids，您還可以選擇直接傳遞嵌入表示。如果您想對如何將input_ids索引轉換為相關向量擁有比模型內部嵌入查詢矩陣更多的控制，這會很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，除了傳遞decoder_input_ids，您還可以選擇直接傳遞嵌入表示。如果使用past_key_values，則可選地只輸入最後的decoder_inputs_embeds（參見past_key_values）。如果您想對如何將decoder_input_ids索引轉換為相關向量擁有比模型內部嵌入查詢矩陣更多的控制，這會很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds取inputs_embeds的值。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（參見input_ids文件字串）。索引設定為-100的 token 將被忽略（掩碼），損失僅針對標籤在[0, ..., config.vocab_size]中的 token 計算。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參見返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參見返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 指示輸入序列 token 在序列中的位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqLMOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置（PLBartConfig）和輸入的不同元素。
-
loss (
torch.FloatTensor，形狀為(1,)，可選，當提供labels時返回) — 語言建模損失。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
EncoderDecoderCache, 可選, 當use_cache=True或config.use_cache=True時返回) — 它是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), optional, 返回條件為output_hidden_states=True或config.output_hidden_states=True) —torch.FloatTensor的元組（如果模型有嵌入層，則包含嵌入層輸出，加上每個層輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), optional, 返回條件為output_hidden_states=True或config.output_hidden_states=True) —torch.FloatTensor的元組（如果模型有嵌入層，則包含嵌入層輸出，加上每個層輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
PLBartForConditionalGeneration 的前向方法，覆蓋了 __call__ 特殊方法。
儘管前向傳播的配方需要在此函式中定義，但之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者會默默地忽略它們。
示例掩碼填充
>>> from transformers import AutoTokenizer, PLBartForConditionalGeneration
>>> model = PLBartForConditionalGeneration.from_pretrained("uclanlp/plbart-base")
>>> tokenizer = AutoTokenizer.from_pretrained("uclanlp/plbart-base")
>>> # en_XX is the language symbol id <LID> for English
>>> TXT = "<s> Is 0 the <mask> Fibonacci number ? </s> en_XX"
>>> input_ids = tokenizer([TXT], add_special_tokens=False, return_tensors="pt").input_ids
>>> logits = model(input_ids).logits
>>> masked_index = (input_ids[0] == tokenizer.mask_token_id).nonzero().item()
>>> probs = logits[0, masked_index].softmax(dim=0)
>>> values, predictions = probs.topk(5)
>>> tokenizer.decode(predictions).split()
['first', 'same', 'highest', 'result', 'number']PLBartForSequenceClassification
class transformers.PLBartForSequenceClassification
< source >( config: PLBartConfig **kwargs )
引數
- config (PLBartConfig) — 模型的配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。
PLBart 模型，頂部帶有一個序列分類/頭部（在池化輸出頂部的一個線性層），例如用於 GLUE 任務。
此模型繼承自 PreTrainedModel。檢視超類文件以瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其用作常規 PyTorch 模組，並參閱 PyTorch 文件以瞭解與一般用法和行為相關的所有事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 掩碼，用於避免在填充 token 索引上執行注意力。掩碼值在[0, 1]中選擇：- 1 表示 token 未被掩碼，
- 0 表示 token 被掩碼。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列 token 的索引。索引可以使用 AutoTokenizer 或
PLBartMultiTokenizer獲取，具體取決於檢查點。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。PLBart 使用一個特定的語言 ID token 作為
decoder_input_ids生成的起始 token，該 token 根據源語言和目標語言而變化，例如 en_XX 為 50003，java 為 50001。如果使用past_key_values，則可選地只需輸入最後的decoder_input_ids（參見past_key_values）。對於翻譯和摘要訓練，應提供
decoder_input_ids。如果未提供decoder_input_ids，模型將根據論文中的去噪預訓練，透過將input_ids向右移動來建立此張量。 - decoder_attention_mask (` —
- ` obj —torch.LongTensor，形狀為
(batch_size, target_sequence_length)，可選): 預設行為：生成一個忽略decoder_input_ids中填充 token 的張量。預設情況下也會使用因果掩碼。 - head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 掩碼，用於使自注意力模組的選定頭部無效。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- decoder_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 掩碼，用於使解碼器中注意力模組的選定頭部無效。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- cross_attn_head_mask (` —
- ` obj —torch.Tensor，形狀為
(decoder_layers, decoder_attention_heads)，可選): 掩碼，用於使解碼器中交叉注意力模組的選定頭部無效。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩碼，
- 0 表示頭部被掩碼。
- encoder_outputs (
list[torch.FloatTensor], 可選) — 元組包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)last_hidden_state形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，除了傳遞input_ids，您還可以選擇直接傳遞嵌入表示。如果您想對如何將input_ids索引轉換為相關向量擁有比模型內部嵌入查詢矩陣更多的控制，這會很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，除了傳遞decoder_input_ids，您還可以選擇直接傳遞嵌入表示。如果使用past_key_values，則可選地只需輸入最後的decoder_inputs_embeds（參見past_key_values）。如果您想對如何將decoder_input_ids索引轉換為相關向量擁有比模型內部嵌入查詢矩陣更多的控制，這會很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds取inputs_embeds的值。 - labels (
torch.LongTensor，形狀為(batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在[0, ..., config.num_labels - 1]之間。如果config.num_labels > 1，則計算分類損失（交叉熵）。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參見返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參見返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 指示輸入序列 token 在序列中的位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置（PLBartConfig）和輸入的不同元素。
-
loss (形狀為
(1,)的torch.FloatTensor，可選，當提供label時返回) — 分類 (如果 config.num_labels==1 則為迴歸) 損失。 -
logits (形狀為
(batch_size, config.num_labels)的torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。 -
past_key_values (
EncoderDecoderCache, 可選, 當use_cache=True或config.use_cache=True時返回) — 它是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), optional, 返回條件為output_hidden_states=True或config.output_hidden_states=True) —torch.FloatTensor的元組（如果模型有嵌入層，則包含嵌入層輸出，加上每個層輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), optional, 返回條件為output_hidden_states=True或config.output_hidden_states=True) —torch.FloatTensor的元組（如果模型有嵌入層，則包含嵌入層輸出，加上每個層輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
PLBartForSequenceClassification 的前向方法，覆蓋了 __call__ 特殊方法。
儘管前向傳播的配方需要在此函式中定義，但之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者會默默地忽略它們。
單標籤分類示例
>>> import torch
>>> from transformers import AutoTokenizer, PLBartForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("uclanlp/plbart-base")
>>> model = PLBartForSequenceClassification.from_pretrained("uclanlp/plbart-base")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = PLBartForSequenceClassification.from_pretrained("uclanlp/plbart-base", num_labels=num_labels)
>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...多標籤分類示例
>>> import torch
>>> from transformers import AutoTokenizer, PLBartForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("uclanlp/plbart-base")
>>> model = PLBartForSequenceClassification.from_pretrained("uclanlp/plbart-base", problem_type="multi_label_classification")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = PLBartForSequenceClassification.from_pretrained(
... "uclanlp/plbart-base", num_labels=num_labels, problem_type="multi_label_classification"
... )
>>> labels = torch.sum(
... torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).lossPLBartForCausalLM
class transformers.PLBartForCausalLM
< source >( config )
引數
- config (PLBartForCausalLM) — 模型的配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。
PLBART 解碼器，頂部帶有一個語言建模頭（權重與輸入嵌入繫結在一起的線性層）。
此模型繼承自 PreTrainedModel。檢視超類文件以瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其用作常規 PyTorch 模組，並參閱 PyTorch 文件以瞭解與一般用法和行為相關的所有事項。
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None encoder_hidden_states: typing.Optional[torch.FloatTensor] = None encoder_attention_mask: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 輸入序列 token 在詞彙表中的索引。預設情況下會忽略填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 掩碼，用於避免在填充 token 索引上執行注意力。掩碼值選擇在[0, 1]之間：- 1 表示 token 未被掩碼，
- 0 表示 token 已被掩碼。
- encoder_hidden_states (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型被配置為解碼器，則在交叉注意力中使用。 - encoder_attention_mask (
torch.FloatTensor，形狀為(batch_size, sequence_length)，可選) — 掩碼，用於避免在編碼器輸入中的填充 token 索引上執行注意力。如果模型被配置為解碼器，則此掩碼在交叉注意力中使用。掩碼值選擇在[0, 1]之間：- 1 表示 token 未被掩碼，
- 0 表示 token 已被掩碼。
- head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 掩碼，用於將自注意力模組中選定的頭部置空。掩碼值選擇在[0, 1]之間：- 1 表示頭部未被掩碼，
- 0 表示頭部已被掩碼。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 掩碼，用於將交叉注意力模組中選定的頭部置空。掩碼值選擇在[0, 1]之間：- 1 表示頭部未被掩碼，
- 0 表示頭部已被掩碼。
- past_key_values (
list[torch.FloatTensor]，可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼前一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果未傳入
past_key_values，將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入形狀為(batch_size, 1)的最新input_ids（那些沒有將過去的鍵值狀態提供給此模型的輸入）而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果你想對如何將input_ids索引轉換為相關向量有比模型內部嵌入查詢矩陣更精細的控制，這很有用。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（參見input_ids文件字串）。索引設定為-100的 token 將被忽略（掩碼），損失僅針對標籤在[0, ..., config.vocab_size]中的 token 計算。 - use_cache (
bool, 可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 指示輸入序列 token 在序列中位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），其中包含各種元素，具體取決於配置 (PLBartConfig) 和輸入。
-
loss (
torch.FloatTensor形狀為(1,)，可選，當提供labels時返回) — 語言建模損失（用於下一個 token 預測）。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
-
cross_attentions (
tuple(torch.FloatTensor), optional, 返回條件為output_attentions=True或config.output_attentions=True) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的交叉注意力權重，用於計算交叉注意力頭中的加權平均。
-
past_key_values (
Cache，可選，當傳入use_cache=True或當config.use_cache=True時返回) — 這是一個 Cache 例項。有關詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。
PLBartForCausalLM 的 forward 方法，重寫了 __call__ 特殊方法。
儘管前向傳播的配方需要在此函式中定義，但之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者會默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, PLBartForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("uclanlp/plbart-base")
>>> model = PLBartForCausalLM.from_pretrained("uclanlp/plbart-base", add_cross_attention=False)
>>> assert model.config.is_decoder, f"{model.__class__} has to be configured as a decoder."
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> expected_shape = [1, inputs.input_ids.shape[-1], model.config.vocab_size]
>>> list(logits.shape) == expected_shape
True