Transformers 文件
XLM-ProphetNet
並獲得增強的文件體驗
開始使用
XLM-ProphetNet
此模型目前處於維護模式，我們不接受任何更改其程式碼的新 PR。如果您在使用此模型時遇到任何問題，請重新安裝支援此模型的最新版本：v4.40.2。您可以透過執行以下命令進行操作：pip install -U transformers==4.40.2。
免責宣告： 如果您發現任何異常，請提交 Github Issue 並分配給 @patrickvonplaten
概述
XLM-ProphetNet 模型由 Yu Yan、Weizhen Qi、Yeyun Gong、Dayiheng Liu、Nan Duan、Jiusheng Chen、Ruofei Zhang 和 Ming Zhou 於 2020 年 1 月 13 日在 ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training 中提出。
XLM-ProphetNet 是一個編碼器-解碼器模型，可以預測未來 N 個 token 進行“ngram”語言建模，而不僅僅是預測下一個 token。其架構與 ProhpetNet 相同，但該模型是在多語言“wiki100”維基百科轉儲上訓練的。XLM-ProphetNet 的模型架構和預訓練目標與 ProphetNet 相同，但 XLM-ProphetNet 在跨語言資料集 XGLUE 上進行了預訓練。
論文摘要如下：
在本文中，我們提出了一種新的序列到序列預訓練模型 ProphetNet，它引入了一種名為“未來 N-gram 預測”的新型自監督目標和所提出的 N 流自注意力機制。與傳統序列到序列模型中僅最佳化下一步預測不同，ProphetNet 透過 N 步預測進行最佳化，即在每個時間步同時預測接下來的 N 個 token。未來 N-gram 預測明確鼓勵模型規劃未來的 token，並防止過度擬合強區域性相關性。我們分別使用基礎規模資料集（16GB）和大規模資料集（160GB）預訓練了 ProphetNet。然後，我們對 CNN/DailyMail、Gigaword 和 SQuAD 1.1 基準資料集進行了抽象摘要和問題生成任務的實驗。實驗結果表明，與使用相同規模預訓練語料庫的模型相比，ProphetNet 在所有這些資料集上都取得了新的最先進結果。
作者的程式碼可以在 此處 找到。
資源
XLMProphetNetConfig
類 transformers.XLMProphetNetConfig
< 源 >( activation_dropout: typing.Optional[float] = 0.1 activation_function: typing.Union[str, typing.Callable, NoneType] = 'gelu' vocab_size: typing.Optional[int] = 30522 hidden_size: typing.Optional[int] = 1024 encoder_ffn_dim: typing.Optional[int] = 4096 num_encoder_layers: typing.Optional[int] = 12 num_encoder_attention_heads: typing.Optional[int] = 16 decoder_ffn_dim: typing.Optional[int] = 4096 num_decoder_layers: typing.Optional[int] = 12 num_decoder_attention_heads: typing.Optional[int] = 16 attention_dropout: typing.Optional[float] = 0.1 dropout: typing.Optional[float] = 0.1 max_position_embeddings: typing.Optional[int] = 512 init_std: typing.Optional[float] = 0.02 is_encoder_decoder: typing.Optional[bool] = True add_cross_attention: typing.Optional[bool] = True decoder_start_token_id: typing.Optional[int] = 0 ngram: typing.Optional[int] = 2 num_buckets: typing.Optional[int] = 32 relative_max_distance: typing.Optional[int] = 128 disable_ngram_loss: typing.Optional[bool] = False eps: typing.Optional[float] = 0.0 use_cache: typing.Optional[bool] = True pad_token_id: typing.Optional[int] = 0 bos_token_id: typing.Optional[int] = 1 eos_token_id: typing.Optional[int] = 2 **kwargs )
引數
- activation_dropout (
float, 可選, 預設為 0.1) — 全連線層內部啟用函式的 dropout 比率。 - activation_function (
str或function, 可選, 預設為"gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果是字串，支援"gelu"、"relu"、"silu"和"gelu_new"。 - vocab_size (
int, 可選, 預設為 30522) — ProphetNET 模型的詞彙表大小。定義了呼叫 XLMProphetNetModel 時可以表示的inputs_ids的不同 token 數量。 - hidden_size (
int, 可選, 預設為 1024) — 層和池化層的維度。 - encoder_ffn_dim (
int, 可選, 預設為 4096) — 解碼器中“中間”（通常稱為前饋）層的維度。 - num_encoder_layers (
int, 可選, 預設為 12) — 編碼器層數。 - num_encoder_attention_heads (
int, 可選, 預設為 16) — Transformer 編碼器中每個注意力層的注意力頭數量。 - decoder_ffn_dim (
int, 可選, 預設為 4096) — 解碼器中中間（通常稱為前饋）層的維度。 - num_decoder_layers (
int, 可選, 預設為 12) — 解碼器層數。 - num_decoder_attention_heads (
int, 可選, 預設為 16) — Transformer 解碼器中每個注意力層的注意力頭數量。 - attention_dropout (
float, 可選, 預設為 0.1) — 注意力機率的 dropout 比率。 - dropout (
float, 可選, 預設為 0.1) — 嵌入、編碼器和池化器中所有全連線層的 dropout 機率。 - max_position_embeddings (
int, 可選, 預設為 512) — 此模型可能使用的最大序列長度。通常設定為較大值以防萬一（例如，512、1024 或 2048）。 - init_std (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。 - add_cross_attention (
bool, 可選, 預設為True) — 是否應向模型新增交叉注意力層。 - is_encoder_decoder (
bool, 可選, 預設為True) — 這是否是編碼器/解碼器模型。 - pad_token_id (
int, 可選, 預設為 1) — 填充 token ID。 - bos_token_id (
int, 可選, 預設為 0) — 流起始 token ID。 - eos_token_id (
int, 可選, 預設為 2) — 流結束 token ID。 - ngram (
int, 可選, 預設為 2) — 要預測的未來 token 數量。設定為 1 則與傳統語言模型相同，只預測下一個 token。 - num_buckets (
int, 可選, 預設為 32) — 每個注意力層使用的桶的數量。用於相對位置計算。有關更多詳細資訊，請參見 [T5 論文](參見 https://huggingface.co/papers/1910.10683)。 - relative_max_distance (
int, 可選, 預設為 128) — 大於此數的相對距離將被放入最後一個相同的桶中。用於相對位置計算。有關更多詳細資訊，請參見 [T5 論文](參見 https://huggingface.co/papers/1910.10683)。 - disable_ngram_loss (
bool, 可選, 預設為False) — 是否只預測下一個 token 進行訓練。 - eps (
float, 可選, 預設為 0.0) — 控制損失計算中標籤平滑的epsilon引數值。如果設定為 0，則不執行標籤平滑。 - use_cache (
bool, 可選, 預設為True) — 模型是否應返回最後一個 key/values 注意力（並非所有模型都使用）。
這是一個配置類，用於儲存 XLMProphetNetModel 的配置。它用於根據指定的引數例項化 XLMProphetNet 模型，定義模型架構。使用預設值例項化配置將生成與 XLMProphetNet microsoft/xprophetnet-large-wiki100-cased 架構類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。
XLMProphetNetTokenizer
class transformers.XLMProphetNetTokenizer
< source >( vocab_file bos_token = '[SEP]' eos_token = '[SEP]' sep_token = '[SEP]' unk_token = '[UNK]' pad_token = '[PAD]' cls_token = '[CLS]' mask_token = '[MASK]' sp_model_kwargs: typing.Optional[dict[str, typing.Any]] = None **kwargs )
引數
- vocab_file (
str) — 詞彙表文件的路徑。 - bos_token (
str, 可選, 預設為"[SEP]") — 預訓練期間使用的序列開始標記。可用作序列分類標記。使用特殊標記構建序列時，此標記並非序列開始標記。使用的標記是
cls_token。 - eos_token (
str, 可選, 預設為"[SEP]") — 序列結束標記。使用特殊標記構建序列時，此標記並非序列結束標記。使用的標記是
sep_token。 - sep_token (
str, 可選, 預設為"[SEP]") — 分隔符標記，用於從多個序列構建序列時，例如用於序列分類的兩個序列，或用於問答的文字和問題。它也用作使用特殊標記構建的序列的最後一個標記。 - unk_token (
str, 可選, 預設為"[UNK]") — 未知標記。不在詞彙表中的標記不能轉換為 ID，而是設定為此標記。 - pad_token (
str, 可選, 預設為"[PAD]") — 用於填充的標記，例如在批處理不同長度的序列時。 - cls_token (
str, 可選, 預設為"[CLS]") — 分類器標記，用於序列分類（整個序列的分類而不是按標記分類）。它是使用特殊標記構建的序列的第一個標記。 - mask_token (
str, 可選, 預設為"[MASK]") — 用於遮蔽值的標記。這是使用遮蔽語言建模訓練此模型時使用的標記。這是模型將嘗試預測的標記。 - sp_model_kwargs (
dict, 可選) — 將傳遞給SentencePieceProcessor.__init__()方法。 SentencePiece 的 Python 封裝 可用於設定，其中包括：-
enable_sampling: 啟用子詞正則化。 -
nbest_size: Unigram 的取樣引數。對 BPE-Dropout 無效。nbest_size = {0,1}: 不執行取樣。nbest_size > 1: 從 nbest_size 結果中取樣。nbest_size < 0: 假設 nbest_size 無限，並使用前向濾波和後向取樣演算法從所有假設（格）中取樣。
-
alpha: Unigram 取樣的平滑引數，以及 BPE-dropout 的合併操作的 dropout 機率。
-
- sp_model (
SentencePieceProcessor) — 用於所有轉換（字串、標記和 ID）的 SentencePiece 處理器。
改編自 RobertaTokenizer 和 XLNetTokenizer。基於 SentencePiece。
此分詞器繼承自 PreTrainedTokenizer，其中包含大部分主要方法。使用者應參閱此超類以獲取有關這些方法的更多資訊。
build_inputs_with_special_tokens
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
透過連線和新增特殊標記，從序列或序列對構建序列分類任務的模型輸入。XLMProphetNet 序列的格式如下
- 單個序列：
X [SEP] - 序列對：
A [SEP] B [SEP]
將一系列標記（子詞的字串）轉換為單個字串。
create_token_type_ids_from_sequences
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
從傳入的兩個序列建立掩碼，用於序列對分類任務。XLMProphetNet 不使用標記型別 ID，因此返回零列表。
get_special_tokens_mask
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]
從沒有新增特殊標記的標記列表中檢索序列ID。此方法在使用分詞器prepare_for_model方法新增特殊標記時呼叫。
XLMProphetNetModel
class transformers.XLMProphetNetModel
< source >( config: XLMProphetNetConfig )
引數
- config (XLMProphetNetConfig) — 包含模型所有引數的模型配置類。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
裸 XLMProphetNet 模型輸出原始隱藏狀態，頂部沒有任何特定頭。此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭等）
原始 ProphetNet 程式碼可在 此處 找到。檢查點是從原始 Fairseq 檢查點轉換而來的。有關檢查點轉換的更多資訊，請檢視檔案 convert_prophetnet_original_pytorch_checkpoint_to_pytorch.py。
此模型是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參閱 PyTorch 文件中所有與一般用法和行為相關的事項。
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.Tensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple] = None past_key_values: typing.Optional[tuple[tuple[torch.Tensor]]] = None inputs_embeds: typing.Optional[torch.Tensor] = None decoder_inputs_embeds: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetSeq2SeqModelOutput or tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor, 形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果提供，預設情況下將忽略填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor, 形狀為(batch_size, sequence_length), 可選) — 避免對填充標記索引執行注意力的掩碼。掩碼值選擇在[0, 1]：- 1 表示未被掩蔽的標記，
- 0 表示被掩蔽的標記。
- decoder_input_ids (
torch.LongTensor, 形狀為(batch_size, target_sequence_length), 可選) — 詞彙表中解碼器輸入序列標記的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
XLMProphetNet 使用
eos_token_id作為decoder_input_ids生成的起始標記。如果使用past_key_values，可以選擇只輸入最後一個decoder_input_ids（那些沒有將其過去的鍵值狀態提供給此模型的）（形狀為(batch_size, 1)），而不是所有decoder_input_ids（形狀為(batch_size, sequence_length)）。 - decoder_attention_mask (
torch.BoolTensor, 形狀為(batch_size, target_sequence_length), 可選) — 預設行為：生成一個忽略decoder_input_ids中填充標記的張量。預設情況下也將使用因果掩碼。 - head_mask (
torch.Tensor, 形狀為(encoder_layers, encoder_attention_heads), 可選) — 用於使編碼器中注意力模組的選定頭無效的掩碼。掩碼值選擇在[0, 1]：- 1 表示頭部未被掩蔽，
- 0 表示頭部被掩蔽。
- decoder_head_mask (
torch.Tensor, 形狀為(decoder_layers, decoder_attention_heads), 可選) — 用於使解碼器中注意力模組的選定頭無效的掩碼。掩碼值選擇在[0, 1]：- 1 表示頭部未被掩蔽，
- 0 表示頭部被掩蔽。
- cross_attn_head_mask (
torch.Tensor, 形狀為(decoder_layers, decoder_attention_heads), 可選) — 用於使交叉注意力模組的選定頭無效的掩碼。掩碼值選擇在[0, 1]：- 1 表示頭部未被掩蔽，
- 0 表示頭部被掩蔽。
- encoder_outputs (
tuple(tuple(torch.FloatTensor), 可選) — 元組由 (last_hidden_state, 可選:hidden_states, 可選:attentions) 組成，last_hidden_state的形狀為(batch_size, sequence_length, hidden_size), 可選) 是編碼器最後一層輸出的隱藏狀態序列。在解碼器的交叉注意力中使用。 - past_key_values (
tuple(tuple(torch.FloatTensor)), 長度為config.n_layers，每個元組有 4 個張量，形狀為(batch_size, num_heads, sequence_length - 1, embed_size_per_head)) — 包含注意力塊的預計算鍵和值隱藏狀態。可用於加速解碼。如果使用
past_key_values，使用者可以選擇只輸入最後一個decoder_input_ids（那些沒有將其過去的鍵值狀態提供給此模型的），形狀為(batch_size, 1)，而不是所有decoder_input_ids，形狀為(batch_size, sequence_length)。 - use_cache (
bool, 可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（參閱past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
返回
transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetSeq2SeqModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetSeq2SeqModelOutput 或 torch.FloatTensor 元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），包含根據配置（XLMProphetNetConfig）和輸入的不同元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, decoder_sequence_length, hidden_size)) — 模型解碼器最後一層輸出的主流隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
last_hidden_state_ngram (
torch.FloatTensor, 形狀為(batch_size,ngram * decoder_sequence_length, config.vocab_size), 可選) — 模型解碼器最後一層輸出的預測流隱藏狀態序列。 -
past_key_values (
list[torch.FloatTensor], 可選, 當傳入use_cache=True或當config.use_cache=True時返回) — 長度為config.n_layers的torch.FloatTensor列表，每個張量的形狀為(2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head))。包含解碼器注意力塊的預計算隱藏狀態（鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 一個用於每層輸出），形狀為(batch_size, decoder_sequence_length, hidden_size)。解碼器主流在每層輸出處的隱藏狀態以及初始嵌入輸出。
-
decoder_ngram_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 一個用於每層輸出），形狀為(batch_size, ngram * decoder_sequence_length, hidden_size)。解碼器預測流在每層輸出處的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
decoder_ngram_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。解碼器預測流的注意力權重，在注意力 softmax 之後，用於計算加權平均值。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算加權平均值。
-
encoder_last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, encoder_sequence_length, hidden_size), 可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 一個用於每層輸出），形狀為(batch_size, encoder_sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, encoder_sequence_length, encoder_sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
XLMProphetNetModel 的 forward 方法，覆蓋了 __call__ 特殊方法。
雖然前向傳播的配方需要在該函式中定義，但在此之後應呼叫 Module 例項，而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, XLMProphetNetModel
>>> tokenizer = AutoTokenizer.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> model = XLMProphetNetModel.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> input_ids = tokenizer(
... "Studies have been shown that owning a dog is good for you", return_tensors="pt"
... ).input_ids # Batch size 1
>>> decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids # Batch size 1
>>> outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
>>> last_hidden_states = outputs.last_hidden_state # main stream hidden states
>>> last_hidden_states_ngram = outputs.last_hidden_state_ngram # predict hidden statesXLMProphetNetEncoder
class transformers.XLMProphetNetEncoder
< source >( config: XLMProphetNetConfig word_embeddings: Embedding = None )
引數
- config (XLMProphetNetConfig) — 包含模型所有引數的模型配置類。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
XLMProphetNetModel 的獨立編碼器部分。此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭等）
原始 ProphetNet 程式碼可在 此處 找到。檢查點是從原始 Fairseq 檢查點轉換而來的。有關檢查點轉換的更多資訊，請檢視檔案 convert_prophetnet_original_pytorch_checkpoint_to_pytorch.py。
此模型是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參閱 PyTorch 文件中所有與一般用法和行為相關的事項。
word_embeddings (torch.nn.Embeddings，形狀為 (config.vocab_size, config.hidden_size), 可選)：詞嵌入引數。這可用於使用預定義的詞嵌入初始化 XLMProphetNetEncoder，而不是隨機初始化的詞嵌入。
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果提供填充，將預設忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示未被遮蓋的標記，
- 0 表示被遮蓋的標記。
- head_mask (
torch.Tensor，形狀為(encoder_layers, encoder_attention_heads)，可選) — 用於使編碼器中注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被遮蓋，
- 0 表示頭部被遮蓋。
- output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參見返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參見返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回 ModelOutput 而不是普通元組。
返回
transformers.modeling_outputs.BaseModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.BaseModelOutput 或 torch.FloatTensor 的元組（如果傳遞 return_dict=False 或 config.return_dict=False），包含根據配置（XLMProphetNetConfig）和輸入的不同元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出（如果模型有嵌入層），加上一個用於每個層的輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
XLMProphetNetEncoder 的 forward 方法，覆蓋了 __call__ 特殊方法。
雖然前向傳播的配方需要在該函式中定義，但在此之後應呼叫 Module 例項，而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, XLMProphetNetEncoder
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> model = XLMProphetNetEncoder.from_pretrained("patrickvonplaten/prophetnet-large-uncased-standalone")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_stateXLMProphetNetDecoder
class transformers.XLMProphetNetDecoder
< 原始檔 >( config: XLMProphetNetConfig word_embeddings: typing.Optional[torch.nn.modules.sparse.Embedding] = None )
引數
- config (XLMProphetNetConfig) — 模型配置類，包含模型的所有引數。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
XLMProphetNetModel 的獨立解碼器部分。此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
原始 ProphetNet 程式碼可在 此處 找到。檢查點是從原始 Fairseq 檢查點轉換而來的。有關檢查點轉換的更多資訊，請檢視檔案 convert_prophetnet_original_pytorch_checkpoint_to_pytorch.py。
此模型是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參閱 PyTorch 文件中所有與一般用法和行為相關的事項。
word_embeddings (torch.nn.Embeddings，形狀為 (config.vocab_size, config.hidden_size), 可選)：詞嵌入引數。這可用於使用預定義的詞嵌入初始化 XLMProphetNetEncoder，而不是隨機初始化的詞嵌入。
forward
< 原始檔 >( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None encoder_hidden_states: typing.Optional[torch.Tensor] = None encoder_attention_mask: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[tuple[tuple[torch.Tensor]]] = None inputs_embeds: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetDecoderModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果提供填充，將預設忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示未被遮蓋的標記，
- 0 表示被遮蓋的標記。
- head_mask (
torch.Tensor，形狀為(encoder_layers, encoder_attention_heads)，可選) — 用於使編碼器中注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被遮蓋，
- 0 表示頭部被遮蓋。
- output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參見返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參見返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回 ModelOutput 而不是普通元組。 - encoder_hidden_states (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型配置為解碼器，則在交叉注意力中使用。 - encoder_attention_mask (
torch.FloatTensor，形狀為(batch_size, sequence_length)，可選) — 避免對編碼器輸入中的填充標記索引執行注意力操作的掩碼。如果模型配置為解碼器，則此掩碼在交叉注意力中使用。掩碼值選擇範圍為[0, 1]： - cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使交叉注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被遮蓋，
- 0 表示頭部被遮蓋。
- past_key_values (
tuple(tuple(torch.FloatTensor))，長度為config.n_layers，每個元組包含 4 個張量，形狀為(batch_size, num_heads, sequence_length - 1, embed_size_per_head)) — 包含注意力塊的預計算鍵值隱藏狀態。可用於加速解碼。如果使用
past_key_values，使用者可以選擇僅輸入形狀為(batch_size, 1)的最後decoder_input_ids（那些沒有將其過去鍵值狀態提供給此模型的），而不是形狀為(batch_size, sequence_length)的所有decoder_input_ids。 - use_cache (
bool，可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。- 1 表示未被遮蓋的標記，
- 0 表示被遮蓋的標記。
返回
transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetDecoderModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetDecoderModelOutput 或 torch.FloatTensor 的元組（如果傳遞 return_dict=False 或 config.return_dict=False），包含根據配置（XLMProphetNetConfig）和輸入的不同元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, decoder_sequence_length, hidden_size)) — 模型解碼器最後一層輸出的主流隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
last_hidden_state_ngram (
torch.FloatTensor，形狀為(batch_size, ngram * decoder_sequence_length, config.vocab_size)) — 模型解碼器最後一層輸出的預測流隱藏狀態序列。 -
past_key_values (
list[torch.FloatTensor], 可選, 當傳入use_cache=True或當config.use_cache=True時返回) — 長度為config.n_layers的torch.FloatTensor列表，每個張量的形狀為(2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head))。包含解碼器注意力塊的預計算隱藏狀態（鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，加上一個用於每個層的輸出），形狀為(batch_size, decoder_sequence_length, hidden_size)。解碼器主流在每層輸出處的隱藏狀態以及初始嵌入輸出。
-
ngram_hidden_states (
tuple(torch.FloatTensor)，可選，當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，加上一個用於每個層的輸出），形狀為(batch_size, ngram * decoder_sequence_length, hidden_size)。解碼器預測流在每層輸出處的隱藏狀態以及初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
ngram_attentions (
tuple(torch.FloatTensor)，可選，當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。解碼器預測流的注意力權重，在注意力 softmax 之後，用於計算加權平均值。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算加權平均值。
XLMProphetNetDecoder 的 forward 方法，覆蓋了 __call__ 特殊方法。
雖然前向傳播的配方需要在該函式中定義，但在此之後應呼叫 Module 例項，而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, XLMProphetNetDecoder
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> model = XLMProphetNetDecoder.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone", add_cross_attention=False)
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_stateXLMProphetNetForConditionalGeneration
class transformers.XLMProphetNetForConditionalGeneration
< 原始檔 >( config: XLMProphetNetConfig )
引數
- config (XLMProphetNetConfig) — 模型配置類，包含模型的所有引數。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
帶語言建模頭的 XLMProphetNet 模型。可用於序列生成任務。此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
原始 ProphetNet 程式碼可在 此處 找到。檢查點是從原始 Fairseq 檢查點轉換而來的。有關檢查點轉換的更多資訊，請檢視檔案 convert_prophetnet_original_pytorch_checkpoint_to_pytorch.py。
此模型是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參閱 PyTorch 文件中所有與一般用法和行為相關的事項。
forward
< 原始檔 >( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.Tensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[tuple[tuple[torch.Tensor]]] = None inputs_embeds: typing.Optional[torch.Tensor] = None decoder_inputs_embeds: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetSeq2SeqLMOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果提供填充，將預設忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示未被遮蓋的標記，
- 0 表示被遮蓋的標記。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列標記的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
XLMProphetNet 使用
eos_token_id作為decoder_input_ids生成的起始標記。如果使用past_key_values，可以選擇只輸入形狀為(batch_size, 1)的最後decoder_input_ids（那些沒有將其過去鍵值狀態提供給此模型的）（參見past_key_values）。 - decoder_attention_mask (
torch.BoolTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略decoder_input_ids中填充標記的張量。預設情況下也將使用因果掩碼。 - head_mask (
torch.Tensor，形狀為(encoder_layers, encoder_attention_heads)，可選) — 用於使編碼器中注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被遮蓋，
- 0 表示頭部被遮蓋。
- decoder_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被遮蓋，
- 0 表示頭部被遮蓋。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於使交叉注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被遮蓋，
- 0 表示頭部被遮蓋。
- encoder_outputs (
tuple(tuple(torch.FloatTensor)，可選) — 元組包含（last_hidden_state，可選：hidden_states，可選：attentions）last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。在解碼器的交叉注意力中使用。 - past_key_values (
tuple(tuple(torch.FloatTensor))，長度為config.n_layers，每個元組包含 4 個張量，形狀為(batch_size, num_heads, sequence_length - 1, embed_size_per_head)) — 包含注意力塊的預計算鍵值隱藏狀態。可用於加速解碼。如果使用
past_key_values，使用者可以選擇僅輸入形狀為(batch_size, 1)的最後decoder_input_ids（那些沒有將其過去鍵值狀態提供給此模型的），而不是形狀為(batch_size, sequence_length)的所有decoder_input_ids。 - use_cache (
bool，可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參見返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參見返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回 ModelOutput 而不是普通元組。 - labels (
torch.LongTensor，形狀為(batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在[-100, 0, ..., config.vocab_size - 1]之間。所有設定為-100的標籤都將被忽略（被遮蓋），損失只針對[0, ..., config.vocab_size]中的標籤計算。
返回
transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetSeq2SeqLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetSeq2SeqLMOutput 或 torch.FloatTensor 的元組（如果傳遞 return_dict=False 或 config.return_dict=False），包含根據配置（XLMProphetNetConfig）和輸入的不同元素。
-
loss (
torch.FloatTensor，形狀為(1,)，可選，當提供labels時返回) — 語言建模損失。 -
logits (
torch.FloatTensor，形狀為(batch_size, decoder_sequence_length, config.vocab_size)) — 主流語言建模頭的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
logits_ngram (
torch.FloatTensor，形狀為(batch_size, ngram * decoder_sequence_length, config.vocab_size)) — 預測流語言建模頭的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
list[torch.FloatTensor], 可選, 當傳入use_cache=True或當config.use_cache=True時返回) — 長度為config.n_layers的torch.FloatTensor列表，每個張量的形狀為(2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head))。包含解碼器注意力塊的預計算隱藏狀態（鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 一個用於每層輸出），形狀為(batch_size, decoder_sequence_length, hidden_size)。解碼器主流在每層輸出處的隱藏狀態以及初始嵌入輸出。
-
decoder_ngram_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 一個用於每層輸出），形狀為(batch_size, ngram * decoder_sequence_length, hidden_size)。解碼器預測流在每層輸出處的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
decoder_ngram_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。解碼器預測流的注意力權重，在注意力 softmax 之後，用於計算自注意力頭部中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算加權平均值。
-
encoder_last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, encoder_sequence_length, hidden_size), 可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（一個用於嵌入輸出 + 一個用於每層輸出），形狀為(batch_size, encoder_sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor)，可選，當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_attn_heads, encoder_sequence_length, encoder_sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭部中的加權平均。
XLMProphetNetForConditionalGeneration 的 forward 方法，覆蓋了 __call__ 特殊方法。
雖然前向傳播的配方需要在該函式中定義，但在此之後應呼叫 Module 例項，而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, XLMProphetNetForConditionalGeneration
>>> tokenizer = AutoTokenizer.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> model = XLMProphetNetForConditionalGeneration.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> input_ids = tokenizer(
... "Studies have been shown that owning a dog is good for you", return_tensors="pt"
... ).input_ids # Batch size 1
>>> decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids # Batch size 1
>>> outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
>>> logits_next_token = outputs.logits # logits to predict next token as usual
>>> logits_ngram_next_tokens = outputs.logits_ngram # logits to predict 2nd, 3rd, ... next tokensXLMProphetNetForCausalLM
class transformers.XLMProphetNetForCausalLM
< 原始檔 >( config: XLMProphetNetConfig )
引數
- config (XLMProphetNetConfig) — 模型配置類，包含模型的所有引數。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
XLMProphetNetModel 的獨立解碼器部分，頂部帶有一個 LM 頭。該模型可用於因果語言建模。此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
原始 ProphetNet 程式碼可在 此處 找到。檢查點是從原始 Fairseq 檢查點轉換而來的。有關檢查點轉換的更多資訊，請檢視檔案 convert_prophetnet_original_pytorch_checkpoint_to_pytorch.py。
此模型是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參閱 PyTorch 文件中所有與一般用法和行為相關的事項。
forward
< 原始檔 >( input_ids: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None encoder_hidden_states: typing.Optional[torch.Tensor] = None encoder_attention_mask: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[tuple[tuple[torch.Tensor]]] = None inputs_embeds: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetDecoderLMOutput or tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor) — 詞彙表中輸入序列 token 的索引。如果提供，預設情況下將忽略填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (形狀為
(batch_size, sequence_length)的torch.Tensor, 可選) — 避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示 token 未被掩蓋,
- 0 表示 token 被掩蓋.
- head_mask (形狀為
(encoder_layers, encoder_attention_heads)的torch.Tensor, 可選) — 用於使編碼器中注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被掩蓋,
- 0 表示頭部被掩蓋.
- output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - encoder_hidden_states (形狀為
(batch_size, sequence_length, hidden_size)的torch.FloatTensor, 可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型配置為解碼器，則用於交叉注意力。 - encoder_attention_mask (形狀為
(batch_size, sequence_length)的torch.FloatTensor, 可選) — 用於避免對編碼器輸入的填充 token 索引執行注意力操作的掩碼。如果模型配置為解碼器，則此掩碼用於交叉注意力。掩碼值選擇範圍為[0, 1]： - cross_attn_head_mask (形狀為
(decoder_layers, decoder_attention_heads)的torch.Tensor, 可選) — 用於使交叉注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為[0, 1]：- 1 表示頭部未被掩蓋,
- 0 表示頭部被掩蓋.
- past_key_values (長度為
config.n_layers的tuple(tuple(torch.FloatTensor))，每個元組包含 4 個形狀為(batch_size, num_heads, sequence_length - 1, embed_size_per_head)的張量) — 包含注意力塊的預計算鍵值隱藏狀態。可用於加快解碼速度。如果使用
past_key_values，使用者可以選擇只輸入形狀為(batch_size, 1)的最後一個decoder_input_ids（那些沒有將其過去的鍵值狀態提供給此模型的），而不是所有形狀為(batch_size, sequence_length)的decoder_input_ids。 - use_cache (
bool, 可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加快解碼速度（請參閱past_key_values）。- 1 表示 token 未被掩蓋,
- 0 表示 token 被掩蓋.
- labels (形狀為
(batch_size, sequence_length)的torch.LongTensor, 可選) — 用於計算從左到右語言建模損失（下一個詞預測）的標籤。索引應在[-100, 0, ..., config.vocab_size]範圍內（請參閱input_ids文件字串）。索引設定為-100的 token 將被忽略（掩蓋），損失僅針對標籤在[0, ..., config.vocab_size]中的 token 計算。
返回
transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetDecoderLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetDecoderLMOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），其中包含各種元素，具體取決於配置（XLMProphetNetConfig）和輸入。
-
loss (
torch.FloatTensor，形狀為(1,)，可選，當提供labels時返回) — 語言建模損失。 -
logits (
torch.FloatTensor，形狀為(batch_size, decoder_sequence_length, config.vocab_size)) — 主流語言建模頭的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
logits_ngram (
torch.FloatTensor，形狀為(batch_size, ngram * decoder_sequence_length, config.vocab_size)) — 預測流語言建模頭的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
list[torch.FloatTensor], 可選, 當傳入use_cache=True或當config.use_cache=True時返回) — 長度為config.n_layers的torch.FloatTensor列表，每個張量的形狀為(2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head))。包含解碼器注意力塊的預計算隱藏狀態（鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，加上一個用於每個層的輸出），形狀為(batch_size, decoder_sequence_length, hidden_size)。解碼器主流在每層輸出處的隱藏狀態以及初始嵌入輸出。
-
ngram_hidden_states (
tuple(torch.FloatTensor)，可選，當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，加上一個用於每個層的輸出），形狀為(batch_size, ngram * decoder_sequence_length, hidden_size)。解碼器預測流在每層輸出處的隱藏狀態以及初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
ngram_attentions (
tuple(torch.FloatTensor)，可選，當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。解碼器預測流的注意力權重，在注意力 softmax 之後，用於計算加權平均值。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每層一個），形狀為(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算加權平均值。
XLMProphetNetForCausalLM 的 forward 方法，重寫了 __call__ 特殊方法。
雖然前向傳播的配方需要在該函式中定義，但在此之後應呼叫 Module 例項，而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, XLMProphetNetForCausalLM
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> model = XLMProphetNetForCausalLM.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> assert model.config.is_decoder, f"{model.__class__} has to be configured as a decoder."
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> # Model can also be used with EncoderDecoder framework
>>> from transformers import BertTokenizer, EncoderDecoderModel, AutoTokenizer
>>> import torch
>>> tokenizer_enc = BertTokenizer.from_pretrained("google-bert/bert-large-uncased")
>>> tokenizer_dec = AutoTokenizer.from_pretrained("patrickvonplaten/xprophetnet-large-uncased-standalone")
>>> model = EncoderDecoderModel.from_encoder_decoder_pretrained(
... "google-bert/bert-large-uncased", "patrickvonplaten/xprophetnet-large-uncased-standalone"
... )
>>> ARTICLE = (
... "the us state department said wednesday it had received no "
... "formal word from bolivia that it was expelling the us ambassador there "
... "but said the charges made against him are `` baseless ."
... )
>>> input_ids = tokenizer_enc(ARTICLE, return_tensors="pt").input_ids
>>> labels = tokenizer_dec(
... "us rejects charges against its ambassador in bolivia", return_tensors="pt"
... ).input_ids
>>> outputs = model(input_ids=input_ids, decoder_input_ids=labels[:, :-1], labels=labels[:, 1:])
>>> loss = outputs.loss