Hugging Face 的 LOGO

Transformers 文件

FSMT

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

FSMT

概述

FSMT (FairSeq MachineTranslation) 模型由 Nathan Ng、Kyra Yee、Alexei Baevski、Myle Ott、Michael Auli、Sergey Edunov 在 Facebook FAIR’s WMT19 News Translation Task Submission 一文中提出。

論文摘要如下：

本文介紹了 Facebook FAIR 在 WMT19 新聞翻譯共享任務中的提交方案。我們參加了兩個語言對和四個翻譯方向：英語 <-> 德語和英語 <-> 俄語。延續去年的提交方案，我們的基線系統是基於 BPE 的大型 Transformer 模型，使用 Fairseq 序列建模工具包進行訓練，並依賴於取樣反向翻譯。今年我們嘗試了不同的雙語資料過濾方案，以及新增經過濾的反向翻譯資料。我們還對模型進行整合和特定領域資料微調，然後使用帶噪聲的通道模型進行重排序解碼。我們的提交方案在人工評估的四個翻譯方向上均排名第一。在英譯德任務中，我們的系統顯著優於其他系統及人類翻譯。該系統比我們在 WMT'18 提交的方案提升了 4.5 個 BLEU 分數。

該模型由 stas 貢獻。原始程式碼可在此處找到。

實現說明

  • FSMT 使用獨立的源語言和目標語言詞彙表，二者並未合併。它也不共享詞元嵌入。其分詞器與 XLMTokenizer 非常相似，主模型派生自 BartModel。

FSMTConfig

class transformers.FSMTConfig

< >

( langs = ['en', 'de'] src_vocab_size = 42024 tgt_vocab_size = 42024 activation_function = 'relu' d_model = 1024 max_length = 200 max_position_embeddings = 1024 encoder_ffn_dim = 4096 encoder_layers = 12 encoder_attention_heads = 16 encoder_layerdrop = 0.0 decoder_ffn_dim = 4096 decoder_layers = 12 decoder_attention_heads = 16 decoder_layerdrop = 0.0 attention_dropout = 0.0 dropout = 0.1 activation_dropout = 0.0 init_std = 0.02 decoder_start_token_id = 2 is_encoder_decoder = True scale_embedding = True tie_word_embeddings = False num_beams = 5 length_penalty = 1.0 early_stopping = False use_cache = True pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 forced_eos_token_id = 2 **common_kwargs )

引數

  • langs (list[str]) — 包含源語言和目標語言的列表（例如 `['en', 'ru']`）。
  • src_vocab_size (int) — 編碼器的詞彙表大小。定義了編碼器中前向方法 `inputs_ids` 可以表示的不同詞元的數量。
  • tgt_vocab_size (int) — 解碼器的詞彙表大小。定義瞭解碼器中前向方法 `inputs_ids` 可以表示的不同詞元的數量。
  • d_model (int, 可選, 預設為 1024) — 層和池化層的維度。
  • encoder_layers (int, 可選, 預設為 12) — 編碼器層數。
  • decoder_layers (int, 可選, 預設為 12) — 解碼器層數。
  • encoder_attention_heads (int, 可選, 預設為 16) — Transformer 編碼器中每個注意力層的注意力頭數量。
  • decoder_attention_heads (int, 可選, 預設為 16) — Transformer 解碼器中每個注意力層的注意力頭數量。
  • decoder_ffn_dim (int, 可選, 預設為 4096) — 解碼器中“中間層”（通常稱為前饋層）的維度。
  • encoder_ffn_dim (int, 可選, 預設為 4096) — 編碼器中“中間層”（通常稱為前饋層）的維度。
  • activation_function (str 或 Callable, 可選, 預設為 "relu") — 編碼器和池化層中的非線性啟用函式（函式或字串）。如果為字串，支援 `"gelu"`、`"relu"`、`"silu"` 和 `"gelu_new"`。
  • dropout (float, 可選, 預設為 0.1) — 嵌入層、編碼器和池化層中所有全連線層的丟棄機率。
  • attention_dropout (float, 可選, 預設為 0.0) — 注意力機率的丟棄率。
  • activation_dropout (float, 可選, 預設為 0.0) — 全連線層內啟用函式的丟棄率。
  • max_position_embeddings (int, 可選, 預設為 1024) — 該模型可能使用的最大序列長度。通常設定為一個較大的值以備不時之需（例如 512、1024 或 2048）。
  • init_std (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態分佈初始化器的標準差。
  • scale_embedding (bool, 可選, 預設為 True) — 是否透過除以 sqrt(d_model) 來縮放嵌入。
  • bos_token_id (int, 可選, 預設為 0) — 序列開始詞元的 ID。
  • pad_token_id (int, 可選, 預設為 1) — 填充詞元的 ID。
  • eos_token_id (int, 可選, 預設為 2) — 序列結束詞元的 ID。
  • decoder_start_token_id (int, 可選) — 該模型使用 `eos_token_id` 開始解碼。
  • encoder_layerdrop (float, 可選, 預設為 0.0) — 請谷歌搜尋 “layerdrop arxiv”，因為無法用一句話解釋清楚。
  • decoder_layerdrop (float, 可選, 預設為 0.0) — 請谷歌搜尋 “layerdrop arxiv”，因為無法用一句話解釋清楚。
  • is_encoder_decoder (bool, 可選, 預設為 True) — 這是否是一個編碼器/解碼器模型。
  • tie_word_embeddings (bool, 可選, 預設為 False) — 是否繫結輸入和輸出嵌入。
  • num_beams (int, 可選, 預設為 5) — 用於束搜尋的束數量，模型 `generate` 方法將預設使用此值。1 表示不使用束搜尋。
  • length_penalty (float, 可選, 預設為 1) — 用於基於束的生成的長度指數懲罰。它作為序列長度的指數，然後用於除以序列的得分。由於得分是序列的對數似然（即負值），`length_penalty` > 0.0 會鼓勵生成更長的序列，而 `length_penalty` < 0.0 會鼓勵生成更短的序列。
  • early_stopping (bool, 可選, 預設為 False) — 該標誌將預設用於模型的 `generate` 方法。是否在每批次中至少有 `num_beams` 個句子完成時停止束搜尋。
  • use_cache (bool, 可選, 預設為 True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。
  • forced_eos_token_id (int, 可選, 預設為 2) — 當達到 `max_length` 時，強制作為最後一個生成詞元的 ID。通常設定為 `eos_token_id`。

這是一個配置類，用於儲存 FSMTModel 的配置。它用於根據指定的引數例項化一個 FSMT 模型，定義模型架構。使用預設值例項化配置將產生與 FSMT facebook/wmt19-en-ru 架構類似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import FSMTConfig, FSMTModel

>>> # Initializing a FSMT facebook/wmt19-en-ru style configuration
>>> config = FSMTConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = FSMTModel(config)

>>> # Accessing the model configuration
>>> configuration = model.config

FSMTTokenizer

class transformers.FSMTTokenizer

< >

( langs = None src_vocab_file = None tgt_vocab_file = None merges_file = None do_lower_case = False unk_token = '<unk>' bos_token = '<s>' sep_token = '</s>' pad_token = '<pad>' **kwargs )

引數

  • langs (List[str], 可選) — 包含兩種語言的列表，用於指定翻譯的源語言和目標語言，例如 ["en", "ru"]。
  • src_vocab_file (str, 可選) — 包含源語言詞彙表的檔案。
  • tgt_vocab_file (st, 可選) — 包含目標語言詞彙表的檔案。
  • merges_file (str, 可選) — 包含合併規則的檔案。
  • do_lower_case (bool, 可選, 預設為 False) — 是否在分詞時將輸入轉換為小寫。
  • unk_token (str, 可選, 預設為 "<unk>") — 未知詞元。不在詞彙表中的詞元無法轉換為 ID，將被設定為此詞元。
  • bos_token (str, 可選, 預設為 "<s>") — 序列開始詞元，在預訓練期間使用。可用作序列分類器的詞元。

    當使用特殊詞元構建序列時，這不是用於序列開始的詞元。使用的詞元是 `cls_token`。
  • sep_token (str, 可選, 預設為 "</s>") — 分隔符詞元，用於從多個序列構建一個序列時，例如，用於序列分類的兩個序列，或用於問答任務的文字和問題。它也用作使用特殊詞元構建的序列的最後一個詞元。
  • pad_token (str, 可選, 預設為 "<pad>") — 用於填充的詞元，例如在批處理不同長度的序列時使用。

構建一個 FAIRSEQ Transformer 分詞器。基於位元組對編碼 (Byte-Pair Encoding)。分詞過程如下：

  • Moses 預處理和分詞。
  • 對所有輸入文字進行歸一化。
  • 引數 `special_tokens` 和函式 `set_special_tokens` 可用於向詞彙表新增額外的符號（如 “classify”）。
  • 引數 langs 定義了一對語言。

該分詞器繼承自 PreTrainedTokenizer，其中包含了大部分主要方法。使用者應參考此超類以獲取有關這些方法的更多資訊。

build_inputs_with_special_tokens

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → List[int]

引數

  • token_ids_0 (List[int]) — 將要新增特殊詞元的 ID 列表。
  • token_ids_1 (List[int], 可選) — 序列對中可選的第二個 ID 列表。

返回

List[int]

帶有適當特殊標記的輸入ID列表。

透過連線和新增特殊詞元，為序列分類任務從一個序列或一對序列構建模型輸入。FAIRSEQ Transformer 序列具有以下格式

  • 單個序列：<s> X </s>
  • 序列對：<s> A </s> B </s>

get_special_tokens_mask

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → List[int]

引數

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], 可選) — 序列對中可選的第二個 ID 列表。
  • already_has_special_tokens (bool, 可選, 預設為 False) — 詞元列表是否已經為模型格式化了特殊詞元。

返回

List[int]

一個範圍為 [0, 1] 的整數列表：1 表示特殊標記，0 表示序列標記。

從沒有新增特殊標記的標記列表中檢索序列ID。此方法在使用分詞器prepare_for_model方法新增特殊標記時呼叫。

create_token_type_ids_from_sequences

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

引數

  • token_ids_0 (list[int]) — 第一個分詞後的序列。
  • token_ids_1 (list[int], 可選) — 第二個分詞後的序列。

返回

list[int]

標記型別 ID。

建立與傳入序列對應的標記型別 ID。什麼是標記型別 ID？

如果模型有特殊的構建方式，應在子類中重寫此方法。

save_vocabulary

< >

( save_directory: str filename_prefix: typing.Optional[str] = None )

FSMTModel

class transformers.FSMTModel

< >

( config: FSMTConfig )

引數

  • config (FSMTConfig) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請查閱 from_pretrained() 方法來載入模型權重。

基礎的 Fsmt 模型，輸出原始的隱藏狀態，頂部沒有任何特定的頭。

此模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規的 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< >

( input_ids: LongTensor attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[torch.FloatTensor]] = None past_key_values: typing.Optional[tuple[torch.FloatTensor]] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqModelOutput or tuple(torch.FloatTensor)

引數

  • input_ids (torch.LongTensor, 形狀為 (batch_size, sequence_length)) — 詞彙表中輸入序列詞元的索引。預設情況下，填充將被忽略。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • attention_mask (torch.Tensor, 形狀為 (batch_size, sequence_length), 可選) — 用於避免在填充詞元索引上執行注意力操作的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示詞元未被掩碼，
    • 0 表示詞元被掩碼。

    什麼是注意力掩碼？

  • decoder_input_ids (torch.LongTensor, 形狀為 (batch_size, target_sequence_length), 可選) — 詞彙表中解碼器輸入序列詞元的索引。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是解碼器輸入 ID？

    FSMT 使用 `eos_token_id` 作為生成 `decoder_input_ids` 的起始詞元。如果使用 `past_key_values`，可以選擇只輸入最後的 `decoder_input_ids`（參見 `past_key_values`）。

  • decoder_attention_mask (torch.BoolTensor, 形狀為 (batch_size, target_sequence_length), 可選) — 預設行為：生成一個忽略 `decoder_input_ids` 中填充詞元的張量。預設情況下也會使用因果掩碼。
  • head_mask (torch.Tensor, 形狀為 (num_heads,) 或 (num_layers, num_heads), 可選) — 用於將自注意力模組中選定的頭置零的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示頭未被掩碼，
    • 0 表示頭被掩碼。
  • decoder_head_mask (torch.Tensor, 形狀為 (decoder_layers, decoder_attention_heads), 可選) — 用於將解碼器中注意力模組選定的頭置零的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示頭未被掩碼，
    • 0 表示頭被掩碼。
  • cross_attn_head_mask (torch.Tensor, 形狀為 (decoder_layers, decoder_attention_heads), 可選) — 用於將解碼器中交叉注意力模組選定的頭置零的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示頭未被掩碼，
    • 0 表示頭被掩碼。
  • encoder_outputs (tuple[torch.FloatTensor], 可選) — 元組包含（`last_hidden_state`，可選：`hidden_states`，可選：`attentions`）。形狀為 `(batch_size, sequence_length, hidden_size)` 的 `last_hidden_state`，可選，是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
  • past_key_values (tuple[torch.FloatTensor], 可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括在解碼的前一個階段，當 `use_cache=True` 或 `config.use_cache=True` 時，模型返回的 `past_key_values`。

    允許兩種格式：

    • 一個 Cache 例項，請參閱我們的 kv 快取指南；
    • 一個長度為 `config.n_layers` 的 `tuple(torch.FloatTensor)` 元組，其中每個元組包含2個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量。這也稱為傳統快取格式。

    模型將輸出與輸入相同的快取格式。如果沒有傳遞 `past_key_values`，將返回傳統快取格式。

    如果使用 `past_key_values`，使用者可以選擇只輸入最後一個 `input_ids`（即那些沒有為其提供過去鍵值狀態的詞元），形狀為 `(batch_size, 1)`，而不是所有形狀為 `(batch_size, sequence_length)` 的 `input_ids`。

  • use_cache (bool, 可選) — 如果設定為 `True`，將返回 `past_key_values` 鍵值狀態，可用於加速解碼（參見 `past_key_values`）。
  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
  • inputs_embeds (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size), 可選) — 或者，你可以選擇直接傳遞嵌入表示，而不是傳遞 `input_ids`。如果你希望比模型的內部嵌入查詢矩陣有更多控制權來將 `input_ids` 索引轉換為相關向量，這會很有用。
  • decoder_inputs_embeds (torch.FloatTensor, 形狀為 (batch_size, target_sequence_length, hidden_size), 可選) — 或者，你可以選擇直接傳遞嵌入表示，而不是傳遞 `decoder_input_ids`。如果使用 `past_key_values`，可以選擇只輸入最後的 `decoder_inputs_embeds`（參見 `past_key_values`）。如果你希望比模型的內部嵌入查詢矩陣有更多控制權來將 `decoder_input_ids` 索引轉換為相關向量，這會很有用。

    如果 `decoder_input_ids` 和 `decoder_inputs_embeds` 均未設定，則 `decoder_inputs_embeds` 的值將取自 `inputs_embeds`。

  • return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

返回

transformers.modeling_outputs.Seq2SeqModelOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.Seq2SeqModelOutput 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），包含根據配置（FSMTConfig）和輸入而異的各種元素。

  • last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。

    如果使用了 past_key_values，則只輸出形狀為 (batch_size, 1, hidden_size) 的序列的最後一個隱藏狀態。

  • past_key_values (EncoderDecoderCache, 可選, 在傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

    包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

  • decoder_hidden_states (tuple(torch.FloatTensor), 可選, 在傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    解碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。

  • decoder_attentions (tuple(torch.FloatTensor), 可選, 在傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • cross_attentions (tuple(torch.FloatTensor), 可選, 在傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

  • encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。

  • encoder_hidden_states (tuple(torch.FloatTensor), 可選, 在傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    編碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。

  • encoder_attentions (tuple(torch.FloatTensor), 可選, 在傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

FSMTModel 的 forward 方法，重寫了 `__call__` 特殊方法。

儘管前向傳播的邏輯需要在此函式內定義，但之後應該呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

FSMTForConditionalGeneration

class transformers.FSMTForConditionalGeneration

< >

( config: FSMTConfig )

引數

  • config (FSMTConfig) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請查閱 from_pretrained() 方法來載入模型權重。

帶有語言模型頭的 FSMT 模型。可用於摘要生成。

此模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規的 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[torch.FloatTensor]] = None past_key_values: typing.Optional[tuple[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.Tensor] = None decoder_inputs_embeds: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqLMOutput or tuple(torch.FloatTensor)

引數

  • input_ids (torch.LongTensor, 形狀為 (batch_size, sequence_length), 可選) — 詞彙表中輸入序列詞元的索引。預設情況下，填充將被忽略。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • attention_mask (torch.Tensor, 形狀為 (batch_size, sequence_length), 可選) — 用於避免在填充詞元索引上執行注意力操作的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示詞元未被掩碼，
    • 0 表示詞元被掩碼。

    什麼是注意力掩碼？

  • decoder_input_ids (torch.LongTensor, 形狀為 (batch_size, target_sequence_length), 可選) — 詞彙表中解碼器輸入序列詞元的索引。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是解碼器輸入 ID？

    FSMT 使用 `eos_token_id` 作為生成 `decoder_input_ids` 的起始詞元。如果使用 `past_key_values`，可以選擇只輸入最後的 `decoder_input_ids`（參見 `past_key_values`）。

  • decoder_attention_mask (torch.BoolTensor, 形狀為 (batch_size, target_sequence_length), 可選) — 預設行為：生成一個忽略 `decoder_input_ids` 中填充詞元的張量。預設情況下也會使用因果掩碼。
  • head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於將自注意力模組中選定的頭置為無效的掩碼。掩碼值的取值範圍為 [0, 1]：

    • 1 表示頭未被掩碼，
    • 0 表示頭被掩碼。
  • decoder_head_mask (torch.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 用於將解碼器中注意力模組選定的頭置為無效的掩碼。掩碼值的取值範圍為 [0, 1]：

    • 1 表示頭未被掩碼，
    • 0 表示頭被掩碼。
  • cross_attn_head_mask (torch.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 用於將解碼器中交叉注意力模組選定的頭置為無效的掩碼。掩碼值的取值範圍為 [0, 1]：

    • 1 表示頭未被掩碼，
    • 0 表示頭被掩碼。
  • encoder_outputs (tuple[torch.FloatTensor], 可選) — 元組包含 (last_hidden_state, 可選: hidden_states, 可選: attentions)。形狀為 (batch_size, sequence_length, hidden_size) 的 last_hidden_state（可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。
  • past_key_values (tuple[torch.FloatTensor]，可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包含在解碼的前一階段，當 use_cache=True 或 config.use_cache=True 時，模型返回的 past_key_values。

    允許兩種格式：

    • Cache 例項，請參閱我們的 kv 快取指南；
    • 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含兩個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量）。這也稱為舊版快取格式。

    模型將輸出與輸入相同的快取格式。如果沒有傳遞 past_key_values，將返回舊版快取格式。

    如果使用 past_key_values，使用者可以選擇只輸入最後的 input_ids（那些沒有為其提供過去鍵值狀態的 ID），形狀為 (batch_size, 1)，而不是所有形狀為 (batch_size, sequence_length) 的 input_ids。

  • inputs_embeds (torch.Tensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 input_ids。如果你希望比模型內部的嵌入查詢矩陣更好地控制如何將 input_ids 索引轉換為相關聯的向量，這會很有用。
  • decoder_inputs_embeds (torch.Tensor，形狀為 (batch_size, target_sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 decoder_input_ids。如果使用了 past_key_values，則可以選擇只輸入最後的 decoder_inputs_embeds（參見 past_key_values）。如果你希望比模型內部的嵌入查詢矩陣更好地控制如何將 decoder_input_ids 索引轉換為相關聯的向量，這會很有用。

    如果 decoder_input_ids 和 decoder_inputs_embeds 都未設定，decoder_inputs_embeds 將取 inputs_embeds 的值。

  • labels (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在 [0, ..., config.vocab_size] 或 -100 之間（參見 input_ids 文件字串）。索引設定為 -100 的詞元將被忽略（掩碼），損失僅對標籤在 [0, ..., config.vocab_size] 範圍內的詞元進行計算。
  • use_cache (bool，可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。
  • output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
  • output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
  • return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.Seq2SeqLMOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置（FSMTConfig）和輸入，包含各種元素。

  • loss (torch.FloatTensor，形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失。

  • logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。

  • past_key_values (EncoderDecoderCache, 可選, 在傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

    包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

  • decoder_hidden_states (tuple(torch.FloatTensor), 可選, 在傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • decoder_attentions (tuple(torch.FloatTensor), 可選, 在傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

  • cross_attentions (tuple(torch.FloatTensor), 可選, 在傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

  • encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。

  • encoder_hidden_states (tuple(torch.FloatTensor), 可選, 在傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

  • encoder_attentions (tuple(torch.FloatTensor), 可選, 在傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

FSMTForConditionalGeneration 的 forward 方法會覆蓋 __call__ 特殊方法。

儘管前向傳播的邏輯需要在此函式內定義，但之後應該呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

翻譯示例

>>> from transformers import AutoTokenizer, FSMTForConditionalGeneration

>>> mname = "facebook/wmt19-ru-en"
>>> model = FSMTForConditionalGeneration.from_pretrained(mname)
>>> tokenizer = AutoTokenizer.from_pretrained(mname)

>>> src_text = "Машинное обучение - это здорово, не так ли?"
>>> input_ids = tokenizer(src_text, return_tensors="pt").input_ids
>>> outputs = model.generate(input_ids, num_beams=5, num_return_sequences=3)
>>> tokenizer.decode(outputs[0], skip_special_tokens=True)
"Machine learning is great, isn't it?"
< > 在 GitHub 上更新

←FNet Funnel Transformer→
© . This site is unofficial and not affiliated with Hugging Face, Inc.