引數

• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 詞彙表中輸入序列詞元的索引。預設情況下，填充將被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 避免對填充詞元索引執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示詞元未被遮蓋，
  • 0 表示詞元被遮蓋。

  什麼是注意力掩碼？

• decoder_input_ids (torch.LongTensor，形狀為 (batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列詞元的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器輸入 ID？

  Marian 使用 pad_token_id 作為生成 decoder_input_ids 的起始詞元。如果使用 past_key_values，則可以選擇只輸入最後的 decoder_input_ids（參見 past_key_values）。

• decoder_attention_mask (torch.LongTensor，形狀為 (batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略 decoder_input_ids 中填充詞元的張量。預設情況下也會使用因果掩碼。
• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭部未被遮蓋，
  • 0 表示頭部被遮蓋。
• decoder_head_mask (torch.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭部未被遮蓋，
  • 0 表示頭部被遮蓋。
• cross_attn_head_mask (torch.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中交叉注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭部未被遮蓋，
  • 0 表示頭部被遮蓋。
• encoder_outputs (Union[tuple[torch.Tensor], ~modeling_outputs.BaseModelOutput, NoneType]) — 元組包含（last_hidden_state, 可選: hidden_states, 可選: attentions）last_hidden_state，形狀為 (batch_size, sequence_length, hidden_size)，可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
• past_key_values (tuple[tuple[torch.FloatTensor]], 可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括模型在先前解碼階段返回的 past_key_values，當 use_cache=True 或 config.use_cache=True 時。

  允許兩種格式：

  • Cache 例項，請參閱我們的 kv 快取指南；
  • 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量。這也稱為舊版快取格式。

  模型將輸出與輸入相同的快取格式。如果未傳遞 past_key_values，將返回舊版快取格式。

  如果使用 past_key_values，使用者可以選擇只輸入形狀為 (batch_size, 1) 的最後 input_ids（那些沒有為其提供過去鍵值狀態的 ID），而不是形狀為 (batch_size, sequence_length) 的所有 input_ids。

• inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞 input_ids。如果您希望比模型的內部嵌入查詢矩陣更能控制如何將 input_ids 索引轉換為關聯向量，這會很有用。
• decoder_inputs_embeds (torch.FloatTensor，形狀為 (batch_size, target_sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞 decoder_input_ids。如果使用 past_key_values，則可以選擇只輸入最後的 decoder_inputs_embeds（參見 past_key_values）。如果您希望比模型的內部嵌入查詢矩陣更能控制如何將 decoder_input_ids 索引轉換為關聯向量，這會很有用。

  如果 decoder_input_ids 和 decoder_inputs_embeds 都未設定，decoder_inputs_embeds 將取 inputs_embeds 的值。

• use_cache (bool, 可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回的張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回的張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。
• cache_position (torch.Tensor，形狀為 (sequence_length)，可選) — 描繪輸入序列詞元在序列中位置的索引。與 position_ids 相反，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。

一個 transformers.modeling_outputs.Seq2SeqModelOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False），根據配置 (MarianConfig) 和輸入包含各種元素。

• last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。

  如果使用了 past_key_values，則只輸出形狀為 (batch_size, 1, hidden_size) 的序列的最後一個隱藏狀態。

• past_key_values (EncoderDecoderCache, 可選, 當傳遞 use_cache=True 或當 config.use_cache=True 時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

  包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• decoder_hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  解碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。

• decoder_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• cross_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

• encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。

• encoder_hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  編碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。

• encoder_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

引數

• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 詞彙表中輸入序列詞元的索引。預設情況下，填充將被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 避免對填充詞元索引執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示詞元未被遮蓋，
  • 0 表示詞元被遮蓋。

  什麼是注意力掩碼？

• decoder_input_ids (torch.LongTensor，形狀為 (batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列詞元的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器輸入 ID？

  Marian 使用 pad_token_id 作為生成 decoder_input_ids 的起始詞元。如果使用 past_key_values，則可以選擇只輸入最後的 decoder_input_ids（參見 past_key_values）。

• decoder_attention_mask (torch.LongTensor，形狀為 (batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略 decoder_input_ids 中填充詞元的張量。預設情況下也會使用因果掩碼。
• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭部未被遮蓋，
  • 0 表示頭部被遮蓋。
• decoder_head_mask (torch.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭部未被遮蓋，
  • 0 表示頭部被遮蓋。
• cross_attn_head_mask (torch.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 用於使解碼器中交叉注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭部未被遮蓋，
  • 0 表示頭部被遮蓋。
• encoder_outputs (Union[tuple[torch.Tensor], ~modeling_outputs.BaseModelOutput, NoneType]) — 由 (last_hidden_state, *可選*: hidden_states, *可選*: attentions) 組成的元組。last_hidden_state 的形狀為 (batch_size, sequence_length, hidden_size)，*可選*) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。
• past_key_values (tuple[tuple[torch.FloatTensor]], *可選*) — 預計算的隱藏狀態（自注意力和交叉注意力模組中的鍵和值），可用於加速序列解碼。這通常包含模型在解碼的上一階段返回的 `past_key_values`，當 `use_cache=True` 或 `config.use_cache=True` 時。

  支援兩種格式：

  • 一個 Cache 例項，請參閱我們的 kv 快取指南；
  • 一個長度為 `config.n_layers` 的 `tuple(torch.FloatTensor)` 元組，每個元組包含 2 個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量。這也稱為舊版快取格式。

  模型將輸出與輸入相同的快取格式。如果沒有傳入 `past_key_values`，將返回舊版快取格式。

  如果使用 `past_key_values`，使用者可以選擇只輸入最後的 `input_ids`（那些沒有為其提供過去鍵值狀態的 `input_ids`），其形狀為 `(batch_size, 1)`，而不是形狀為 `(batch_size, sequence_length)` 的所有 `input_ids`。

• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), *可選*) — 可選地，你可以選擇直接傳遞一個嵌入表示，而不是 `input_ids`。如果你想比模型內部的嵌入查詢矩陣有更多控制權來將 `input_ids` 索引轉換為相關向量，這會非常有用。
• decoder_inputs_embeds (torch.FloatTensor of shape (batch_size, target_sequence_length, hidden_size), *可選*) — 可選地，你可以選擇直接傳遞一個嵌入表示，而不是 `decoder_input_ids`。如果使用了 `past_key_values`，可以選擇只輸入最後的 `decoder_inputs_embeds`（參見 `past_key_values`）。如果你想比模型內部的嵌入查詢矩陣有更多控制權來將 `decoder_input_ids` 索引轉換為相關向量，這會非常有用。

  如果 `decoder_input_ids` 和 `decoder_inputs_embeds` 都未設定，`decoder_inputs_embeds` 將取 `inputs_embeds` 的值。

• labels (torch.LongTensor of shape (batch_size, sequence_length), *可選*) — 用於計算掩碼語言模型損失的標籤。索引應在 `[0, ..., config.vocab_size]` 範圍內，或為 -100（參見 `input_ids` 文件字串）。索引設定為 `-100` 的詞元將被忽略（掩碼），損失僅對標籤在 `[0, ..., config.vocab_size]` 範圍內的詞元進行計算。
• use_cache (bool, *可選*) — 如果設定為 `True`，將返回 `past_key_values` 鍵值狀態，可用於加速解碼（參見 `past_key_values`）。
• output_attentions (bool, *可選*) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參見返回張量下的 `attentions`。
• output_hidden_states (bool, *可選*) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參見返回張量下的 `hidden_states`。
• return_dict (bool, *可選*) — 是否返回一個 ModelOutput 而不是一個普通的元組。
• cache_position (torch.Tensor of shape (sequence_length), *可選*) — 描述輸入序列詞元在序列中位置的索引。與 `position_ids` 不同，該張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。

一個 transformers.modeling_outputs.Seq2SeqLMOutput 或一個 `torch.FloatTensor` 的元組（如果傳遞 `return_dict=False` 或 `config.return_dict=False`），包含根據配置（MarianConfig）和輸入的不同元素。

• loss (torch.FloatTensor，形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失。

• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。

• past_key_values (EncoderDecoderCache, 可選, 當傳遞 use_cache=True 或當 config.use_cache=True 時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

  包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• decoder_hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• decoder_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• cross_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

• encoder_last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。

• encoder_hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• encoder_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

引數

• input_ids (torch.LongTensor of shape (batch_size, sequence_length), *可選*) — 詞彙表中輸入序列詞元的索引。預設情況下，填充將被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (torch.Tensor of shape (batch_size, sequence_length), *可選*) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示詞元未被掩碼，
  • 0 表示詞元被掩碼。

  什麼是注意力掩碼？

• encoder_hidden_states (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), *可選*) — 編碼器最後一層輸出的隱藏狀態序列。如果模型被配置為解碼器，則在交叉注意力中使用。
• encoder_attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), *可選*) — 用於避免對編碼器輸入的填充詞元索引執行注意力的掩碼。如果模型被配置為解碼器，則在交叉注意力中使用此掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示詞元未被掩碼，
  • 0 表示詞元被掩碼。
• head_mask (torch.Tensor of shape (num_heads,) or (num_layers, num_heads), *可選*) — 用於將自注意力模組的選定頭置零的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭未被掩碼，
  • 0 表示頭被掩碼。
• cross_attn_head_mask (torch.Tensor of shape (decoder_layers, decoder_attention_heads), *可選*) — 用於將交叉注意力模組的選定頭置零的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭未被掩碼，
  • 0 表示頭被掩碼。
• past_key_values (list[torch.FloatTensor], *可選*) — 預計算的隱藏狀態（自注意力和交叉注意力模組中的鍵和值），可用於加速序列解碼。這通常包含模型在解碼的上一階段返回的 `past_key_values`，當 `use_cache=True` 或 `config.use_cache=True` 時。

  支援兩種格式：

  • 一個 Cache 例項，請參閱我們的 kv 快取指南；
  • 一個長度為 `config.n_layers` 的 `tuple(torch.FloatTensor)` 元組，每個元組包含 2 個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量。這也稱為舊版快取格式。

  模型將輸出與輸入相同的快取格式。如果沒有傳入 `past_key_values`，將返回舊版快取格式。

  如果使用 `past_key_values`，使用者可以選擇只輸入最後的 `input_ids`（那些沒有為其提供過去鍵值狀態的 `input_ids`），其形狀為 `(batch_size, 1)`，而不是形狀為 `(batch_size, sequence_length)` 的所有 `input_ids`。

• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), *可選*) — 可選地，你可以選擇直接傳遞一個嵌入表示，而不是 `input_ids`。如果你想比模型內部的嵌入查詢矩陣有更多控制權來將 `input_ids` 索引轉換為相關向量，這會非常有用。
• labels (torch.LongTensor of shape (batch_size, sequence_length), *可選*) — 用於計算掩碼語言模型損失的標籤。索引應在 `[0, ..., config.vocab_size]` 範圍內，或為 -100（參見 `input_ids` 文件字串）。索引設定為 `-100` 的詞元將被忽略（掩碼），損失僅對標籤在 `[0, ..., config.vocab_size]` 範圍內的詞元進行計算。
• use_cache (bool, *可選*) — 如果設定為 `True`，將返回 `past_key_values` 鍵值狀態，可用於加速解碼（參見 `past_key_values`）。
• output_attentions (bool, *可選*) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參見返回張量下的 `attentions`。
• output_hidden_states (bool, *可選*) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參見返回張量下的 `hidden_states`。
• return_dict (bool, *可選*) — 是否返回一個 ModelOutput 而不是一個普通的元組。
• cache_position (torch.LongTensor of shape (sequence_length), *可選*) — 描述輸入序列詞元在序列中位置的索引。與 `position_ids` 不同，該張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。

一個 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一個 `torch.FloatTensor` 的元組（如果傳遞 `return_dict=False` 或 `config.return_dict=False`），包含根據配置（MarianConfig）和輸入的不同元素。

• loss (torch.FloatTensor 形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失（用於下一個 token 預測）。

• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。

• hidden_states (tuple(torch.FloatTensor), *可選*, 當傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（如果模型有嵌入層，則第一個是嵌入層的輸出，然後是每一層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(torch.FloatTensor), *可選*, 當傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每一層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

• cross_attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的交叉注意力權重，用於計算交叉注意力頭中的加權平均。

• past_key_values (Cache, *可選*, 當傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 它是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

  包含預先計算的隱藏狀態（注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

引數

• input_ids (tf.Tensor of shape (batch_size, sequence_length)) — 詞彙表中輸入序列詞元的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (tf.Tensor of shape (batch_size, sequence_length), *可選*) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示詞元未被掩碼，
  • 0 表示詞元被掩碼。

  什麼是注意力掩碼？

• decoder_input_ids (tf.Tensor of shape (batch_size, target_sequence_length), *可選*) — 詞彙表中解碼器輸入序列詞元的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器輸入 ID？

  Marian 使用 `pad_token_id` 作為生成 `decoder_input_ids` 的起始詞元。如果使用了 `past_key_values`，可以選擇只輸入最後的 `decoder_input_ids`（參見 `past_key_values`）。

• decoder_attention_mask (tf.Tensor of shape (batch_size, target_sequence_length), *可選*) — 預設情況下會自動建立並忽略填充詞元。對於大多數用例，不建議設定此項。
• decoder_position_ids (tf.Tensor of shape (batch_size, sequence_length), *可選*) — 位置嵌入中每個解碼器輸入序列詞元的位置索引。在 `[0, config.max_position_embeddings - 1]` 範圍內選擇。
• head_mask (tf.Tensor of shape (encoder_layers, encoder_attention_heads), *可選*) — 用於將編碼器中注意力模組的選定頭置零的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭未被掩碼，
  • 0 表示頭被掩碼。
• decoder_head_mask (tf.Tensor of shape (decoder_layers, decoder_attention_heads), *可選*) — 用於將解碼器中注意力模組的選定頭置零的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭未被掩碼，
  • 0 表示頭被掩碼。
• cross_attn_head_mask (tf.Tensor of shape (decoder_layers, decoder_attention_heads), *可選*) — 用於將交叉注意力模組的選定頭置零的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭未被掩碼，
  • 0 表示頭被掩碼。
• encoder_outputs (tf.FloatTensor, *可選*) — 編碼器最後一層輸出的隱藏狀態。用於解碼器的交叉注意力機制。形狀為 `(batch_size, sequence_length, hidden_size)` 的序列。
• past_key_values (tuple[tuple[tf.Tensor]]，長度為 config.n_layers) — 包含注意力模組預先計算的鍵和值隱藏狀態。可用於加速解碼。如果使用 past_key_values，使用者可以選擇只輸入最後一個 decoder_input_ids（形狀為 (batch_size, 1)），而不是所有形狀為 (batch_size, sequence_length) 的 decoder_input_ids（那些沒有將其過去的鍵值狀態提供給該模型的ID）。
• inputs_embeds (tf.Tensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 input_ids。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將 input_ids 索引轉換為相關向量，這很有用。
• use_cache (bool, 可選, 預設為 True) — 如果設定為 True，則返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。訓練時設定為 False，生成時設定為 True。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。此引數只能在即時執行模式（eager mode）下使用，在圖模式（graph mode）下將使用配置中的值。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。此引數只能在即時執行模式（eager mode）下使用，在圖模式（graph mode）下將使用配置中的值。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。此引數可在即時執行模式下使用，在圖模式下該值將始終設定為 True。
• training (bool, 可選, 預設為 False) — 是否在訓練模式下使用模型（一些模組如 dropout 模組在訓練和評估之間有不同的行為）。

一個 transformers.modeling_tf_outputs.TFSeq2SeqModelOutput 或一個 tf.Tensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置（MarianConfig）和輸入，包含各種元素。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 tf.Tensor) — 模型解碼器最後一層輸出的隱藏狀態序列。

  如果使用了 past_key_values，則只輸出形狀為 (batch_size, 1, hidden_size) 的序列的最後一個隱藏狀態。

• past_key_values (list[tf.Tensor], 可選, 當傳遞 use_cache=True 或當 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tf.Tensor 列表，每個張量的形狀為 (2, batch_size, num_heads, sequence_length, embed_size_per_head))。

  包含解碼器注意力塊的預計算隱藏狀態（鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• decoder_hidden_states (tuple(tf.Tensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入的輸出 + 一個用於每層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• decoder_attentions (tuple(tf.Tensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• cross_attentions (tuple(tf.Tensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

• encoder_last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 tf.Tensor, 可選) — 模型編碼器最後一層輸出的隱藏狀態序列。

• encoder_hidden_states (tuple(tf.Tensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入的輸出 + 一個用於每層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• encoder_attentions (tuple(tf.Tensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

引數

• input_ids (tf.Tensor，形狀為 ({0})) — 詞彙表中輸入序列標記的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (tf.Tensor，形狀為 ({0})，可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自 [0, 1]：
  • 1 表示標記未被掩碼，
  • 0 表示標記已被掩碼。

  什麼是注意力掩碼？

• decoder_input_ids (tf.Tensor，形狀為 (batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列標記的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器輸入 ID？

  Marian 使用 pad_token_id 作為生成 decoder_input_ids 的起始標記。如果使用 past_key_values，則可以選擇只輸入最後一個 decoder_input_ids（參見 past_key_values）。

• decoder_attention_mask (tf.Tensor，形狀為 (batch_size, target_sequence_length)，可選) — 預設情況下會建立並忽略填充標記。對於大多數用例，不建議設定此項。
• decoder_position_ids (tf.Tensor，形狀為 (batch_size, sequence_length)，可選) — 每個解碼器輸入序列標記在位置嵌入中的位置索引。選自範圍 [0, config.max_position_embeddings - 1]。
• head_mask (tf.Tensor，形狀為 (encoder_layers, encoder_attention_heads)，可選) — 用於在編碼器中置零注意力模組的選定頭部的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭部未被掩碼，
  • 0 表示頭部已被掩碼。
• decoder_head_mask (tf.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 用於在解碼器中置零注意力模組的選定頭部的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭部未被掩碼，
  • 0 表示頭部已被掩碼。
• cross_attn_head_mask (tf.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 用於置零交叉注意力模組的選定頭部的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭部未被掩碼，
  • 0 表示頭部已被掩碼。
• encoder_outputs (tf.FloatTensor, 可選) — 編碼器最後一層輸出的隱藏狀態。用於解碼器的交叉注意力。形狀為 (batch_size, sequence_length, hidden_size)，是一個序列。
• past_key_values (tuple[tuple[tf.Tensor]]，長度為 config.n_layers) — 包含注意力模組預先計算的鍵和值隱藏狀態。可用於加速解碼。如果使用 past_key_values，使用者可以選擇只輸入最後一個 decoder_input_ids（形狀為 (batch_size, 1)），而不是所有形狀為 (batch_size, sequence_length) 的 decoder_input_ids（那些沒有將其過去的鍵值狀態提供給該模型的ID）。
• inputs_embeds (tf.Tensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 input_ids。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將 input_ids 索引轉換為相關向量，這很有用。
• use_cache (bool, 可選, 預設為 True) — 如果設定為 True，則返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。訓練時設定為 False，生成時設定為 True。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。此引數只能在即時執行模式（eager mode）下使用，在圖模式（graph mode）下將使用配置中的值。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。此引數只能在即時執行模式（eager mode）下使用，在圖模式（graph mode）下將使用配置中的值。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。此引數可在即時執行模式下使用，在圖模式下該值將始終設定為 True。
• training (bool, 可選, 預設為 False) — 是否在訓練模式下使用模型（一些模組如 dropout 模組在訓練和評估之間有不同的行為）。
• labels (tf.tensor，形狀為 (batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在 [0, ..., config.vocab_size] 或 -100 之間（參見 `input_ids` 文件字串）。索引設定為 `-100` 的標記將被忽略（掩碼），損失僅針對標籤在 `[0, ..., config.vocab_size]` 中的標記進行計算。

一個 transformers.modeling_tf_outputs.TFSeq2SeqLMOutput 或一個 tf.Tensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置（MarianConfig）和輸入，包含各種元素。

• loss (形狀為 (n,) 的 tf.Tensor, 可選, 其中 n 是非掩碼標籤的數量，當提供 labels 時返回) — 語言建模損失。

• logits (tf.Tensor of shape (batch_size, sequence_length, config.vocab_size)) — 語言模型頭部的預測分數（SoftMax 之前每個詞彙標記的分數）。

• past_key_values (list[tf.Tensor], 可選, 當傳遞 use_cache=True 或當 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tf.Tensor 列表，每個張量的形狀為 (2, batch_size, num_heads, sequence_length, embed_size_per_head))。

  包含解碼器注意力塊的預計算隱藏狀態（鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• decoder_hidden_states (tuple(tf.Tensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入的輸出 + 一個用於每層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• decoder_attentions (tuple(tf.Tensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• cross_attentions (tuple(tf.Tensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

• encoder_last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 tf.Tensor, 可選) — 模型編碼器最後一層輸出的隱藏狀態序列。

• encoder_hidden_states (tuple(tf.Tensor), 可選, 當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入的輸出 + 一個用於每層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• encoder_attentions (tuple(tf.Tensor), 可選, 當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

引數

• input_ids (jnp.ndarray，形狀為 (batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果您提供填充，預設情況下將被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (jnp.ndarray，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自 [0, 1]：
  • 1 表示標記未被掩碼，
  • 0 表示標記已被掩碼。

  什麼是注意力掩碼？

• decoder_input_ids (jnp.ndarray，形狀為 (batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列標記的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器輸入 ID？

  對於翻譯和摘要訓練，應提供 `decoder_input_ids`。如果未提供 `decoder_input_ids`，模型將透過將 `input_ids` 右移來建立此張量，以進行論文中描述的去噪預訓練。

• decoder_attention_mask (jnp.ndarray，形狀為 (batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略 `decoder_input_ids` 中填充標記的張量。預設情況下也會使用因果掩碼。

  如果要更改填充行為，應根據需要進行修改。有關預設策略的更多資訊，請參見論文中的圖 1。

• position_ids (numpy.ndarray，形狀為 (batch_size, sequence_length)，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選自範圍 [0, config.max_position_embeddings - 1]。
• decoder_position_ids (numpy.ndarray，形狀為 (batch_size, sequence_length)，可選) — 每個解碼器輸入序列標記在位置嵌入中的位置索引。選自範圍 [0, config.max_position_embeddings - 1]。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.modeling_flax_outputs.FlaxSeq2SeqModelOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含根據配置（MarianConfig）和輸入而變化的不同元素。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray) — 模型解碼器最後一層輸出的隱藏狀態序列。

  如果使用了 past_key_values，則只輸出形狀為 (batch_size, 1, hidden_size) 的序列的最後一個隱藏狀態。

• past_key_values (tuple(tuple(jnp.ndarray)), 可選，當傳遞 use_cache=True 或 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tuple(jnp.ndarray) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量和 2 個額外的形狀為 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的張量。

  包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• decoder_hidden_states (tuple(jnp.ndarray), 可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — jnp.ndarray 的元組（一個用於嵌入層的輸出，一個用於每一層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• decoder_attentions (tuple(jnp.ndarray), 可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• cross_attentions (tuple(jnp.ndarray), 可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

• encoder_last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。

• encoder_hidden_states (tuple(jnp.ndarray), 可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — jnp.ndarray 的元組（一個用於嵌入層的輸出，一個用於每一層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• encoder_attentions (tuple(jnp.ndarray), 可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

引數

• input_ids (形狀為 (batch_size, sequence_length) 的 jnp.ndarray) — 詞彙表中輸入序列標記的索引。如果提供了填充，預設會被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (形狀為 (batch_size, sequence_length) 的 jnp.ndarray, 可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自 [0, 1]：
  • 1 表示未被遮蔽的標記，
  • 0 表示被遮蔽的標記。

  什麼是注意力掩碼？

• decoder_input_ids (形狀為 (batch_size, target_sequence_length) 的 jnp.ndarray, 可選) — 詞彙表中解碼器輸入序列標記的索引。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是解碼器輸入 ID？

  對於翻譯和摘要訓練，應提供 decoder_input_ids。如果未提供 decoder_input_ids，模型將根據論文中的去噪預訓練方法，透過向右移動 input_ids 來建立此張量。

• decoder_attention_mask (形狀為 (batch_size, target_sequence_length) 的 jnp.ndarray, 可選) — 預設行為：生成一個忽略 decoder_input_ids 中填充標記的張量。預設情況下也會使用因果掩碼。

  如果你想改變填充行為，應根據你的需要進行修改。有關預設策略的更多資訊，請參閱論文中的圖 1。

• position_ids (形狀為 (batch_size, sequence_length) 的 numpy.ndarray, 可選) — 位置嵌入中每個輸入序列標記的位置索引。選自 [0, config.max_position_embeddings - 1] 範圍。
• decoder_position_ids (形狀為 (batch_size, sequence_length) 的 numpy.ndarray, 可選) — 位置嵌入中每個解碼器輸入序列標記的位置索引。選自 [0, config.max_position_embeddings - 1] 範圍。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.modeling_flax_outputs.FlaxSeq2SeqLMOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含根據配置（MarianConfig）和輸入而變化的不同元素。

• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 jnp.ndarray) — 語言建模頭的預測分數（SoftMax 之前每個詞彙 token 的分數）。

• past_key_values (tuple(tuple(jnp.ndarray)), 可選，當傳遞 use_cache=True 或 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tuple(jnp.ndarray) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量和 2 個額外的形狀為 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的張量。

  包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

• decoder_hidden_states (tuple(jnp.ndarray), 可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — jnp.ndarray 的元組（一個用於嵌入層的輸出，一個用於每一層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• decoder_attentions (tuple(jnp.ndarray), 可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。

• cross_attentions (tuple(jnp.ndarray), 可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

• encoder_last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。

• encoder_hidden_states (tuple(jnp.ndarray), 可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — jnp.ndarray 的元組（一個用於嵌入層的輸出，一個用於每一層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。

• encoder_attentions (tuple(jnp.ndarray), 可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。