引數

• token_ids_0 (list[int]) — 將要新增特殊詞元的 ID 列表。
• token_ids_1 (list[int], 可選) — 用於序列對的可選的第二組 ID 列表。

帶有適當特殊標記的輸入ID列表。

引數

• token_ids_0 (list[int]) — ID 列表。
• token_ids_1 (list[int], 可選) — 用於序列對的可選的第二組 ID 列表。
• already_has_special_tokens (bool, 可選，預設為 False) — 詞元列表是否已使用模型的特殊詞元進行格式化。

一個範圍為 [0, 1] 的整數列表：1 表示特殊標記，0 表示序列標記。

引數

• token_ids_0 (list[int]) — ID 列表。
• token_ids_1 (list[int], 可選) — 用於序列對的可選的第二組 ID 列表。

零列表。

引數

• batch_text_or_text_pairs (list[str], list[tuple[str, str]], list[list[str]], list[tuple[list[str], list[str]]], 對於非快速分詞器，還支援 list[list[int]], list[tuple[list[int], list[int]]]) — 待編碼的序列批次或序列對批次。這可以是一個字串/字串序列/整數序列的列表，或者是一個字串/字串序列/整數序列對的列表（詳情請見 `encode_plus`）。

引數

• token_ids_0 (list[int]) — 將要新增特殊詞元的 ID 列表。
• token_ids_1 (list[int], 可選) — 用於序列對的可選的第二組 ID 列表。

帶有適當特殊標記的輸入ID列表。

引數

• text (str, list[str], list[list[str]]) — 待編碼的序列或序列批次。每個序列可以是一個字串、一個字串列表（單個示例的單詞或一批示例的問題）或一個字串列表的列表（一批單詞）。
• text_pair (list[str], list[list[str]]) — 待編碼的序列或序列批次。每個序列應為一個字串列表（預分詞的字串）。
• boxes (list[list[int]], list[list[list[int]]]) — 詞級邊界框。每個邊界框都應歸一化到 0-1000 的範圍。
• word_labels (list[int], list[list[int]], 可選) — 詞級整數標籤（用於如 FUNSD、CORD 等詞元分類任務）。
• add_special_tokens (bool, 可選，預設為 True) — 是否使用與模型相關的特殊詞元對序列進行編碼。
• padding (bool, str 或 PaddingStrategy, 可選，預設為 False) — 啟用並控制填充。接受以下值：
  • True 或 'longest': 填充到批次中最長的序列（如果只提供單個序列則不填充）。
  • 'max_length': 填充到由 `max_length` 引數指定的最大長度，如果未提供該引數，則填充到模型的最大可接受輸入長度。
  • False 或 'do_not_pad' (預設): 不填充（即可以輸出具有不同長度序列的批次）。
• truncation (bool, str 或 TruncationStrategy, 可選，預設為 False) — 啟用並控制截斷。接受以下值：
  • True 或 'longest_first': 截斷到由 `max_length` 引數指定的最大長度，如果未提供該引數，則截斷到模型的最大可接受輸入長度。如果提供了一對序列（或一批序列對），這將逐個詞元地截斷，從最長的序列中移除一個詞元。
  • 'only_first': 截斷到由 `max_length` 引數指定的最大長度，如果未提供該引數，則截斷到模型的最大可接受輸入長度。如果提供了一對序列（或一批序列對），這隻會截斷第一個序列。
  • 'only_second': 截斷到由 `max_length` 引數指定的最大長度，如果未提供該引數，則截斷到模型的最大可接受輸入長度。如果提供了一對序列（或一批序列對），這隻會截斷第二個序列。
  • False 或 'do_not_truncate' (預設): 不截斷（即可以輸出序列長度大於模型最大可接受輸入尺寸的批次）。
• max_length (int, 可選) — 控制截斷/填充引數使用的最大長度。

  如果未設定或設定為 None，當截斷/填充引數需要最大長度時，將使用預定義的模型最大長度。如果模型沒有特定的最大輸入長度（如 XLNet），則停用截斷/填充到最大長度的功能。

• stride (int, 可選，預設為 0) — 如果與 `max_length` 一起設定，當 `return_overflowing_tokens=True` 時返回的溢位詞元將包含一些來自返回的截斷序列末尾的詞元，以提供截斷和溢位序列之間的一些重疊。此引數的值定義了重疊詞元的數量。
• pad_to_multiple_of (int, 可選) — 如果設定，將序列填充到所提供值的倍數。這對於在計算能力 `>= 7.5` (Volta) 的 NVIDIA 硬體上使用 Tensor Cores 特別有用。
• return_tensors (str 或 TensorType, 可選) — 如果設定，將返回張量而不是 Python 整數列表。可接受的值為：
  • 'tf': 返回 TensorFlow tf.constant 物件。
  • 'pt': 返回 PyTorch torch.Tensor 物件。
  • 'np': 返回 Numpy np.ndarray 物件。
• return_token_type_ids (bool, 可選) — 是否返回詞元型別 ID。如果保留預設值，將根據特定分詞器的預設設定返回詞元型別 ID，該設定由 `return_outputs` 屬性定義。

  什麼是詞元型別 ID？

• return_attention_mask (bool, 可選) — 是否返回注意力掩碼。如果保留預設值，將根據特定分詞器的預設設定返回注意力掩碼，該設定由 `return_outputs` 屬性定義。

  什麼是注意力掩碼？

• return_overflowing_tokens (bool, 可選，預設為 False) — 是否返回溢位的詞元序列。如果提供了一對輸入 ID 序列（或一批序列對）並使用 `truncation_strategy = longest_first` 或 `True`，則會引發錯誤，而不是返回溢位的詞元。
• return_special_tokens_mask (bool, 可選，預設為 False) — 是否返回特殊詞元掩碼資訊。
• return_offsets_mapping (bool, 可選，預設為 False) — 是否為每個詞元返回 `(char_start, char_end)`。

  這僅在繼承自 PreTrainedTokenizerFast 的快速分詞器上可用，如果使用 Python 的分詞器，此方法將引發 `NotImplementedError`。

• return_length (bool, 可選，預設為 False) — 是否返回編碼輸入的長度。
• verbose (bool, 可選，預設為 True) — 是否列印更多資訊和警告。
• **kwargs — 傳遞給 `self.tokenize()` 方法

一個 BatchEncoding，包含以下欄位：

• input_ids — 要輸入到模型中的標記 ID 列表。

  什麼是輸入 ID？

• bbox — 待輸入模型的邊界框列表。

• token_type_ids — 要輸入到模型中的標記型別 ID 列表（當 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中時）。

  什麼是標記型別 ID？

• attention_mask — 指定模型應關注哪些標記的索引列表（當 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中時）。

  什麼是注意力掩碼？

• labels — 待輸入模型的標籤列表。（當指定 word_labels 時）。

• overflowing_tokens — 溢位標記序列列表（當指定 max_length 且 return_overflowing_tokens=True 時）。

• num_truncated_tokens — 截斷標記的數量（當指定 max_length 且 return_overflowing_tokens=True 時）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示新增的特殊標記，0 表示常規序列標記（當 add_special_tokens=True 且 return_special_tokens_mask=True 時）。

• length — 輸入的長度（當 return_length=True 時）。

引數

• token_ids_0 (list[int]) — ID 列表。
• token_ids_1 (list[int], optional) — 可選的第二個ID列表，用於序列對。

零列表。

引數

• 使用分詞器和詞彙表，將字串 轉換 為ID序列（整數）。與執行以下操作相同 —
• self.convert_tokens_to_ids(self.tokenize(text))。 — text (str, list[str] 或 list[int]): 要編碼的第一個序列。這可以是一個字串、一個字串列表（使用 tokenize 方法分詞後的字串）或一個整數列表（使用 convert_tokens_to_ids 方法分詞後的字串ID）。text_pair (str, list[str] 或 list[int], optional): 可選的要編碼的第二個序列。這可以是一個字串、一個字串列表（使用 tokenize 方法分詞後的字串）或一個整數列表（使用 convert_tokens_to_ids 方法分詞後的字串ID）。

引數

• text (str, list[str] or (for non-fast tokenizers) list[int]) — 要編碼的第一個序列。這可以是一個字串、一個字串列表（使用 tokenize 方法分詞後的字串）或一個整數列表（使用 convert_tokens_to_ids 方法分詞後的字串ID）。
• text_pair (str, list[str] or list[int], optional) — 可選的要編碼的第二個序列。這可以是一個字串、一個字串列表（使用 tokenize 方法分詞後的字串）或一個整數列表（使用 convert_tokens_to_ids 方法分詞後的字串ID）。

引數

• input_ids (torch.Tensor，形狀為 (batch_size, sequence_length), optional) — 詞彙表中輸入序列詞元的索引。預設情況下，填充將被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length), optional) — 用於避免對填充詞元索引執行注意力操作的掩碼。掩碼值在 [0, 1] 中選擇：
  • 對於未被掩碼的詞元，值為1，
  • 對於被掩碼的詞元，值為0。

  什麼是注意力掩碼？

• bbox (torch.LongTensor，形狀為 ({0}, 4), optional) — 每個輸入序列詞元的邊界框。在 `[0, config.max_2d_position_embeddings-1]` 範圍內選擇。每個邊界框應為 (x0, y0, x1, y1) 格式的歸一化版本，其中 (x0, y0) 對應邊界框左上角的位置，(x1, y1) 表示右下角的位置。

  注意，`sequence_length = token_sequence_length + patch_sequence_length + 1`，其中 `1` 是為 [CLS] 詞元。關於 `patch_sequence_length`，請參見 `pixel_values`。

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size), optional) — 與輸入影像對應的張量。可以使用 `{image_processor_class}` 獲取畫素值。有關詳細資訊，請參閱 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 處理影像）。
• visual_bbox (torch.LongTensor，形狀為 (batch_size, patch_sequence_length, 4), optional) — 影像中每個補丁的邊界框。如果未提供，將在模型中建立邊界框。
• decoder_input_ids (torch.LongTensor，形狀為 (batch_size, target_sequence_length), optional) — 詞彙表中解碼器輸入序列詞元的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什麼是解碼器輸入ID？ T5使用 `pad_token_id` 作為生成 `decoder_input_ids` 的起始詞元。如果使用 `past_key_values`，可以選擇只輸入最後的 `decoder_input_ids`（參見 `past_key_values`）。要了解如何為預訓練準備 `decoder_input_ids`，請參閱 T5訓練。
• decoder_attention_mask (torch.BoolTensor，形狀為 (batch_size, target_sequence_length), optional) — 預設行為：生成一個忽略 `decoder_input_ids` 中填充詞元的張量。預設情況下也會使用因果掩碼。
• inputs_embeds (torch.Tensor，形狀為 (batch_size, sequence_length, hidden_size), optional) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞 `input_ids`。如果您希望比模型內部的嵌入查詢矩陣更好地控制如何將 `input_ids` 索引轉換為關聯向量，這將非常有用。
• encoder_outputs (torch.Tensor, optional) — 元組，包含 (`last_hidden_state`, optional: `hidden_states`, optional: `attentions`)。`last_hidden_state` 的形狀為 `(batch_size, sequence_length, hidden_size)`，optional) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。
• past_key_values (torch.Tensor, optional) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常是在解碼的先前階段，當 `use_cache=True` 或 `config.use_cache=True` 時，由模型返回的 `past_key_values`。

  允許兩種格式：

  • 一個 Cache 例項，請參閱我們的 kv 快取指南；
  • 長度為 `config.n_layers` 的 `tuple(torch.FloatTensor)` 的元組，每個元組有兩個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量。這也稱為舊版快取格式。

  模型將輸出與輸入相同的快取格式。如果未傳遞 `past_key_values`，將返回舊版快取格式。

  如果使用 `past_key_values`，使用者可以選擇只輸入最後的 `input_ids`（那些沒有將其過去鍵值狀態提供給此模型的 `input_ids`），形狀為 `(batch_size, 1)`，而不是所有形狀為 `(batch_size, sequence_length)` 的 `input_ids`。

• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads), optional) — 用於將自注意力模組的選定頭部置零的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭部未被掩碼，
  • 0 表示頭部被掩碼。
• decoder_inputs_embeds (torch.Tensor，形狀為 (batch_size, target_sequence_length, hidden_size), optional) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞 `decoder_input_ids`。如果使用 `past_key_values`，可以選擇只輸入最後的 `decoder_inputs_embeds`（參見 `past_key_values`）。如果您希望比模型內部的嵌入查詢矩陣更好地控制如何將 `decoder_input_ids` 索引轉換為關聯向量，這將非常有用。

  如果 `decoder_input_ids` 和 `decoder_inputs_embeds` 都未設定，`decoder_inputs_embeds` 的值將取自 `inputs_embeds`。

• decoder_head_mask (torch.FloatTensor，形狀為 (num_heads,) 或 (num_layers, num_heads), optional) — 用於將解碼器中自注意力模組的選定頭部置零的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭部未被掩碼，
  • 0 表示頭部被掩碼。
• cross_attn_head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads), optional) — 用於將解碼器中交叉注意力模組的選定頭部置零的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭部未被掩碼，
  • 0 表示頭部被掩碼。
• use_cache (`, 預設為 True) -- 如果設定為 True，則返回 past_key_values` 鍵值狀態，可用於加速解碼（參見 `past_key_values`）。
• output_attentions (bool, optional) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
• output_hidden_states (bool, optional) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
• return_dict (bool, optional) — 是否返回一個 ModelOutput 而不是一個普通的元組。
• cache_position (torch.LongTensor，形狀為 (sequence_length), optional) — 描繪輸入序列詞元在序列中位置的索引。與 `position_ids` 不同，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。

引數

• input_ids (torch.Tensor，形狀為 (batch_size, sequence_length), optional) — 詞彙表中輸入序列詞元的索引。預設情況下，填充將被忽略。

  可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length), optional) — 用於避免對填充詞元索引執行注意力操作的掩碼。掩碼值在 [0, 1] 中選擇：
  • 對於未被掩碼的詞元，值為1，
  • 對於被掩碼的詞元，值為0。

  什麼是注意力掩碼？

• bbox (torch.LongTensor，形狀為 ({0}, 4), optional) — 每個輸入序列詞元的邊界框。在 `[0, config.max_2d_position_embeddings-1]` 範圍內選擇。每個邊界框應為 (x0, y0, x1, y1) 格式的歸一化版本，其中 (x0, y0) 對應邊界框左上角的位置，(x1, y1) 表示右下角的位置。

  注意，`sequence_length = token_sequence_length + patch_sequence_length + 1`，其中 `1` 是為 [CLS] 詞元。關於 `patch_sequence_length`，請參見 `pixel_values`。

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size), optional) — 與輸入影像對應的張量。可以使用 `{image_processor_class}` 獲取畫素值。有關詳細資訊，請參閱 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 處理影像）。
• visual_bbox (torch.LongTensor，形狀為 (batch_size, patch_sequence_length, 4), optional) — 影像中每個補丁的邊界框。如果未提供，將在模型中建立邊界框。
• decoder_input_ids (torch.LongTensor，形狀為 (batch_size, target_sequence_length)，可選) — 解碼器輸入序列在詞彙表中的 token 索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。什麼是解碼器輸入 ID？ T5 使用 pad_token_id 作為生成 decoder_input_ids 的起始 token。如果使用 past_key_values，可以選擇只輸入最後一個 decoder_input_ids（參見 past_key_values）。要了解更多關於如何為預訓練準備 decoder_input_ids 的資訊，請參閱 T5 訓練。
• decoder_attention_mask (torch.BoolTensor，形狀為 (batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略 decoder_input_ids 中填充 token 的張量。預設情況下也會使用因果掩碼。
• inputs_embeds (torch.Tensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以不傳遞 input_ids，而是直接傳遞一個嵌入表示。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將 input_ids 索引轉換為關聯向量，這會很有用。
• encoder_outputs (torch.Tensor，可選) — 元組，包含 (last_hidden_state, 可選: hidden_states, 可選: attentions)。形狀為 (batch_size, sequence_length, hidden_size) 的 last_hidden_state（可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。
• past_key_values (torch.Tensor，可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括模型在解碼的前一個階段返回的 past_key_values，此時 use_cache=True 或 config.use_cache=True。

  允許兩種格式：

  • 一個 Cache 例項，請參閱我們的 kv 快取指南；
  • 一個長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量）。這也稱為傳統快取格式。

  模型將輸出與輸入相同的快取格式。如果沒有傳遞 past_key_values，將返回傳統快取格式。

  如果使用了 past_key_values，使用者可以選擇只輸入最後一個 input_ids（那些沒有給出其過去鍵值狀態的 token），其形狀為 (batch_size, 1)，而不是所有形狀為 (batch_size, sequence_length) 的 input_ids。

• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於置零自注意力模組中選定頭的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭未被遮蓋，
  • 0 表示頭被遮蓋。
• decoder_inputs_embeds (torch.Tensor，形狀為 (batch_size, target_sequence_length, hidden_size)，可選) — 可選地，你可以不傳遞 decoder_input_ids，而是直接傳遞一個嵌入表示。如果使用 past_key_values，可以選擇只輸入最後一個 decoder_inputs_embeds（參見 past_key_values）。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將 decoder_input_ids 索引轉換為關聯向量，這會很有用。

  如果 decoder_input_ids 和 decoder_inputs_embeds 都未設定，decoder_inputs_embeds 將取 inputs_embeds 的值。

• decoder_head_mask (torch.FloatTensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於置零解碼器中自注意力模組選定頭的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭未被遮蓋，
  • 0 表示頭被遮蓋。
• cross_attn_head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於置零解碼器中交叉注意力模組選定頭的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭未被遮蓋，
  • 0 表示頭被遮蓋。
• use_cache (`，預設為 True) -- 如果設定為 True，將返回 past_key_values` 的鍵值狀態，可用於加速解碼（參見 `past_key_values`）。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。
• labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算語言建模損失的標籤。索引應在 [-100, 0, ..., config.vocab_size - 1] 範圍內。所有設定為 -100 的標籤都會被忽略（遮蓋），損失僅對 [0, ..., config.vocab_size] 範圍內的標籤進行計算。
• cache_position (torch.LongTensor，形狀為 (sequence_length)，可選) — 描繪輸入序列 token 在序列中位置的索引。與 position_ids 相反，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。

引數

• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)) — 輸入序列在詞彙表中的 token 索引。T5 是一個帶有相對位置嵌入的模型，因此你應該能夠對輸入的左右兩邊進行填充。

  索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  要了解更多關於如何為預訓練準備 input_ids 的資訊，請參閱 T5 訓練。

• bbox (torch.LongTensor，形狀為 ({0}, 4)，可選) — 每個輸入序列 token 的邊界框。選擇範圍在 [0, config.max_2d_position_embeddings-1]。每個邊界框應為 (x0, y0, x1, y1) 格式的歸一化版本，其中 (x0, y0) 對應邊界框左上角的位置，(x1, y1) 表示右下角的位置。

  請注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 是 [CLS] token。有關 patch_sequence_length，請參閱 pixel_values。

• attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值選自 [0, 1]：
  • 1 表示 token 未被遮蓋，
  • 0 表示 token 被遮蓋。

  什麼是注意力掩碼？

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• visual_bbox (torch.LongTensor，形狀為 (batch_size, patch_sequence_length, 4)，可選) — 影像中每個補丁的邊界框。如果未提供，則在模型中建立邊界框。
• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於置零自注意力模組中選定頭的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭未被遮蓋，
  • 0 表示頭被遮蓋。
• inputs_embeds (torch.Tensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以不傳遞 input_ids，而是直接傳遞一個嵌入表示。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將 input_ids 索引轉換為關聯向量，這會很有用。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。

一個 transformers.models.udop.modeling_udop.BaseModelOutputWithAttentionMask 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），根據配置（UdopConfig）和輸入，包含不同的元素。

• last_hidden_state (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。如果使用 past_key_values，則只輸出序列的最後一個隱藏狀態，形狀為 (batch_size, 1, hidden_size)。
• attention_mask (torch.FloatTensor，形狀為 (batch_size, sequence_length)，可選) — 在模型的前向傳播中使用的注意力掩碼，用於避免對填充 token 索引執行注意力。掩碼值選自 [0, 1] — - 1 表示 token 未被遮蓋，
  • 0 代表**被掩碼**的標記。
• past_key_values (tuple(tuple(torch.FloatTensor))，可選，在傳遞 use_cache=True 或 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量，如果 config.is_encoder_decoder=True，則可選地包含 2 個額外的形狀為 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的張量。包含預計算的隱藏狀態（自注意力塊中的鍵和值，如果 config.is_encoder_decoder=True 則可選地包含交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速序列解碼。
• hidden_states (tuple(torch.FloatTensor)，可選，在傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
• attentions (tuple(torch.FloatTensor)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之後的注意力權重，用於在自注意力頭中計算加權平均值。
• cross_attentions (tuple(torch.FloatTensor)，可選，在傳遞 output_attentions=True 和 config.add_cross_attention=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於在交叉注意力頭中計算加權平均值。