引數

• text (str, list[str], list[list[str]], 可選) — 要編碼的序列或序列批次。每個序列可以是一個字串或一個字串列表（預分詞字串）。如果序列以字串列表（預分詞）形式提供，則必須設定 is_split_into_words=True（以消除與序列批次的歧義）。
• text_pair (str, list[str], list[list[str]], 可選) — 要編碼的序列或序列批次。每個序列可以是一個字串或一個字串列表（預分詞字串）。如果序列以字串列表（預分詞）形式提供，則必須設定 is_split_into_words=True（以消除與序列批次的歧義）。
• text_target (str, list[str], list[list[str]], 可選) — 要編碼為目標文字的序列或序列批次。每個序列可以是一個字串或一個字串列表（預分詞字串）。如果序列以字串列表（預分詞）形式提供，則必須設定 is_split_into_words=True（以消除與序列批次的歧義）。
• text_pair_target (str, list[str], list[list[str]], 可選) — 要編碼為目標文字的序列或序列批次。每個序列可以是一個字串或一個字串列表（預分詞字串）。如果序列以字串列表（預分詞）形式提供，則必須設定 is_split_into_words=True（以消除與序列批次的歧義）。
• add_special_tokens (bool, 可選, 預設為 True) — 編碼序列時是否新增特殊標記。這將使用底層 PretrainedTokenizerBase.build_inputs_with_special_tokens 函式，該函式定義了哪些標記會自動新增到輸入 ID。如果你想自動新增 bos 或 eos 標記，這會很有用。
• padding (bool, str 或 PaddingStrategy, 可選, 預設為 False) — 啟用和控制填充。接受以下值：
  • True 或 'longest': 填充到批次中最長的序列（如果只提供一個序列，則不填充）。
  • 'max_length': 填充到由引數 max_length 指定的最大長度，如果未提供該引數，則填充到模型可接受的最大輸入長度。
  • False 或 'do_not_pad'（預設）: 不填充（即可以輸出具有不同長度序列的批次）。
• truncation (bool, str 或 TruncationStrategy, 可選, 預設為 False) — 啟用和控制截斷。接受以下值：
  • True 或 'longest_first': 截斷到由引數 max_length 指定的最大長度，如果未提供該引數，則截斷到模型可接受的最大輸入長度。如果提供一對序列（或一批序列），這將逐個標記進行截斷，從對中最長的序列中移除一個標記。
  • 'only_first': 截斷到由引數 max_length 指定的最大長度，如果未提供該引數，則截斷到模型可接受的最大輸入長度。如果提供一對序列（或一批序列），這將僅截斷一對中的第一個序列。
  • 'only_second': 截斷到由引數 max_length 指定的最大長度，如果未提供該引數，則截斷到模型可接受的最大輸入長度。如果提供一對序列（或一批序列），這將僅截斷一對中的第二個序列。
  • False 或 'do_not_truncate'（預設）: 不截斷（即可以輸出序列長度大於模型最大允許輸入大小的批次）。
• max_length (int, 可選) — 控制截斷/填充引數之一將使用的最大長度。

  如果未設定或設定為 None，這將使用預定義的模型最大長度（如果截斷/填充引數之一需要最大長度）。如果模型沒有特定的最大輸入長度（如 XLNet），則截斷/填充到最大長度將被停用。

• stride (int, 可選, 預設為 0) — 如果與 max_length 一起設定為一個數字，則當 return_overflowing_tokens=True 時返回的溢位標記將包含來自截斷序列末尾的一些標記，以提供截斷序列和溢位序列之間的一些重疊。此引數的值定義重疊標記的數量。
• is_split_into_words (bool, 可選, 預設為 False) — 輸入是否已預分詞（例如，按空格分割成單詞）。如果設定為 True，分詞器假定輸入已分詞（例如，透過按空格分割），然後進行分詞。這對於 NER 或標記分類很有用。
• pad_to_multiple_of (int, 可選) — 如果設定，將序列填充到所提供值的倍數。需要啟用 padding。這對於在 NVIDIA 硬體上啟用計算能力 >= 7.5 (Volta) 的 Tensor Core 尤其有用。
• padding_side (str, 可選) — 模型應應用填充的一側。應在 [‘right’, ‘left’] 之間選擇。預設值取自同名的類屬性。
• return_tensors (str 或 TensorType, 可選) — 如果設定，將返回張量而不是 Python 整數列表。可接受的值為：
  • 'tf': 返回 TensorFlow tf.constant 物件。
  • 'pt': 返回 PyTorch torch.Tensor 物件。
  • 'np': 返回 Numpy np.ndarray 物件。
• return_token_type_ids (bool, 可選) — 是否返回標記型別 ID。如果保留預設值，將根據特定分詞器的預設設定（由 return_outputs 屬性定義）返回標記型別 ID。

  什麼是標記型別 ID？

• return_attention_mask (bool, 可選) — 是否返回注意力掩碼。如果保留預設值，將根據特定分詞器的預設設定（由 return_outputs 屬性定義）返回注意力掩碼。

  什麼是注意力掩碼？

• return_overflowing_tokens (bool, 可選, 預設為 False) — 是否返回溢位標記序列。如果提供一對輸入 ID 序列（或一批對），並且 truncation_strategy = longest_first 或 True，則會引發錯誤，而不是返回溢位標記。
• return_special_tokens_mask (bool, 可選, 預設為 False) — 是否返回特殊標記掩碼資訊。
• return_offsets_mapping (bool, 可選, 預設為 False) — 是否返回每個標記的 (char_start, char_end)。

  這僅在繼承自 PreTrainedTokenizerFast 的快速分詞器上可用，如果使用 Python 的分詞器，此方法將引發 NotImplementedError。

• return_length (bool, 可選, 預設為 False) — 是否返回編碼輸入品的長度。
• verbose (bool, 可選, 預設為 True) — 是否列印更多資訊和警告。
• **kwargs — 傳遞給 self.tokenize() 方法。

一個 BatchEncoding，包含以下欄位：

• input_ids — 要輸入到模型中的標記 ID 列表。

  什麼是輸入 ID？

• token_type_ids — 要輸入到模型中的標記型別 ID 列表（當 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中時）。

  什麼是標記型別 ID？

• attention_mask — 指定模型應關注哪些標記的索引列表（當 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中時）。

  什麼是注意力掩碼？

• overflowing_tokens — 溢位標記序列列表（當指定 max_length 且 return_overflowing_tokens=True 時）。

• num_truncated_tokens — 截斷標記的數量（當指定 max_length 且 return_overflowing_tokens=True 時）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示新增的特殊標記，0 表示常規序列標記（當 add_special_tokens=True 且 return_special_tokens_mask=True 時）。

• length — 輸入的長度（當 return_length=True 時）

引數

• sequences (Union[list[int], list[list[int]], np.ndarray, torch.Tensor, tf.Tensor]) — 標記化輸入 ID 列表。可透過 __call__ 方法獲取。
• skip_special_tokens (bool, 可選, 預設為 False) — 解碼時是否移除特殊標記。
• clean_up_tokenization_spaces (bool, 可選) — 是否清理分詞空間。
• output_char_offsets (bool, 可選, 預設為 False) — 是否輸出字元偏移量。字元偏移量可以與取樣率和模型下采樣率結合使用，以計算轉錄字元的時間戳。

  請檢視 ~models.wav2vec2.tokenization_wav2vec2.decode 的示例，以便更好地理解如何使用 output_word_offsets。 ~model.wav2vec2_phoneme.tokenization_wav2vec2_phoneme.batch_decode 以類似的方式與音素和批處理輸出一起使用。

• kwargs (附加關鍵字引數, 可選) — 將傳遞給底層模型特定的解碼方法。

解碼後的句子。當 output_char_offsets == True 時，將是 ~models.wav2vec2.tokenization_wav2vec2_phoneme.Wav2Vec2PhonemeCTCTokenizerOutput。

引數

• token_ids (Union[int, list[int], np.ndarray, torch.Tensor, tf.Tensor]) — 分詞後的輸入 ID 列表。可以透過 __call__ 方法獲取。
• skip_special_tokens (bool, 可選, 預設為 False) — 解碼時是否移除特殊標記。
• clean_up_tokenization_spaces (bool, 可選) — 是否清理分詞空格。
• output_char_offsets (bool, 可選, 預設為 False) — 是否輸出字元偏移量。字元偏移量可以與取樣率和模型下采樣率結合使用，以計算轉錄字元的時間戳。

  請檢視 ~models.wav2vec2.tokenization_wav2vec2.decode 的示例，以便更好地理解如何使用 output_word_offsets。 ~model.wav2vec2_phoneme.tokenization_wav2vec2_phoneme.batch_decode 與音素的使用方式相同。

• kwargs (附加關鍵字引數, 可選) — 將傳遞給底層模型特定的解碼方法。

解碼後的句子。當 output_char_offsets == True 時，將是 ~models.wav2vec2.tokenization_wav2vec2_phoneme.Wav2Vec2PhonemeCTCTokenizerOutput。