引數

• text (str, list[str], list[list[str]]) — 要編碼的序列或序列批次。每個序列必須是字串。請注意，此分詞器不支援基於預分詞字串的分詞。
• text_pair (str, list[str], list[list[str]]) — 要編碼的序列或序列批次。每個序列必須是字串。請注意，此分詞器不支援基於預分詞字串的分詞。
• entity_spans (list[tuple[int, int]], list[list[tuple[int, int]]], 可選) — 要編碼的實體跨度序列或序列批次。每個序列由元組組成，每個元組包含兩個整數，表示實體的基於字元的開始和結束位置。如果您在建構函式中將 task 引數指定為 "entity_classification" 或 "entity_pair_classification"，則每個序列的長度必須分別為 1 或 2。如果您指定 entities，則每個序列的長度必須等於 entities 中每個序列的長度。
• entity_spans_pair (list[tuple[int, int]], list[list[tuple[int, int]]], 可選) — 要編碼的實體跨度序列或序列批次。每個序列由元組組成，每個元組包含兩個整數，表示實體的基於字元的開始和結束位置。如果您在建構函式中指定 task 引數，則此引數將被忽略。如果您指定 entities_pair，則每個序列的長度必須等於 entities_pair 中每個序列的長度。
• 實體 (list[str], list[list[str]], 可選) — 要編碼的實體序列或批次序列。每個序列由表示實體的字串組成，即特殊實體（例如 [MASK]）或維基百科的實體標題（例如 Los Angeles）。如果您在建構函式中指定了 task 引數，則此引數將被忽略。每個序列的長度必須等於每個 entity_spans 序列的長度。如果您在未指定此引數的情況下指定了 entity_spans，則實體序列或實體序列批次將透過填充 [MASK] 實體自動構建。
• 實體對 (list[str], list[list[str]], 可選) — 要編碼的實體序列或批次序列。每個序列由表示實體的字串組成，即特殊實體（例如 [MASK]）或維基百科的實體標題（例如 Los Angeles）。如果您在建構函式中指定了 task 引數，則此引數將被忽略。每個序列的長度必須等於每個 entity_spans_pair 序列的長度。如果您在未指定此引數的情況下指定了 entity_spans_pair，則實體序列或實體序列批次將透過填充 [MASK] 實體自動構建。
• 最大實體長度 (int, 可選) — entity_ids 的最大長度。
• 新增特殊標記 (bool, 可選, 預設為 True) — 在編碼序列時是否新增特殊標記。這將使用底層 PretrainedTokenizerBase.build_inputs_with_special_tokens 函式，該函式定義了哪些標記會自動新增到輸入 ID。如果您希望自動新增 bos 或 eos 標記，這會很有用。
• 填充 (bool, str 或 PaddingStrategy, 可選, 預設為 False) — 啟用和控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最長的序列（如果只提供一個序列，則不填充）。
  • 'max_length'：填充到由引數 max_length 指定的最大長度，或者如果未提供該引數，則填充到模型可接受的最大輸入長度。
  • False 或 'do_not_pad' (預設)：不填充（即，可以輸出具有不同長度序列的批次）。
• 截斷 (bool, str 或 TruncationStrategy, 可選, 預設為 False) — 啟用和控制截斷。接受以下值：
  • True 或 'longest_first'：截斷到由引數 max_length 指定的最大長度，或者如果未提供該引數，則截斷到模型可接受的最大輸入長度。如果提供了一對序列（或批次對），這將逐個標記進行截斷，從對中最長的序列中移除一個標記。
  • 'only_first'：截斷到由引數 max_length 指定的最大長度，或者如果未提供該引數，則截斷到模型可接受的最大輸入長度。如果提供了一對序列（或批次對），這將只截斷對的第一個序列。
  • 'only_second'：截斷到由引數 max_length 指定的最大長度，或者如果未提供該引數，則截斷到模型可接受的最大輸入長度。如果提供了一對序列（或批次對），這將只截斷對的第二個序列。
  • False 或 'do_not_truncate' (預設)：不截斷（即，可以輸出序列長度大於模型最大允許輸入大小的批次）。
• 最大長度 (int, 可選) — 控制截斷/填充引數之一所使用的最大長度。

  如果未設定或設定為 None，則如果截斷/填充引數之一需要最大長度，則將使用預定義的模型最大長度。如果模型沒有特定的最大輸入長度（如 XLNet），則將停用截斷/填充到最大長度。

• 步長 (int, 可選, 預設為 0) — 如果設定為一個數字並結合 max_length 使用，則當 return_overflowing_tokens=True 時返回的溢位標記將包含來自截斷序列末尾的一些標記，以在截斷序列和溢位序列之間提供一些重疊。此引數的值定義了重疊標記的數量。
• 已分詞 (bool, 可選, 預設為 False) — 輸入是否已預分詞（例如，已拆分為單詞）。如果設定為 True，則分詞器假定輸入已拆分為單詞（例如，透過在空白處拆分），然後對其進行分詞。這對於 NER 或標記分類很有用。
• 填充到倍數 (int, 可選) — 如果設定，將序列填充到所提供值的倍數。需要啟用 padding。這對於在計算能力 >= 7.5 (Volta) 的 NVIDIA 硬體上啟用 Tensor Cores 特別有用。
• 填充方向 (str, 可選) — 模型應該在哪個方向上應用填充。應在 ['right', 'left'] 之間選擇。預設值取自同名類屬性。
• 返回張量 (str 或 TensorType, 可選) — 如果設定，將返回張量而不是 Python 整數列表。可接受的值有：
  • 'tf'：返回 TensorFlow tf.constant 物件。
  • 'pt'：返回 PyTorch torch.Tensor 物件。
  • 'np'：返回 Numpy np.ndarray 物件。
• 返回標記型別 ID (bool, 可選) — 是否返回標記型別 ID。如果保留預設值，將根據特定分詞器的預設值（由 return_outputs 屬性定義）返回標記型別 ID。

  什麼是標記型別 ID？

• 返回注意力掩碼 (bool, 可選) — 是否返回注意力掩碼。如果保留預設值，將根據特定分詞器的預設值（由 return_outputs 屬性定義）返回注意力掩碼。

  什麼是注意力掩碼？

• 返回溢位標記 (bool, 可選, 預設為 False) — 是否返回溢位標記序列。如果提供了一對輸入 ID 序列（或批次對）並使用 truncation_strategy = longest_first 或 True，則會引發錯誤，而不是返回溢位標記。
• 返回特殊標記掩碼 (bool, 可選, 預設為 False) — 是否返回特殊標記掩碼資訊。
• 返回偏移對映 (bool, 可選, 預設為 False) — 是否為每個標記返回 (char_start, char_end)。

  這僅適用於繼承自 PreTrainedTokenizerFast 的快速分詞器，如果使用 Python 的分詞器，此方法將引發 NotImplementedError。

• 返回長度 (bool, 可選, 預設為 False) — 是否返回編碼輸入的長度。
• 詳細 (bool, 可選, 預設為 True) — 是否列印更多資訊和警告。
• **kwargs — 傳遞給 self.tokenize() 方法

一個 BatchEncoding，包含以下欄位：

• input_ids — 要輸入到模型中的標記 ID 列表。

  什麼是輸入 ID？

• token_type_ids — 要輸入到模型中的標記型別 ID 列表（當 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中時）。

  什麼是標記型別 ID？

• attention_mask — 指定模型應關注哪些標記的索引列表（當 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中時）。

  什麼是注意力掩碼？

• 實體 ID — 實體 ID 列表，用於饋送到模型中。

  什麼是輸入 ID？

• 實體位置 ID — 實體在輸入序列中的位置 ID 列表，用於饋送到模型中。

• 實體標記型別 ID — 實體標記型別 ID 列表，用於饋送到模型中（當 return_token_type_ids=True 或如果 "entity_token_type_ids" 在 self.model_input_names 中）。

  什麼是標記型別 ID？

• 實體注意力掩碼 — 指定模型應關注哪些實體的索引列表（當 return_attention_mask=True 或如果 "entity_attention_mask" 在 self.model_input_names 中）。

  什麼是注意力掩碼？

• 實體起始位置 — 實體在單詞標記序列中的起始位置列表（當 task="entity_span_classification" 時）。

• 實體結束位置 — 實體在單詞標記序列中的結束位置列表（當 task="entity_span_classification" 時）。

• overflowing_tokens — 溢位標記序列列表（當指定 max_length 且 return_overflowing_tokens=True 時）。

• num_truncated_tokens — 截斷標記的數量（當指定 max_length 且 return_overflowing_tokens=True 時）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示新增的特殊標記，0 表示常規序列標記（當 add_special_tokens=True 且 return_special_tokens_mask=True 時）。

• length — 輸入的長度（當 return_length=True 時）