引數

• vocab (Dict[str, int], 可選) — 一個字串鍵及其 ID 的字典，例如 {"am": 0,...}
• merges (List[Tuple[str, str]], 可選) — 一個詞元對 (Tuple[str, str]) 的列表，例如 [("a", "b"),...]
• cache_capacity (int, 可選) — BPE 快取可以包含的單詞數量。快取透過保留一定數量單詞的合併操作結果來加速處理過程。
• dropout (float, 可選) — 一個介於 0 和 1 之間的浮點數，表示要使用的 BPE dropout。
• unk_token (str, 可選) — 模型使用的未知詞元。
• continuing_subword_prefix (str, 可選) — 附加到不表示單詞開頭的子詞單元的字首。
• end_of_word_suffix (str, 可選) — 附加到表示單詞結尾的子詞單元的字尾。
• fuse_unk (bool, 可選) — 是否將任何連續的未知詞元合併成一個。
• byte_fallback (bool, 可選) — 是否使用 spm 位元組回退技巧（預設為 False）
• ignore_merges (bool, 可選) — 是否在應用合併規則前先將詞元與詞彙表匹配。

引數

• vocab (List[Tuple[str, float]], 可選, 可選) — 詞彙項及其相對得分的列表 [("am", -0.2442),...]

引數

• vocab (str, 可選) — 一個字串鍵及其 ID 的字典，例如 {"am": 0,...}
• unk_token (str, 可選) — 模型使用的未知詞元。

引數

• vocab (Dict[str, int], 可選) — 一個字串鍵及其 ID 的字典，例如 {"am": 0,...}
• unk_token (str, 可選) — 模型使用的未知詞元。
• max_input_chars_per_word (int, 可選) — 單個單詞允許的最大字元數。