分詞器，搞定！

恭喜您完成本章！

深入瞭解分詞器後，您應該：

• 能夠以舊分詞器為模板訓練新分詞器
• 瞭解如何使用偏移量將詞元位置對映到其原始文字跨度
• 瞭解 BPE、WordPiece 和 Unigram 之間的區別
• 能夠混合搭配 🤗 Tokenizers 庫提供的塊來構建您自己的分詞器
• 能夠在 🤗 Transformers 庫中使用該分詞器

< > 在 GitHub 上更新