分詞器，搞定！

恭喜你完成了本章節！

在深入研究分詞器之後，你應該

• 能夠使用舊分詞器作為模板訓練新的分詞器
• 瞭解如何使用偏移量將分詞的位置對映到其原始文字範圍
• 瞭解 BPE、WordPiece 和 Unigram 之間的區別
• 能夠混合和匹配 🤗 分詞器庫提供的模組來構建自己的分詞器
• 能夠在 🤗 Transformers 庫中使用該分詞器