章節末測試

讓我們測試一下你在本章中所學到的知識！

1. 為什麼要訓練新的分詞器？

當你的資料集與現有預訓練模型使用的資料集相似，並且你想要預訓練一個新模型時當你的資料集與現有預訓練模型使用的資料集相似，並且你想要使用該預訓練模型微調新模型時當你的資料集與現有預訓練模型使用的資料集不同，並且你想要預訓練一個新模型時當你的資料集與現有預訓練模型使用的資料集不同，但你想要使用該預訓練模型微調新模型時

2. 使用文字列表生成器與使用文字列表列表相比，在使用 train_new_from_iterator() 時有什麼優勢？

這是方法 train_new_from_iterator() 唯一接受的型別。你可以避免一次將整個資料集載入到記憶體中。這將允許 🤗 分詞器庫使用多程序。你訓練的分詞器將生成更好的文字。

3. 使用“快速”分詞器有什麼優勢？

當你將大量輸入一起批處理時，它可以比慢速分詞器更快地處理輸入。快速分詞器始終比其慢速對應項更快地進行分詞。它可以應用填充和截斷。它具有一些附加功能，允許你將標記對映到建立它們的文字跨度。

4. 標記分類管道如何處理跨越多個標記的實體？

具有相同標籤的實體合併為一個實體。有一個用於實體開始的標籤和一個用於實體延續的標籤。在一個給定的詞中，只要第一個標記具有實體的標籤，整個詞就被認為用該實體標記。當一個標記具有給定實體的標籤時，任何具有相同標籤的後續標記都被認為是同一個實體的一部分，除非它被標記為新實體的開始。

5. 問答管道如何處理長上下文？

它並沒有真正處理，因為它會將長上下文截斷為模型接受的最大長度。它將上下文拆分為幾個部分並對獲得的結果進行平均。它將上下文拆分為幾個部分（有重疊）並在每個部分中找到答案的最大分數。它將上下文拆分為幾個部分（沒有重疊，為了效率）並在每個部分中找到答案的最大分數。

6. 什麼是規範化？

這是分詞器在初始階段對文字進行的任何清理操作。這是一種資料增強技術，透過移除罕見詞語來使文字更加正常。這是分詞器新增特殊詞元的最終後處理步驟。這是透過減去均值併除以標準差，將嵌入的均值設為 0，標準差設為 1 的過程。

7. 子詞分詞器的前分詞是什麼？

這是分詞之前的步驟，應用資料增強（如隨機遮蔽）。這是分詞之前的步驟，應用所需的清理操作到文字中。這是應用分詞器模型之前，將輸入拆分為單詞的步驟。這是應用分詞器模型之前，將輸入拆分為詞元的步驟。

8. 選擇適用於 BPE 分詞模型的句子。

BPE 是一種子詞分詞演算法，它從一個小詞彙量開始，並學習合併規則。 BPE 是一種子詞分詞演算法，它從一個大詞彙量開始，並逐步從中刪除詞元。 BPE 分詞器透過合併最頻繁的詞元對來學習合併規則。 BPE 分詞器透過合併最大化得分（優先考慮頻率高的詞元對，以及頻率低的單個詞元）的詞元對來學習合併規則。 BPE 透過將單詞拆分為字元，然後應用合併規則來將單詞分詞為子詞。 BPE 透過從開頭開始找到詞彙表中最長的子詞，然後對文字的剩餘部分重複此過程，來將單詞分詞為子詞。

9. 選擇適用於 WordPiece 分詞模型的句子。

WordPiece 是一種子詞分詞演算法，它從一個小詞彙量開始，並學習合併規則。 WordPiece 是一種子詞分詞演算法，它從一個大詞彙量開始，並逐步從中刪除詞元。 WordPiece 分詞器透過合併最頻繁的詞元對來學習合併規則。 WordPiece 分詞器透過合併最大化得分（優先考慮頻率高的詞元對，以及頻率低的單個詞元）的詞元對來學習合併規則。 WordPiece 透過根據模型找到最可能的詞元分割，來將單詞分詞為子詞。 WordPiece 透過從開頭開始找到詞彙表中最長的子詞，然後對文字的剩餘部分重複此過程，來將單詞分詞為子詞。

10. 選擇適用於 Unigram 分詞模型的句子。

Unigram 是一種子詞分詞演算法，它從一個小詞彙量開始，並學習合併規則。 Unigram 是一種子詞分詞演算法，它從一個大詞彙量開始，並逐步從中刪除詞元。 Unigram 透過最小化在整個語料庫上計算的損失來調整其詞彙量。 Unigram 透過保留最頻繁的子詞來調整其詞彙量。 Unigram 透過根據模型找到最可能的詞元分割，來將單詞分詞為子詞。 Unigram 透過將單詞拆分為字元，然後應用合併規則來將單詞分詞為子詞。

NLP 課程