自然語言處理

在深入探討 Transformer 模型之前，讓我們快速瞭解一下什麼是自然語言處理，以及為什麼我們關心它。

什麼是 NLP？

NLP 是語言學和機器學習的一個領域，專注於理解與人類語言相關的一切。NLP 任務的目標不僅僅是理解單個詞語，而是能夠理解這些詞語的上下文。

以下是常見 NLP 任務的列表，以及每個任務的一些示例

• 對整個句子進行分類：獲取評論的情感，檢測電子郵件是否為垃圾郵件，確定句子是否語法正確或兩個句子是否邏輯相關
• 對句子中的每個詞進行分類：識別句子的語法成分（名詞、動詞、形容詞），或命名實體（人、地點、組織）
• 生成文字內容：用自動生成的文字完成提示，用掩碼詞填補文字中的空白
• 從文字中提取答案：給定問題和上下文，根據上下文中提供的資訊提取問題的答案
• 根據輸入文字生成新的句子：將文字翻譯成另一種語言，總結文字

NLP 並不侷限於書面文字。它還解決了語音識別和計算機視覺中的複雜挑戰，例如生成音訊樣本的轉錄或影像的描述。

為什麼具有挑戰性？

計算機不像人類那樣處理資訊。例如，當我們閱讀句子“我餓了”時，我們可以很容易地理解它的意思。同樣，給定兩個句子，例如“我餓了”和“我很難過”，我們能夠很容易地確定它們的相似程度。對於機器學習 (ML) 模型來說，這些任務更難。文字需要以一種使模型能夠從中學習的方式進行處理。由於語言很複雜，我們需要仔細思考如何進行這種處理。關於如何表示文字的研究有很多，我們將在下一章中介紹一些方法。