編碼器模型

編碼器模型僅使用 Transformer 模型的編碼器。在每個階段，注意力層都可以訪問初始句子中的所有單詞。這些模型通常被描述為具有“雙向”注意力，並且通常被稱為自動編碼模型。

這些模型的預訓練通常圍繞著以某種方式破壞給定的句子（例如，透過掩蓋其中的隨機單詞）並讓模型找到或重建初始句子。

編碼器模型最適合需要理解完整句子的任務，例如句子分類、命名實體識別（以及更一般的詞語分類）和抽取式問答。

此類模型的代表包括

• ALBERT
• BERT
• DistilBERT
• ELECTRA
• RoBERTa