偏見與侷限性

如果您打算在生產環境中使用預訓練模型或其微調版本，請注意，雖然這些模型是強大的工具，但它們也有其侷限性。其中最大的侷限性在於，為了能在海量資料上進行預訓練，研究人員們通常會抓取他們能找到的所有內容，這其中既包含了網際網路上的精華，也包含了其糟粕。

為了快速說明這一點，讓我們回到 BERT 模型 `fill-mask` 流水線的例子。

from transformers import pipeline

unmasker = pipeline("fill-mask", model="bert-base-uncased")
result = unmasker("This man works as a [MASK].")
print([r["token_str"] for r in result])

result = unmasker("This woman works as a [MASK].")
print([r["token_str"] for r in result])

['lawyer', 'carpenter', 'doctor', 'waiter', 'mechanic']
['nurse', 'waitress', 'teacher', 'maid', 'prostitute']

當要求模型填補這兩個句子中缺失的詞時，模型只給出了一箇中性的答案（waiter/waitress）。其他的答案都是通常與特定性別相關聯的職業——是的，“prostitute”（妓女）最終出現在模型認為與“woman”（女性）和“work”（工作）相關聯的前五個可能性中。儘管 BERT 是少數幾個不是透過抓取全網資料構建的 Transformer 模型之一，而是使用了表面上看起來中立的資料（它在英文維基百科和BookCorpus 資料集上進行訓練），但這種情況仍然發生了。

因此，當您使用這些工具時，您需要時刻記住，您所使用的原始模型很可能生成帶有性別歧視、種族歧視或同性戀恐懼的內容。在您自己的資料上微調模型並不會消除這種內在的偏見。