損失函式

簡介

在深入探討用於訓練 CLIP 等模型的各種損失函式之前，重要的是要清楚地理解什麼是對比學習。對比學習是一種無監督的深度學習方法，旨在進行表徵學習。其目標是開發一種資料表徵，其中相似的專案在表徵空間中彼此靠近，而不同專案則明顯分離。

在下圖中，我們有一個例子，我們希望將狗的表徵與其他狗的表徵保持更近，同時遠離貓的表徵。

訓練目標

對比損失

對比損失是用於對比學習的首批訓練目標之一。它以一對樣本作為輸入，這些樣本可以是相似的或不相似的，目標是將相似的樣本在嵌入空間中對映得更近，並將不相似的樣本推開。

從技術上講，假設我們有一個輸入樣本列表$x_n$來自多個類別。我們希望一個函式，使得同一類別的樣本在嵌入空間中的嵌入彼此靠近，而不同類別的樣本則彼此遠離。將其轉換為數學方程，我們得到的是$$L = \mathbb{1}[y_i = y_j]||x_i - x_j||^2 + \mathbb{1}[y_i \neq y_j]max(0, \epsilon - ||x_i - x_j||^2)$$

簡單來說

• 如果樣本相似$y_i = y_j$，那麼我們最小化項$||x_i - x_j||^2$，它對應於它們的歐幾里得距離，即我們希望它們更接近；
• 如果樣本不相似$(y_i \neq y_j)$，那麼我們最小化項$max(0, \epsilon - ||x_i - x_j||^2)$這相當於最大化它們的歐幾里得距離，直到某個限制$\epsilon$，即我們希望它們彼此遠離。

參考文獻

• 對比學習簡介
• 對比表徵學習

< > 在 GitHub 上更新