推理批次大小

本操作指南將探討增加 SetFitModel.predict() 中批次大小的影響。

它們是什麼？

在 GPU 上處理時，通常並非所有資料都能一次性放入 GPU 的視訊記憶體中。因此，資料會被分割成預定批次大小的**批次**。這在訓練和推理期間都會進行。在這兩種情況下，增加批次大小通常會對處理效率和視訊記憶體使用產生顯著影響，因為資料在 GPU 之間傳輸可能相對較慢。

對於推理，通常建議設定較高的批次大小以獲得顯著更快的處理速度。

在 SetFit 中

SetFit 中的推理批次大小設定為 32，但可以透過向 SetFitModel.predict() 傳遞 batch_size 引數來影響它。例如，在基於 paraphrase-mpnet-base-v2 Sentence Transformer 的 RTX 3090 上，可以達到以下吞吐量：

預設批次大小 32 並未在此硬體上實現最高吞吐量。請考慮嘗試不同的批次大小以達到您可能實現的最高吞吐量。

< > 在 GitHub 上更新