LLM 課程文件
引言
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
簡介
在第2章中，我們探討了如何使用分詞器和預訓練模型進行預測。但是，如果你想微調一個預訓練模型來解決特定的任務呢？這正是本章的主題！你將學習到：
- 如何使用最新的🤗 Datasets特性從Hub準備一個大型資料集
- 如何使用高級別的
TrainerAPI以現代最佳實踐微調模型 - 如何實現帶有最佳化技術的自定義訓練迴圈
- 如何利用🤗 Accelerate庫輕鬆地在任何設定上執行分散式訓練
- 如何應用當前微調的最佳實踐以獲得最大效能
📚 重要資源：開始之前，你可能需要查閱🤗 Datasets文件以瞭解資料處理。
本章還將作為對🤗 Transformers庫之外的一些Hugging Face庫的介紹！我們將看到像🤗 Datasets、🤗 Tokenizers、🤗 Accelerate和🤗 Evaluate這樣的庫如何幫助你更高效、更有效地訓練模型。
本章的每個主要部分都將教你不同的東西：
- 第2節：學習現代資料預處理技術和高效的資料集處理
- 第3節：掌握強大的Trainer API及其所有最新功能
- 第4節：從頭開始實現訓練迴圈，並理解使用Accelerate進行分散式訓練
在本章結束時，你將能夠使用高階API和自定義訓練迴圈在自己的資料集上微調模型，並應用該領域的最新最佳實踐。
🎯 你將構建什麼：在本章結束時，你將微調一個BERT模型用於文字分類，並瞭解如何將這些技術應用於你自己的資料集和任務。
本章只專注於PyTorch，因為它已成為現代深度學習研究和生產的標準框架。我們將使用Hugging Face生態系統中的最新API和最佳實踐。
要將你訓練好的模型上傳到Hugging Face Hub，你需要一個Hugging Face賬戶：建立一個賬戶
< > 在 GitHub 上更新