AWS Trainium & Inferentia 文件
用於 Neuron 匯出的配置類
加入 Hugging Face 社群
並獲得增強的文件體驗
開始使用
用於 Neuron 匯出的配置類
將 PyTorch 模型匯出為 Neuron 編譯模型需要指定
- 輸入名稱。
- 輸出名稱。
- 用於追蹤模型的虛擬輸入。Neuron 編譯器需要它來記錄計算圖並將其轉換為 TorchScript 模組。
- 用於控制硬體效率（延遲、吞吐量）和準確性之間權衡的編譯引數。
根據模型和任務的選擇，我們使用配置類來表示上述資料。每個配置類都與特定的模型架構相關聯，並遵循命名約定 ArchitectureNameNeuronConfig。例如，指定 BERT 模型 Neuron 匯出的配置是 BertNeuronConfig。
由於許多架構的 Neuron 配置具有相似的屬性，🤗 Optimum 採用了三級類層次結構
- 抽象和通用的基類。這些類處理所有基本功能，同時與模態（文字、影像、音訊等）無關。
- 中端類。這些類瞭解模態，但根據它們支援的輸入，同一模態可以存在多箇中端類。它們指定應為虛擬輸入使用哪個輸入生成器，但仍然與模型無關。
- 特定於模型的類，如上面提到的
BertNeuronConfig。這些是實際用於匯出模型的類。
支援的架構
| 架構 | 任務 |
|---|---|
| ALBERT | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| BERT | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| CamemBERT | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| ConvBERT | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| DeBERTa (僅限 INF2) | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| DeBERTa-v2 (僅限 INF2) | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| DistilBERT | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| ELECTRA | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| FlauBERT | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| GPT2 | 文字生成 |
| MobileBERT | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| MPNet | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| RoBERTa | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| RoFormer | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| XLM | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
| XLM-RoBERTa | 特徵提取、掩碼填充、多項選擇、問答、文字分類、詞元分類 |
更多關於檢查支援任務的詳細資訊，請點選此處。
更多架構即將推出，敬請期待！🚀