ONNX 🤝 ONNX Runtime

ONNX 是一個開放標準，它定義了一組通用的運算子和一種通用的檔案格式，用於表示各種框架（包括 PyTorch 和 TensorFlow）中的深度學習模型。當模型匯出為 ONNX 格式時，這些運算子用於構建一個計算圖（通常稱為*中間表示*），該圖表示資料透過神經網路的流向。

透過公開包含標準化運算子和資料型別的圖，ONNX 可以輕鬆地在不同框架之間切換。例如，在 PyTorch 中訓練的模型可以匯出為 ONNX 格式，然後匯入到 TensorFlow（反之亦然）。

ONNX 真正發揮作用的地方在於它與專用加速器（如 ONNX Runtime，簡稱 ORT）結合使用時。ORT 提供工具，透過運算元融合和常量摺疊等技術最佳化 ONNX 圖，並定義了一個執行提供者介面，允許您在不同型別的硬體上執行模型。