Optimum 文件
最佳化
並獲得增強的文件體驗
開始使用
最佳化
ORTOptimizer
class optimum.onnxruntime.ORTOptimizer
< 原始檔 >( onnx_model_path: typing.List[os.PathLike] config: PretrainedConfig from_ortmodel: bool = False )
處理 huggingface.co/models 上共享模型的 ONNX Runtime 最佳化過程。
from_pretrained
< 原始檔 >( model_or_path: typing.Union[str, os.PathLike, optimum.onnxruntime.modeling_ort.ORTModel] file_names: typing.Optional[typing.List[str]] = None )
引數
- model_or_path (
Union[str, os.PathLike, ORTModel]) — 包含要最佳化模型的本地目錄路徑或要量化的ORTModel例項。可以是以下之一：- 包含要最佳化模型的本地目錄的路徑。
- ORTModel 的例項。
- file_names(
Optional[List[str]], 預設為None) — 要最佳化模型的的檔名列表。
get_fused_operators
< 原始檔 >( onnx_model_path: typing.Union[str, os.PathLike] )
計算將融合運算子名稱對映到其在模型中出現次數的字典。
get_nodes_number_difference
< 原始檔 >( onnx_model_path: typing.Union[str, os.PathLike] onnx_optimized_model_path: typing.Union[str, os.PathLike] )
計算原始模型和最佳化模型之間節點數量的差異。
get_operators_difference
< 原始檔 >( onnx_model_path: typing.Union[str, os.PathLike] onnx_optimized_model_path: typing.Union[str, os.PathLike] )
計算將運算子名稱對映到原始模型和最佳化模型之間相應節點數量差異的字典。
optimize
< 原始檔 >( optimization_config: OptimizationConfig save_dir: typing.Union[str, os.PathLike] file_suffix: typing.Optional[str] = 'optimized' use_external_data_format: typing.Optional[bool] = None one_external_file: bool = True )
引數
- optimization_config (OptimizationConfig) — 包含最佳化相關引數的配置。
- save_dir (
Union[str, os.PathLike]) — 用於儲存最佳化模型的路徑。 - file_suffix (
str, 預設為"optimized") — 用於儲存最佳化模型的的檔案字尾。 - use_external_data_format (
Optional[bool], 預設為None) — 是否使用外部資料格式儲存大小 >= 2Gb 的模型。此引數已棄用。 - one_external_file (
bool, 預設為True) — 當use_external_data_format=True時，是否將所有張量儲存到一個外部檔案中。如果為 False，則將每個張量儲存到一個以張量名稱命名的檔案中。
根據 optimization_config 中定義的最佳化規範最佳化模型。