使用自定義模型

預設情況下，Transformers.js 使用託管的預訓練模型和預編譯的 WASM 二進位制檔案，這些檔案應該可以開箱即用。您可以按如下方式進行自定義：

設定

import { env } from '@huggingface/transformers';

// Specify a custom location for models (defaults to '/models/').
env.localModelPath = '/path/to/models/';

// Disable the loading of remote models from the Hugging Face Hub:
env.allowRemoteModels = false;

// Set location of .wasm files. Defaults to use a CDN.
env.backends.onnx.wasm.wasmPaths = '/path/to/files/';

有關可用設定的完整列表，請檢視 API 參考。

將您的模型轉換為 ONNX

我們建議使用我們的轉換指令碼，透過單個命令將您的 PyTorch、TensorFlow 或 JAX 模型轉換為 ONNX。在後臺，它使用 🤗 Optimum 來執行模型的轉換和量化。

python -m scripts.convert --quantize --model_id <model_name_or_path>

例如，使用以下命令轉換和量化 bert-base-uncased：

python -m scripts.convert --quantize --model_id bert-base-uncased

這會將以下檔案儲存到 ./models/

bert-base-uncased/
├── config.json
├── tokenizer.json
├── tokenizer_config.json
└── onnx/
    ├── model.onnx
    └── model_quantized.onnx

有關支援的架構的完整列表，請參閱 Optimum 文件。

< > 在 GitHub 上更新