在 Hugging Face 上使用 MLX

MLX 是由 Apple 機器學習研究團隊為 Apple 晶片開發的一個模型訓練和服務框架。

它附帶了各種示例

使用 MLX-LM 生成文字和為 GGUF 格式的模型使用 MLX-LM 生成文字。
使用 LLaMA 進行大規模文字生成。
使用 LoRA 進行微調。
使用 Stable Diffusion 生成影像。
使用 OpenAI 的 Whisper 進行語音識別。

探索 Hub 上的 MLX

您可以透過在模型頁面左側進行篩選來找到 MLX 模型。還有一個開放的 MLX 社群，貢獻者們正在轉換和釋出 MLX 格式的權重。

得益於 MLX 與 Hugging Face Hub 的整合，您可以用幾行程式碼載入 MLX 模型。

安裝

MLX 是一個獨立的包，其中包含一個名為 MLX-LM 的子包，用於與 Hugging Face 整合大型語言模型。要安裝 MLX-LM，您可以透過 `pip` 使用以下一行命令進行安裝

pip install mlx-lm

您可以在此處獲取更多資訊。

如果您安裝 `mlx-lm`，則無需安裝 `mlx`。如果您不想使用 `mlx-lm` 而只使用 MLX，可以按如下方式安裝 MLX 本身。

使用 `pip`

pip install mlx

使用 `conda`

conda install -c conda-forge mlx

使用現有模型

MLX-LM 具有實用的文字生成工具。以下行直接下載並載入模型，然後開始生成文字。

python -m mlx_lm.generate --model mistralai/Mistral-7B-Instruct-v0.2 --prompt "hello"

有關完整的生成選項列表，請執行

python -m mlx_lm.generate --help

您還可以透過 Python 載入模型並開始生成文字，如下所示

from mlx_lm import load, generate

model, tokenizer = load("mistralai/Mistral-7B-Instruct-v0.2")

response = generate(model, tokenizer, prompt="hello", verbose=True)

MLX-LM 支援流行的 LLM 架構，包括 LLaMA、Phi-2、Mistral 和 Qwen。不受支援的模型可以輕鬆地按以下方式下載

pip install huggingface_hub hf_transfer

export HF_HUB_ENABLE_HF_TRANSFER=1
hf download --local-dir <LOCAL FOLDER PATH> <USER_ID>/<MODEL_NAME>

轉換和分享模型

您可以按以下方式轉換 Hugging Face Hub 中的 LLM，並可選擇進行量化：

python -m mlx_lm.convert --hf-path mistralai/Mistral-7B-v0.1 -q

如果您想在轉換後直接推送模型，可以按如下方式操作。

python -m mlx_lm.convert \
    --hf-path mistralai/Mistral-7B-v0.1 \
    -q \
    --upload-repo <USER_ID>/<MODEL_NAME>

其他資源

< > 在 GitHub 上更新