使用不同的模型

smolagents 提供了一個靈活的框架，允許您使用來自不同提供商的各種語言模型。本指南將向您展示如何在您的 Agent 中使用不同型別的模型。

可用的模型型別

smolagents 開箱即用地支援多種模型型別。

1. InferenceClientModel：使用 Hugging Face 的 Inference API 訪問模型
2. TransformersModel：使用 Transformers 庫在本地執行模型
3. VLLMModel：使用 vLLM 進行快速推理和最佳化服務
4. MLXModel：使用 MLX 針對 Apple Silicon 裝置進行最佳化
5. LiteLLMModel：透過 LiteLLM 訪問數百個 LLM
6. LiteLLMRouterModel：在多個模型之間分配請求
7. OpenAIServerModel：提供對任何實現了 OpenAI 相容 API 的提供商的訪問
8. AzureOpenAIServerModel：使用 Azure 的 OpenAI 服務
9. AmazonBedrockServerModel：連線到 AWS Bedrock 的 API

使用 Google Gemini 模型

正如 Google Gemini API 文件 (https://ai.google.dev/gemini-api/docs/openai) 中所述，Google 為 Gemini 模型提供了與 OpenAI 相容的 API，允許您透過設定適當的基礎 URL 將 OpenAIServerModel 與 Gemini 模型一起使用。

首先，安裝所需的依賴項

pip install smolagents[openai]

然後，獲取一個 Gemini API 金鑰並在您的程式碼中設定它。

GEMINI_API_KEY = <YOUR-GEMINI-API-KEY>

現在，您可以使用 OpenAIServerModel 類初始化 Gemini 模型，並將 api_base 引數設定為 Gemini API 的基礎 URL。

from smolagents import OpenAIServerModel

model = OpenAIServerModel(
    model_id="gemini-2.0-flash",
    # Google Gemini OpenAI-compatible API base URL
    api_base="https://generativelanguage.googleapis.com/v1beta/openai/",
    api_key=GEMINI_API_KEY,
)

使用 OpenRouter 模型

OpenRouter 透過統一的 OpenAI 相容 API 提供了對各種語言模型的訪問。您可以使用 OpenAIServerModel 透過設定適當的基礎 URL 連線到 OpenRouter。

首先，安裝所需的依賴項

pip install smolagents[openai]

然後，獲取一個 OpenRouter API 金鑰並在您的程式碼中設定它。

OPENROUTER_API_KEY = <YOUR-OPENROUTER-API-KEY>

現在，您可以使用 OpenAIServerModel 類初始化 OpenRouter 上可用的任何模型。

from smolagents import OpenAIServerModel

model = OpenAIServerModel(
    # You can use any model ID available on OpenRouter
    model_id="openai/gpt-4o",
    # OpenRouter API base URL
    api_base="https://openrouter.ai/api/v1",
    api_key=OPENROUTER_API_KEY,
)