聊天使用者介面

亞馬遜網路服務 (AWS)

特性	可用
工具	否
多模態	否

您可以將您的 Amazon SageMaker 例項指定為聊天使用者介面的端點

MODELS=`[{
  "name": "your-model",
  "displayName": "Your Model",
  "description": "Your description",
  "parameters": {
     "max_new_tokens": 4096
  },
  "endpoints": [
    {
      "type" : "aws",
      "service" : "sagemaker"
      "url": "",
      "accessKey": "",
      "secretKey" : "",
      "sessionToken": "",
      "region": "",
      "weight": 1
    }
  ]
}]`

您也可以設定 "service": "lambda" 來使用 lambda 例項。

您可以從您的 AWS 使用者的程式設計訪問下獲取 accessKey 和 secretKey。

< > 在 GitHub 上更新