基礎

推理端點儀表板是管理、監控和部署跨多個組織和賬戶的推理端點的中心介面。使用者可以在組織之間切換、檢視端點狀態、管理配額並訪問部署配置。您可以透過登入 endpoints.huggingface.co 訪問儀表板

管理端點

建立新端點

點選頂部區域的“+ 新建”按鈕，建立一個新的端點部署。這將帶您進入模型目錄，該目錄提供 100 多個預配置模型，可作為推理端點進行部署。您可以使用此功能直接瀏覽、篩選和部署模型。

如果您在目錄中找不到合適的模型，可以點選“從 Hugging Face 部署”按鈕，該按鈕允許您從任何 Hugging Face 倉庫部署。

之後，您將被重定向到配置頁面。您可以在此處詳細瞭解所有配置選項。

端點狀態

端點可以處於以下幾種狀態之一：

• 執行中：端點已準備好服務請求
• 初始化中：端點正在啟動
• 已暫停：端點已停止，計入您的配額
• 已縮減到零：端點處於空閒狀態，不消耗計算資源
• 失敗：端點遇到錯誤，無法執行

管理現有端點

端點詳細資訊頁面提供資訊並允許您控制單個端點的配置。透過點選主端點列表中的任意端點即可訪問此檢視。

端點名稱及其當前狀態會顯示出來。您可以暫停正在執行的端點或喚醒已縮減到零的端點。

• 概述：當前狀態和配置摘要
• 分析：效能指標和使用統計，更多詳細資訊請點選此處
• 日誌：執行時日誌和除錯資訊，更詳細的文件請點選此處
• 使用與成本：計費資訊和資源消耗
• 設定：配置和管理選項

該頁面顯示了每個端點可用的配置選項。您可以在配置部分找到所有選項的更深入的詳細介紹。

使用儀表板

檢視端點資訊

端點表顯示每個部署的關鍵資訊。點選“編輯列”可顯示或隱藏特定資訊列。可用列包括狀態、任務、例項、供應商、容器、訪問、標籤、URL、建立時間和更新時間戳。

篩選和搜尋

使用搜索欄按名稱、提供商、任務或標籤篩選端點。狀態下拉選單允許按特定端點狀態進行篩選。

賬戶管理

透過右上角的下拉選單訪問賬戶設定。這提供了組織切換、賬單資訊和訪問令牌管理。

配額

配額部分顯示您在不同雲提供商和硬體型別下的當前資源使用情況和限制。訪問此檢視可以監控消耗並根據需要請求額外容量。

請注意：

• 暫停的端點不計入“已用”配額。
• 已縮放到零的端點將被計為“已用”配額——如果您想解鎖此配額，只需暫停已縮放到零的端點即可。

請求額外配額

當接近配額閾值時，使用“請求更多”按鈕提交增加限制的請求。這允許您將推理部署擴充套件到當前分配之外。或點選下面的按鈕

請求更多

審計日誌

審計日誌部分提供您推理端點上執行的所有操作的時間順序記錄。您可以使用此功能跟蹤更改、排查問題並維護部署的安全監督。

使用“所有端點”下拉選單按特定端點例項篩選日誌。這使您可以專注於特定部署的活動。

日誌條目結構

每個審計日誌條目包含：

• 使用者頭像和姓名
• 操作型別：執行的操作型別（例如，已恢復、已更新等）
• 端點名稱
• 時間戳
• 操作詳情:
  • 例項更改：例如硬體擴充套件修改
  • 配置更新：引數調整
  • 狀態更改：操作狀態修改
• 請求元資料：用於故障排除的技術細節
  • IP 地址：請求的源 IP
  • X-Request-Id：用於跟蹤 API 呼叫的唯一識別符號

< > 在 GitHub 上更新