Giskard on Spaces

Giskard 是一個用於 LLM、表格和 NLP 模型的 AI 模型質量測試工具包。它包含一個用於掃描和測試 AI 模型的開源 Python 庫，以及一個 AI 模型質量測試應用程式，該應用程式現在可以使用 Hugging Face 的 Docker Spaces 進行部署。AI 模型質量測試應用程式擴充套件了開源庫的功能，使您能夠：

• 除錯測試以診斷您的問題

• 透過自動模型洞察建立特定領域測試

• 比較模型以決定推廣哪個模型

• 收集模型結果的業務反饋

• 與您的同事分享您的結果以保持一致

• 將所有 QA 物件（測試、資料切片、評估標準等）儲存在一個地方，以更高效地工作

訪問 Giskard 的文件和 快速入門指南，瞭解如何使用 Giskard 提供的全套工具。

在接下來的部分中，您將學習如何部署自己的 Giskard AI 模型質量測試應用程式，並直接從 Hugging Face Spaces 中使用它。這個 Giskard 應用程式是一個完全使用 Docker 託管在 Spaces 上的獨立應用程式。

在 Spaces 上部署 Giskard

您只需點選幾下即可在 Spaces 上部署 Giskard

您需要定義所有者（您的個人帳戶或組織）、一個Space 名稱和可見性。如果您不想公開共享您的模型和質量測試，請將您的 Space 設定為私人。

建立 Space 後，您將看到“Building”狀態。一旦它變為“Running”，您的 Space 就準備就緒。如果您沒有看到螢幕發生變化，請重新整理頁面。

申請免費許可證

一旦您的 Giskard Space 啟動並執行，您將需要申請免費許可證才能開始使用該應用程式。然後您將自動收到一封包含許可證檔案的電子郵件。

建立一個新的 Giskard 專案

進入應用程式後，首先從歡迎介面建立一個新專案。

生成 Hugging Face Giskard Space 令牌和 Giskard API 金鑰

Giskard API 金鑰用於建立您的 AI 模型執行環境與 Hugging Face Spaces 上的 Giskard 應用程式之間的通訊。如果您已將您的 Space 的可見性設定為私人，則需要提供 Hugging Face 使用者訪問令牌以生成 Hugging Face Giskard Space 令牌並建立訪問您的私人 Space 的通訊。為此，請按照 Giskard 應用程式設定頁面中顯示的說明進行操作。

啟動 ML Worker

Giskard 使用 worker 執行您的模型，該 worker 直接在您的 Python 環境中執行模型，幷包含您的模型所需的所有依賴項。您可以執行 ML worker：

• 從您本地筆記本中包含您的模型所有依賴項的核心中

• 從 Google Colab 中包含您的模型所有依賴項的核心中

• 或從您終端中包含您的模型所有依賴項的 Python 環境中

只需在包含您的模型所有依賴項的 Python 環境中執行以下命令即可

giskard worker start -d -k GISKARD-API-KEY -u https://XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

上傳您的測試套件、模型和資料集

為了開始為專案構建質量測試，您需要上傳模型和資料集物件，並從 Giskard Python 庫建立或上傳測試套件。

所有這些操作都需要您的 Python 環境與 Giskard Space 建立連線。透過初始化 Giskard Client 來實現這一點：只需從 Giskard 應用程式的設定頁面複製“Create a Giskard Client”程式碼片段，並在您的 Python 環境中執行它。它看起來會像這樣：

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

如果您遇到問題，請查閱 Giskard 的上傳物件文件頁面。

反饋和支援

如果您有建議或需要特定支援，請加入Giskard 的 Discord 社群或在Giskard 的 GitHub 儲存庫上聯絡我們。