AI 智慧體可觀測性與評估

歡迎來到附加單元 2！在本章中，你將探索觀察、評估並最終提高智慧體效能的進階策略。

---

📚 我何時應該學習這個附加單元？

如果你符合以下情況，那麼這個附加單元非常適合你：

• 開發和部署 AI 智慧體： 你希望確保你的智慧體在生產環境中可靠執行。
• 需要詳細的洞察： 你希望診斷問題、最佳化效能或理解智慧體的內部工作原理。
• 旨在降低運營開銷： 透過監控智慧體成本、延遲和執行細節，你可以高效管理資源。
• 尋求持續改進： 你對將即時使用者反饋和自動化評估整合到你的 AI 應用中感興趣。

簡而言之，對於所有希望將智慧體推向使用者的人來說！

---

🤓 你將學到什麼

在本單元中，你將學到：

• 檢測你的智慧體： 學習如何透過 OpenTelemetry 與 *smolagents* 框架整合可觀測性工具。
• 監控指標： 跟蹤效能指標，如 Token 使用量（成本）、延遲和錯誤跟蹤。
• 即時評估： 瞭解即時評估的技術，包括收集使用者反饋和利用 LLM 作為評估者。
• 離線分析： 使用基準資料集（例如 GSM8K）測試和比較智慧體效能。

---

🚀 準備好開始了嗎？

在下一節中，你將學習智慧體可觀測性和評估的基礎知識。之後，就該親自動手實踐了！

< > 在 GitHub 上更新