如何執行AI模型：本地 vs 遠端

在這個遊戲中，我們想要執行一個句子相似度模型，我將使用all-MiniLM-L6-v2。

這是一個BERT Transformer模型。它**已經過訓練，所以我們可以直接使用它。**

但是這裡，我有兩種執行它的解決方案：

• 遠端執行此AI模型：**在伺服器上**。我傳送API呼叫並從伺服器獲取響應。這需要網際網路連線。
• 本地執行此AI模型：**在玩家的機器上。**

兩者都是有效的解決方案，**但它們各有優缺點**。

遠端執行模型

我在**遠端伺服器上**執行模型，並從遊戲中傳送API呼叫。我可以使用API服務來幫助部署模型。

例如，Hugging Face提供了一個名為推理API（免費用於原型設計和實驗）的API服務，它允許您透過簡單的API呼叫使用AI模型。我們還有一個Unity外掛，用於從Unity專案中訪問和使用Hugging Face AI模型。

優點

• 您無需使用玩家的RAM/VRAM來執行模型。
• 您的伺服器可以記錄資料，這樣您就可以瞭解玩家通常輸入的動作，從而改進您的NPC。

缺點

• 依賴網際網路連線，可能因API延遲而中斷沉浸式體驗。
• 與API使用相關的潛在高成本，尤其是在玩家眾多時。

通常，如果您使用無法在玩家機器上執行的非常大的模型，例如Llama 2等大型模型，您就會使用API。

本地執行模型

我本地執行模型：在玩家機器上。為了實現這一點，我使用了兩個庫。

1. Unity Sentis：神經網路推理庫，允許我們直接在遊戲內部執行AI模型。

2. Hugging Face Sharp Transformers庫：一個Unity實用程式外掛，用於在Unity遊戲中執行Transformer 🤗模型。

優點

• 由於所有內容都在玩家的計算機上執行，因此沒有使用成本。
• 玩家無需連線到網際網路。

缺點

• 您使用玩家的RAM/VRAM，因此需要指定推薦配置。
• 您無法輕鬆瞭解人們如何使用遊戲或模型。

由於我們將要使用的句子相似度模型很小，**我們決定在本地執行它**。

< > 在 GitHub 上更新