在 Hugging Face 中使用 Unity Sentis 模型

Unity 3D 是世界上最受歡迎的遊戲引擎之一。Unity Sentis 是在 Unity 2023 或更高版本上執行的推理引擎。它是一個 API，允許您在遊戲或應用程式中輕鬆整合和執行神經網路模型，並利用硬體加速。由於 Unity 可以匯出到多種不同的裝置型別，包括 PC、移動裝置和遊戲機，這意味著它是一種在多種不同硬體上執行神經網路模型的簡便方法。

在 Hub 中探索 Sentis 模型

您可以透過在模型頁面左側進行過濾來找到 unity-sentis 模型。

Hub 中的所有 Sentis 模型都附帶程式碼和說明，可讓您輕鬆開始在 Unity 中使用模型。所有在 unity 名稱空間下的 Sentis 模型（例如，unity/sentis-yolotinyv7）都經過驗證可以執行，因此您可以確定它們將在 Unity 中執行。

要獲取有關使用 Sentis 的更多詳細資訊，您可以閱讀其文件。要從其他使用 Sentis 的人那裡獲得幫助，您可以在其討論論壇中提問。

檔案型別

每個倉庫將包含幾種型別的檔案

sentis 檔案：這些是包含在 Unity 上執行的神經網路的主要模型檔案。
ONNX 檔案：這是一種替代格式，您可以將其包含在 Sentis 檔案之外或代替 Sentis 檔案。它可用於使用第三方工具（例如Netron）進行視覺化。
cs 檔案：這些是包含在 Unity 上執行模型的程式碼的 C# 檔案。
info.json：此檔案包含有關倉庫中檔案的資訊。
資料檔案。這些是執行模型所需的其他檔案。它們可能包括詞彙檔案、類名列表等。一些典型檔案將具有 json 或 txt 副檔名。
README.md。這是模型卡。它包含有關如何使用模型和其他相關資訊的說明。

執行模型

請始終參考模型卡上的說明。您需要對 Unity 有一定的瞭解，並對 C# 有一些基本的瞭解。

開啟 Unity 2023 或更高版本並建立一個新場景。
從包管理器安裝 com.unity.sentis 包。
下載您的模型檔案 (*.sentis) 和資料檔案，並將它們放在 StreamingAssets 資料夾中，該資料夾是 Assets 資料夾中的一個子資料夾。（如果此資料夾不存在，您可以建立它）。
將您的 C# 檔案放置在場景中的物件上，例如主攝像機。
請參考模型卡，檢視是否需要在場景中建立任何其他物件。

在大多數情況下，我們只提供基本的實現以幫助您開始執行。如何創造性地使用它取決於您。例如，您可能希望組合兩個或更多模型來做有趣的事情。

分享您自己的 Sentis 模型

我們鼓勵您在 Hugging Face 上分享您自己的 Sentis 模型。這些模型可能是您自己訓練的，也可能是您已轉換為Sentis 格式並已測試可在 Unity 中執行的模型。

請為每個您上傳的倉庫提供 Sentis 格式的模型。這提供了額外的檢查以確保它們將在 Unity 中執行，並且也是大型模型的首選格式。您還可以包含模型的原始 ONNX 版本。

提供一個帶有最小實現的 C# 檔案。例如，影像處理模型應包含程式碼，顯示如何為輸入準備影像以及如何從輸出構建影像。或者，您可以連結到一些外部示例程式碼。這將使其他人更容易在 Unity 中下載和使用模型。

提供執行模型所需的任何資料檔案。例如，詞彙檔案。

最後，請提供一個 info.json 檔案，其中列出了您專案的檔案。這有助於計算下載量。info.json 內容的一些示例是

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

或者如果您的程式碼示例是外部的

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

附加資訊

我們還提供了一些完整的示例專案，以幫助您開始使用 Sentis。

< > 在 GitHub 上更新