3D 資產生成：面向遊戲開發的 AI #3
歡迎來到“面向遊戲開發的 AI”系列！ 在本系列中，我們將使用 AI 工具在短短 5 天內建立一個功能齊全的農場遊戲。在本系列結束時，您將學會如何將各種 AI 工具融入到您的遊戲開發工作流程中。我將向您展示如何使用 AI 工具來完成：
- 美術風格
- 遊戲設計
- 3D 資源
- 2D 資源
- 故事情節
想看快速影片版？你可以在這裡觀看。如果想了解技術細節，請繼續閱讀！
注意：本教程適用於熟悉 Unity 開發和 C# 的讀者。如果您是這些技術的新手，請在繼續之前檢視 Unity 初學者系列。
第 3 天：3D 資產
在本教程系列的第 2 部分中，我們使用了AI 進行遊戲設計。更具體地說，我們使用 ChatGPT 為我們的遊戲進行頭腦風暴設計。
在這一部分，我們將討論如何使用 AI 生成 3D 資產。簡短的回答是：你還不能。這是因為文字到 3D 技術還沒有達到可以實際應用於遊戲開發的程度，目前還沒有。然而，這種情況正在迅速改變。繼續閱讀以瞭解文字到 3D 技術的現狀、為什麼它（目前）還不太實用，以及文字到 3D 技術的未來。
文字到 3D 技術的現狀
如第 1 部分所述，像 Stable Diffusion 這樣的文字到影像工具在遊戲開發工作流程中非常有用。但是，文字到 3D 技術，即從文字描述生成 3D 模型，又如何呢？這一領域最近有許多新發展：
- DreamFusion 使用 2D 擴散來生成 3D 資產。
- CLIPMatrix 和 CLIP-Mesh-SMPLX 直接生成帶紋理的網格。
- CLIP-Forge 使用語言來生成基於體素的模型。
- CLIP-NeRF 用文字和影像驅動 NeRF。
- Point-E 和 Pulsar+CLIP 使用語言生成 3D 點雲。
- Dream Textures 使用文字到影像技術在 Blender 中自動為場景新增紋理。
除了 CLIPMatrix 和 CLIP-Mesh-SMPLX，這些方法中的許多都基於檢視合成，即生成物件的新檢視，而不是傳統的 3D 渲染。這就是NeRFs（神經輻射場）背後的思想，它使用神經網路進行檢視合成。
對於遊戲開發者來說，這一切意味著什麼？目前來說，什麼也不是。這項技術還沒有達到在遊戲開發中有用的程度，目前還沒有。讓我們來談談原因。
為什麼它（目前）還不太實用
注意： 本節適用於熟悉傳統 3D 渲染技術的讀者，例如網格、UV 貼圖和攝影測量。
雖然檢視合成令人印象深刻，但 3D 世界是基於網格執行的，這與 NeRFs 不同。然而，目前有將 NeRFs 轉換為網格的研究正在進行中。在實踐中，這讓人聯想到攝影測量，即透過組合真實世界物體的多張照片來創作 3D 資產。
使用文字到 NeRF 再到網格的流程生成的資產，其實際用途受到的限制與使用攝影測量製作的資產類似。也就是說，生成的網格並不能立即用於遊戲，需要大量的專業工作才能成為遊戲就緒的資產。從這個意義上說，NeRF 到網格本身可能是一個有用的工具，但尚未達到文字到 3D 技術的變革潛力。
由於 NeRF 到網格，就像攝影測量一樣，目前最適合用於建立需要大量手動後處理的超高保真資產，因此對於在 5 天內建立一個農場遊戲來說並不太適用。在這種情況下，我決定只使用不同顏色的立方體來代表遊戲中的作物。
不過，這個領域的變化非常快，不久的將來可能會有可行的解決方案。接下來，我將討論文字到 3D 技術可能發展的一些方向。
文字到 3D 技術的未來
儘管文字到 3D 技術最近取得了長足的進步，但從現狀到能產生像文字到影像那樣巨大影響的水平之間，仍有相當大的差距。我只能推測如何彌合這一差距。有兩個最明顯的可能方向：
- NeRF 到網格和網格生成技術的改進。正如我們所見，當前的生成模型類似於攝影測量，需要大量工作才能生產出遊戲就緒的資產。雖然這在某些情況下很有用，比如建立逼真的高保真資產，但它仍然比從頭開始製作低多邊形資產更耗時，特別是如果你像我一樣使用超低多邊形藝術風格。
- 允許在引擎中直接渲染 NeRF 的新渲染技術。雖然沒有官方公告，但可以推測，NVIDIA 和 Google 等公司可能正在這方面開展工作。
當然，只有時間能告訴我們答案。如果你想跟上最新的進展，歡迎在 Twitter 上關注我。如果我錯過了任何新的發展，也請隨時聯絡我！
點選這裡閱讀第 4 部分，我們將使用 AI 處理 2D 資產。
鳴謝
感謝 Poli @multimodalart 提供了關於最新開源文字到 3D 技術的資訊。
