英偉達 GTC 2025 面向物理 AI 開發者的公告：新的開放模型和資料集
 |
|---|
| NVIDIA Isaac GR00T N1 用於物體操縱。 |
在年度 GTC 大會上，NVIDIA 釋出了三項開創性的開源成果，旨在加速物理 AI 的發展。其中包括一套新的多控制器世界基礎模型 (WFM) Cosmos Transfer，一個精心策劃的物理 AI 資料集，以及首個用於通用類人機器人推理的開放模型 NVIDIA Isaac GR00T N1——這些成果代表了物理 AI 技術的一次重大飛躍，為開發者提供了強大的工具和資源，以推進機器人系統並增強自動駕駛技術。
新世界基礎模型 - Cosmos Transfer
Cosmos Transfer 是 NVIDIA Cosmos™ 世界基礎模型 (WFM) 的最新成員，它在生成虛擬世界場景方面引入了新的控制和準確度水平。
該模型具有 70 億引數規模，利用多控制器根據結構輸入引導高保真世界場景的生成，確保精確的空間對齊和場景構成。
工作原理
該模型透過為用於捕獲模擬世界的每個感測器模態分別訓練單獨的 ControlNets 來構建。
輸入型別包括 3D 邊界框圖、軌跡圖、深度圖、分割圖。
- 在推理時，開發人員可以使用各種輸入型別，包括結構化視覺或幾何資料，例如分割圖、深度圖、邊緣圖、人體運動關鍵點、LiDAR 掃描、軌跡、高畫質地圖和 3D 邊界框來引導輸出。
- 來自每個控制分支的控制訊號乘以其對應的自適應時空控制圖，然後求和，再新增到基礎模型的 Transformer 模組中。
- 生成的輸出是具有受控佈局、物件放置和運動的照片級影片序列。開發人員可以透過多種方式控制輸出，例如保留結構和外觀，或在保持結構的同時允許外觀變化。
Cosmos Transfer 在不同環境和天氣條件下的輸出。
Cosmos Transfer 與 NVIDIA Omniverse 平臺相結合，正在大規模推動機器人和自動駕駛開發的可控合成數據生成。在 GitHub 上查詢更多 Cosmos Transfer 示例。
Cosmos Transfer 樣本也已提供給自動駕駛車輛，這些樣本是使用後訓練基礎模型構建的。
開放物理 AI 資料集
NVIDIA 還發布了 Physical AI Dataset，這是一個在 Hugging Face 上用於開發物理 AI 的開源資料集。這個商業級、預驗證資料集包含 15 TB 資料，代表了超過 32 萬條用於機器人訓練的軌跡，以及多達 1000 個通用場景描述 (OpenUSD) 資產，包括 SimReady 合集。
該資料集旨在用於 Cosmos Predict 世界基礎模型等後訓練基礎模型，為開發人員提供高質量、多樣化的資料，以增強其 AI 模型。
專為類人機器人打造的模型 - NVIDIA Isaac GR00T N1
另一個令人振奮的公告是 NVIDIA Isaac GR00T N1 的釋出，這是世界上第一個用於通用類人機器人推理和技能的開放基礎模型。這個跨實體模型接受多模態輸入，包括語言和影像，以在多樣化環境中執行操作任務。NVIDIA Isaac GR00T-N1-2B 模型可在 Hugging Face 上獲取。
Isaac GR00T N1 在一個廣泛的類人資料集上進行了訓練，該資料集包括真實捕獲資料、使用 NVIDIA Isaac GR00T Blueprint 元件生成的合成數據以及網際網路規模的影片資料。它可以通過後訓練適應特定的實體、任務和環境。
Isaac GR00T N1 使用單個模型和一套權重來在各種類人機器人上實現操作行為，例如 Fourier GR-1 和 1X Neo。它在各種任務中表現出強大的泛化能力，包括單臂或雙臂抓取和操作物體，以及在手臂之間轉移物品。它還可以執行需要持續上下文理解和整合各種技能的複雜多步任務。這些能力使其非常適合物料搬運、包裝和檢測等應用。
Isaac GR00T N1 採用受人類認知啟發的雙系統架構，包括以下互補元件：
- 視覺-語言模型（系統 2）：這個有條不紊的思維繫統基於 NVIDIA-Eagle 和 SmolLM-1.7B。它透過視覺和語言指令解釋環境，使機器人能夠推理其環境和指令，並規劃正確的行動。
- Diffusion Transformer（系統 1）：這個動作模型生成連續動作來控制機器人的運動，將系統 2 制定的行動計劃轉化為精確、連續的機器人運動。
未來之路
後訓練是推進自主系統、為下游物理 AI 任務建立專業模型的未來之路。
請訪問 GitHub 檢視 Cosmos Predict 和 Cosmos Transfer 推理指令碼。查閱 Cosmos Transfer 研究論文以獲取更多詳細資訊。
NVIDIA Isaac GR00T-N1-2B 模型可在 Hugging Face 上獲取。使用自定義使用者資料集進行後訓練的示例資料集和 PyTorch 指令碼（與 Hugging Face LeRobot 格式相容）可在 GitHub 上獲取。有關 Isaac GR00T N1 模型的更多資訊，請參閱研究論文。
關注 NVIDIA 在 Hugging Face 上獲取更多更新。
