將NVIDIA Omniverse RTX傳感器仿真集成到現(xiàn)有應用中

物理AI能力正在成為設計、機器人、自動駕駛、工業(yè)數(shù)字孿生等多類工作流的核心需求，但開發(fā)者面臨的挑戰(zhàn)是如何在不重構現(xiàn)有應用架構的前提下引入這些能力。NVIDIA Omniverse庫現(xiàn)已納入NVIDIA Agent Toolkit，為此提供了一套模塊化解決方案，其中ovrtx正是專注于RTX傳感器仿真的核心庫，目前已作為預發(fā)布軟件在GitHub上開放。

ovrtx是什么

ovrtx是NVIDIA Omniverse庫中負責RTX傳感器仿真的組件，提供輕量級的C和Python SDK，支持從OpenUSD內容中生成攝像頭、激光雷達、毫米波雷達及相關傳感器輸出，同時將應用控制權保留在宿主應用內部。在Omniverse庫體系中，ovstage為OpenUSD場景數(shù)據(jù)提供共享運行時舞臺，使ovphysx和ovrtx等庫能夠通過統(tǒng)一數(shù)據(jù)基底交換仿真狀態(tài)與場景變更信息。

核心集成流程

ovrtx的集成遵循五個步驟：創(chuàng)建并配置ovrtx渲染器；加載或引用應用現(xiàn)有流程中的OpenUSD內容；為所需的攝像頭、激光雷達、毫米波雷達或語義分割等輸出定義RenderProducts和RenderVars；從應用主循環(huán)驅動渲染或傳感器仿真步進；將結果映射回CPU或GPU內存，供應用展示、存儲、分析或傳遞至下游流程。

應用始終掌握主循環(huán)控制權，ovrtx按需生成渲染或傳感器輸出，結果返回工作流后由應用自行消費。

核心技術組件

Omniverse RTX渲染器是ovrtx庫的核心技術，結合NVIDIA RTX GPU上的RT Cores硬件光線追蹤能力與Tensor Cores加速的AI能力，實現(xiàn)對光傳輸?shù)膶崟r物理渲染與仿真，支持對攝像頭、激光雷達、毫米波雷達等傳感器輸出進行物理級建模。

ovstage提供統(tǒng)一的運行時舞臺，支持跨CPU和GPU內存讀寫查詢OpenUSD場景數(shù)據(jù)，包括變換矩陣、材質、層級結構、元數(shù)據(jù)和仿真狀態(tài)，避免各庫各自維護獨立的場景表示。

RenderProducts和RenderVars則提供了以USD原生方式定義渲染器或傳感器仿真器輸出的機制，支持靈活指定輸出類型、分辨率、格式及其他參數(shù)，可通過編程方式定義并存儲于USD場景中，也可在運行時通過API動態(tài)配置。

典型集成場景

最小化示例：ovrtx代碼倉庫中提供了一個"Hello World"級別的最小示例，展示如何創(chuàng)建渲染器、加載OpenUSD場景、渲染單幀圖像并將結果寫回CPU保存為PNG文件，適合在引入更復雜功能前驗證基礎SDK接入路徑。

實時查看器：當目標是圍繞OpenUSD內容構建查看器應用時，可結合ovstream實現(xiàn)瀏覽器流式傳輸，由服務端掌握ovrtx渲染器與OpenUSD舞臺訪問權，再通過ovstream將渲染幀推送至瀏覽器界面。

物理仿真聯(lián)合工作流：ovphysx可與ovrtx配合使用，實現(xiàn)物理行為仿真與實時視口渲染的協(xié)同。相關示例采用雙進程架構：視口進程由ovrtx負責，獨立的ovphysx工作進程將位姿數(shù)據(jù)流式回傳至應用主循環(huán)。

SimReady Blender集成方案：在SIGGRAPH 2026上展示的SimReady Blender示例工作流，演示了軟件開發(fā)商如何借助已納入NVIDIA Agent Toolkit的Omniverse庫，將包括RTX傳感器仿真、物理仿真和驗證在內的智能體就緒仿真能力集成進現(xiàn)有3D應用中，同時保持創(chuàng)作者對工作流的完整控制。開發(fā)者還可通過NVIDIA DGX Station上的NemoClaw在本地部署這一工作流，NemoClaw將Nemotron 3 Ultra開放前沿模型、安全智能體運行時與Omniverse庫打包為完整本地棧。

PTC Onshape集成實踐

PTC Onshape Render Studio團隊正在探索將ovrtx融入云原生CAD和PDM工作流的可能性，重點驗證了三項實際集成需求：由宿主應用掌控渲染時機、輸出配置和結果回傳；通過現(xiàn)有應用或服務層暴露云原生渲染能力；基于OpenUSD場景數(shù)據(jù)實現(xiàn)產(chǎn)品設計幾何體與下游仿真工作流的互聯(lián)互通。PTC Onshape高級軟件開發(fā)總監(jiān)Brendan Hack表示："ovrtx為我們提供了一條底層API路徑，可將NVIDIA RTX能力引入云原生設計工具體系，同時保持應用架構和產(chǎn)品體驗完全在我們的掌控之中。"

快速上手

如需開始使用，可訪問NVIDIA-Omniverse GitHub代碼倉庫探索相關工具與技能，通過Omniverse Labs查閱早期實驗性示例與概念驗證項目，利用NVIDIA物理AI智能體技能將可重復的仿真與評估任務轉化為可檢查、可適配的工作流，或通過三個步驟在30分鐘內于DGX Station上完成NemoClaw的本地部署。

Q&A

Q1：ovrtx庫目前處于什么狀態(tài)，如何獲取？

A：ovrtx目前作為預發(fā)布軟件在GitHub上開放，開發(fā)者可以在NVIDIA-Omniverse的GitHub代碼倉庫中訪問C和Python API文檔、運行示例、測試OpenUSD場景加載，并評估RTX傳感器輸出如何融入自己的應用主循環(huán)。

Q2：ovrtx支持哪些傳感器類型的仿真輸出？

A：ovrtx支持多種傳感器仿真輸出，包括攝像頭（LDR/HDR彩色圖像）、激光雷達點云、毫米波雷達探測結果、深度/距離圖、表面法線、語義分割以及其他傳感器專屬張量數(shù)據(jù)。開發(fā)者通過配置RenderProducts和RenderVars來指定所需的具體輸出類型。

Q3：使用ovrtx需要重建整個應用架構嗎？

A：不需要。ovrtx的核心設計原則是將RTX傳感器仿真能力嵌入現(xiàn)有應用，同時保持宿主應用對架構、UI、數(shù)據(jù)模型和工作流的完整控制權。應用自身掌握主循環(huán)，ovrtx作為按需調用的服務提供渲染和傳感器輸出，結果以CPU或GPU內存張量的形式返回供應用自行消費，無需改變現(xiàn)有工作流結構。