MEMORY INDUSTRY INTELLIGENCE
옴니버스로 들어가기: 개발자들이 프론티어 AI 에이전트로 아이디어를 시뮬레이션으로 전환하는 방법
한국어 번역·요약·분석
원문 제목: Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents
핵심 요약
이 글은 개발자들이 프론티어 AI 모델과 NVIDIA Omniverse 라이브러리를 결합해 시뮬레이션 아이디어를 실제 애플리케이션으로 구현하는 여러 프로젝트를 소개한다. 휴머노이드 창고 시뮬레이터, 자율주행 테스트 워크플로, 디지털 트윈 개선, 로봇 스포츠 실험, CAD 기반 로봇 분해, ISS 브라우저 모델, 캡처된 방의 테스트 환경 등이 포함된다. 각 프로젝트에서 개발자는 자연어 지시로 AI 에이전트를 지도하고, Omniverse 라이브러리(ovphysx, ovstage, ovrtx, ovui, ovstream 등)가 GPU 가속 물리·렌더링·센서 시뮬레이션을 제공한다. 일부 프로젝트는 GPT-6 Astra, Claude Fable 5와 같은 프론티어 모델을 사용했으며, 로보 올림픽에서는 100회 시뮬레이션 중 64회 허들 통과라는 구체적 결과가 보고되었다. 이 글은 특정 메모리 제품이나 고객, 거래 관계를 언급하지 않는다.
메모리 산업 영향 분석
이 문서는 NVIDIA Omniverse와 프론티어 AI 에이전트를 활용한 시뮬레이션 개발 사례를 다루며, 메모리 산업과의 직접적인 연결 근거는 원문에서 확인되지 않는다. GPU 가속 물리·렌더링·센서 시뮬레이션이 언급되지만 특정 메모리 제품, 고객, 거래 관계, 계층 이동, 사용량 효과에 대한 내용은 없다. 분석가 가설로는 이러한 시뮬레이션 워크로드가 고성능 GPU와 함께 고대역폭 메모리 수요를 간접적으로 늘릴 수 있으나, 이는 원문에서 직접 확인되지 않은 추정이다. 반대 근거나 확인할 지표도 원문에 제시되지 않았다. 따라서 메모리 산업과의 직접 연결 근거 부족이라고 판단한다.
한국어 번역 읽기
수집된 원문 v1의 전체 본문 기준 · 7206자
시뮬레이션 아이디어를 작동하는 애플리케이션으로 전환한다는 것은 자산을 조립하고, 물리와 렌더링을 연결하며, 장면이 의도한 대로 작동하는지 확인하는 것을 의미합니다. 개발자들은 프론티어 AI 모델과 NVIDIA Omniverse 라이브러리를 결합하여 이러한 작업을 수행하도록 돕고 있습니다 — 시나리오 탐색, 실패 조사, 설계 개선을 위한 애플리케이션을 구축합니다.
개발자들은 자연어 지시를 통해 AI 에이전트를 지시하고, 결과를 검토하며, 변경을 안내합니다. Omniverse 라이브러리는 GPU 가속 물리, 렌더링 및 센서 시뮬레이션 기능을 제공합니다.
아래 프로젝트를 살펴보고 GPT-6 Astra와 같은 프론티어 AI 모델이 작동하는 모습을 확인하고, NVIDIA 팀과 생태계 전반의 개발자들이 제공하는 새로운 예시를 다시 확인하세요.
창고 환경을 위한 휴머노이드 시뮬레이터 구축
https://blogs.nvidia.com/wp-content/uploads/2026/10/Humanoid-Warehouse.mp4
1인칭 및 3인칭 시점에서 휴머노이드 로봇의 게임화된 물리 기반 제어를 탐색하세요.
창고 작업을 자동화하기 전에 개발자는 작업 행동을 탐색하고 작업이 어떻게 수행되는지 평가할 수 있는 대화형 시뮬레이션 환경이 필요합니다. NVIDIA의 Omniverse 제품 관리자인 Frank DeLise는 Astra를 사용하여 SimReady 창고와 휴머노이드 로봇을 1인칭 및 3인칭 시점을 갖춘 대화형 시뮬레이터로 전환했습니다.
DeLise는 Astra에게 물리(ovphysx), 장면 업데이트(ovstage), 렌더링(ovrtx) 및 사용자 인터페이스(ovui)를 위한 NVIDIA Omniverse 라이브러리를 연결하도록 지시했습니다. 그는 또한 Astra와 SimReady(simready-foundation)를 사용하여 시뮬레이션에서 물리적 장면을 만들었습니다. 그런 다음 Astra는 이러한 기능을 하나로 모으기 위한 애니메이션 및 애플리케이션 코드를 생성했습니다.
프론티어 AI 모델과 NVIDIA Omniverse 라이브러리로 SimReady 로봇 자산을 준비하고 검증하는 방법을 알아보세요.
자율주행 테스트 워크플로 연결
https://blogs.nvidia.com/wp-content/uploads/2026/10/zero-to-alpamayo-under-10MB.mp4
장면, 센서 또는 주행 모델을 변경하면 자율주행차 시뮬레이션에 상당한 영향을 미칠 수 있습니다. NVIDIA의 시뮬레이션 기술 팀 관리자인 Doyub Kim은 Astra에게 샌프란시스코의 Market Street를 기반으로 하는 재사용 가능한 시뮬레이션 환경인 Zero to Alpamayo를 구축하도록 요청했습니다.
Kim은 Astra에게 워크플로를 매핑한 다음 자산 생성, 교통, Omniverse RTX 센서 시뮬레이션 및 Alpamayo 주행을 단계별로 연결하고 각 통합을 확인하도록 지시했습니다. 그 결과 프로토타입은 모델을 비교하고 장면 또는 센서 변경이 다운스트림 주행 동작에 어떻게 영향을 미치는지 추적하기 위한 테스트 장소가 되었습니다. 별도의 Cosmos3-Nano 실험은 녹화된 시뮬레이션 비디오에서 날씨와 조명을 변화시켜 Kim이 다양한 조건에서 동일한 시나리오에 대한 주행 모델의 반응을 비교할 수 있게 했습니다.
센서 차이를 사용하여 디지털 트윈 생성 및 개선
https://blogs.nvidia.com/wp-content/uploads/2026/10/0_00-0_004-hubble_rivermark_Real_Sim_no_loop.mp4
녹화된 카메라 및 라이다 출력과 시뮬레이션 출력을 비교하면 개발자에게 장면을 개선하기 위한 핵심 성과 지표 기반 피드백을 제공합니다.
로봇과 자율주행차를 테스트하려면 개발자는 시뮬레이션된 센서가 실제 센서와 얼마나 일치하는지 알아야 합니다. NVIDIA에서 RTX 센서 검증을 담당하는 Ashley Reid는 Astra와 Claude Fable 5 에이전트에게 ovrtx 카메라 및 원시 LiDAR 출력을 녹화된 데이터와 비교하도록 지시했습니다. 에이전트는 처음부터 두 개의 디지털 트윈을 만들고 기존 두 개를 개선했습니다.
약 3일 동안 Reid는 에이전트가 차이를 측정하고, OpenUSD 장면을 생성하거나 수정하며, 결과를 확인하는 반복 워크플로를 안내했습니다. 변경 사항은 누락된 객체, 형상 및 재질을 해결했으며, 수용 여부는 카메라 및 LiDAR 지표에 따라 달라졌습니다. 이는 개발자에게 측정된 불일치를 사용하여 장면 생성 및 개선을 안내하는 방법을 제공합니다.
ovrtx 최소 Python 예제로 OpenUSD 장면을 렌더링한 다음, 녹화된 데이터와 비교할 센서 측정을 정의하세요.
로보 올림픽: 시뮬레이션으로 로봇 기술 테스트
로봇에게 새로운 동작을 가르친다는 것은 해당 동작이 물리적 제약 조건에서 작동하는지 확인하는 것을 의미합니다. NVIDIA Omniverse 엔지니어링 및 제품을 이끄는 Tae Kim은 스포츠 비디오와 자연어 지시를 사용하여 Astra가 스포츠 동작을 수행하는 시뮬레이션된 Unitree G1 휴머노이드를 테스트하는 실험 프로젝트인 Robo Olympics를 구축하도록 안내했습니다.
Kim의 지시에 따라 Astra는 컨트롤러를 구축하고 물리 시험을 통해 개선했습니다. Newton Physics Engine은 동작을 시뮬레이션하고, 오픈 소스 NVIDIA Warp 프레임워크는 계산을 가속화했으며, ovrtx는 장면과 가상 카메라 이미지를 렌더링했습니다. 한 실험에서 로봇은 100회 시뮬레이션 시험 중 64회에서 단일 허들을 통과했습니다. 시험은 Kim에게 로봇의 타이밍과 제어를 개선하기 위한 피드백을 제공했습니다.
Kim이 Astra와 NVIDIA Omniverse 라이브러리로 시뮬레이션 구축을 탐색하는 모습을 시청하세요.
컴퓨터 지원 설계 및 시뮬레이션으로 로봇 분해 테스트
로봇이 제품을 분해하기 전에 개발자는 로봇의 도구가 부품에 도달하여 제거할 수 있는지 알아야 합니다. NVIDIA의 OpenUSD 선임 제품 관리자인 Jens Jebens는 Astra에게 PTC Onshape에서 자동차 서스펜션을 모델링하고 NVIDIA Isaac Sim에서 구성하도록 지시했습니다.
Astra와 함께 Jebens는 시뮬레이션을 기반으로 한 로봇의 컴퓨터 지원 설계 및 도구 수정을 탐색했습니다. 에이전트는 사용 가능한 공간을 측정하고 로봇이 서스펜션 볼트에 도달하는 데 사용할 수 있는 렌치를 설계했습니다. Jebens는 시뮬레이션에서 서스펜션 구성 요소의 성공적인 제거를 보고했습니다. 이는 설계 및 도구 결정을 분해 결과에 연결하여 로봇 정책 훈련의 출발점을 제공합니다.
Onshape 임포터 가이드를 살펴보세요.
국제 우주 정거장을 브라우저로 가져오기
3D 모델을 애플리케이션으로 전환하려면 자산, 라이브 데이터 및 인터페이스를 연결해야 합니다. NVIDIA의 엔지니어링 디렉터인 Nic Johns는 Astra에게 NASA 자산을 텔레메트리가 있는 OpenUSD 국제 우주 정거장 모델로 조립하도록 요청했습니다. Johns는 단일 프롬프트로 애플리케이션을 구축한 다음 후속 프롬프트를 사용하여 장면을 지구의 낮 쪽으로 이동시켜 행성이 보이도록 했습니다.
워크플로는 자산 준비를 위해 Blender를, 렌더링(ovrtx), 장면 런타임(ovstage) 및 스트리밍(ovstream)을 위해 Omniverse 라이브러리를 사용했습니다. 이 애플리케이션은 3D 모델과 운영 데이터를 브라우저로 가져오며, Johns는 프롬프트와 수정을 통해 개발을 안내했습니다.
Omniverse 실시간 뷰어 스킬을 사용해 보세요.
캡처된 방을 테스트 환경으로 전환
디지털로 재구성된 방은 개발자가 상호 작용을 테스트하기 전에 편집 가능한 객체와 정확한 물리적 동작이 필요합니다. NVIDIA의 Isaac 엔지니어링 애플리케이션 팀의 Chirag Majithia는 Astra에게 스테레오 카메라 캡처를 편집 가능한 OpenUSD 스튜디오로 전환하도록 지시했습니다.
워크플로는 재구성을 위해 PyCuSFM, FoundationStereo 및 nvblox를 결합했으며, 사용자 검토가 객체 선택 및 배치를 안내했습니다. Astra는 생성된 자산과 Blender로 제작된 자산을 조립하고 USD Content Agents를 사용하여 시뮬레이션에서 객체가 움직이고 상호 작용하는 방식을 구성했습니다. Isaac Sim 테스트는 문과 서랍의 충돌 및 접촉 수정을 안내했습니다. 이 스튜디오는 캡처된 형상을 상호 작용 테스트에 연결하여 간격과 객체 동작을 더 쉽게 검사할 수 있게 합니다.
USD Content Agents를 살펴보세요.
시뮬레이션 아이디어가 있으신가요? NVIDIA Omniverse 라이브러리를 살펴보고 AI 에이전트로 구축을 시작하세요.
개발자들은 자연어 지시를 통해 AI 에이전트를 지시하고, 결과를 검토하며, 변경을 안내합니다. Omniverse 라이브러리는 GPU 가속 물리, 렌더링 및 센서 시뮬레이션 기능을 제공합니다.
아래 프로젝트를 살펴보고 GPT-6 Astra와 같은 프론티어 AI 모델이 작동하는 모습을 확인하고, NVIDIA 팀과 생태계 전반의 개발자들이 제공하는 새로운 예시를 다시 확인하세요.
창고 환경을 위한 휴머노이드 시뮬레이터 구축
https://blogs.nvidia.com/wp-content/uploads/2026/10/Humanoid-Warehouse.mp4
1인칭 및 3인칭 시점에서 휴머노이드 로봇의 게임화된 물리 기반 제어를 탐색하세요.
창고 작업을 자동화하기 전에 개발자는 작업 행동을 탐색하고 작업이 어떻게 수행되는지 평가할 수 있는 대화형 시뮬레이션 환경이 필요합니다. NVIDIA의 Omniverse 제품 관리자인 Frank DeLise는 Astra를 사용하여 SimReady 창고와 휴머노이드 로봇을 1인칭 및 3인칭 시점을 갖춘 대화형 시뮬레이터로 전환했습니다.
DeLise는 Astra에게 물리(ovphysx), 장면 업데이트(ovstage), 렌더링(ovrtx) 및 사용자 인터페이스(ovui)를 위한 NVIDIA Omniverse 라이브러리를 연결하도록 지시했습니다. 그는 또한 Astra와 SimReady(simready-foundation)를 사용하여 시뮬레이션에서 물리적 장면을 만들었습니다. 그런 다음 Astra는 이러한 기능을 하나로 모으기 위한 애니메이션 및 애플리케이션 코드를 생성했습니다.
프론티어 AI 모델과 NVIDIA Omniverse 라이브러리로 SimReady 로봇 자산을 준비하고 검증하는 방법을 알아보세요.
자율주행 테스트 워크플로 연결
https://blogs.nvidia.com/wp-content/uploads/2026/10/zero-to-alpamayo-under-10MB.mp4
장면, 센서 또는 주행 모델을 변경하면 자율주행차 시뮬레이션에 상당한 영향을 미칠 수 있습니다. NVIDIA의 시뮬레이션 기술 팀 관리자인 Doyub Kim은 Astra에게 샌프란시스코의 Market Street를 기반으로 하는 재사용 가능한 시뮬레이션 환경인 Zero to Alpamayo를 구축하도록 요청했습니다.
Kim은 Astra에게 워크플로를 매핑한 다음 자산 생성, 교통, Omniverse RTX 센서 시뮬레이션 및 Alpamayo 주행을 단계별로 연결하고 각 통합을 확인하도록 지시했습니다. 그 결과 프로토타입은 모델을 비교하고 장면 또는 센서 변경이 다운스트림 주행 동작에 어떻게 영향을 미치는지 추적하기 위한 테스트 장소가 되었습니다. 별도의 Cosmos3-Nano 실험은 녹화된 시뮬레이션 비디오에서 날씨와 조명을 변화시켜 Kim이 다양한 조건에서 동일한 시나리오에 대한 주행 모델의 반응을 비교할 수 있게 했습니다.
센서 차이를 사용하여 디지털 트윈 생성 및 개선
https://blogs.nvidia.com/wp-content/uploads/2026/10/0_00-0_004-hubble_rivermark_Real_Sim_no_loop.mp4
녹화된 카메라 및 라이다 출력과 시뮬레이션 출력을 비교하면 개발자에게 장면을 개선하기 위한 핵심 성과 지표 기반 피드백을 제공합니다.
로봇과 자율주행차를 테스트하려면 개발자는 시뮬레이션된 센서가 실제 센서와 얼마나 일치하는지 알아야 합니다. NVIDIA에서 RTX 센서 검증을 담당하는 Ashley Reid는 Astra와 Claude Fable 5 에이전트에게 ovrtx 카메라 및 원시 LiDAR 출력을 녹화된 데이터와 비교하도록 지시했습니다. 에이전트는 처음부터 두 개의 디지털 트윈을 만들고 기존 두 개를 개선했습니다.
약 3일 동안 Reid는 에이전트가 차이를 측정하고, OpenUSD 장면을 생성하거나 수정하며, 결과를 확인하는 반복 워크플로를 안내했습니다. 변경 사항은 누락된 객체, 형상 및 재질을 해결했으며, 수용 여부는 카메라 및 LiDAR 지표에 따라 달라졌습니다. 이는 개발자에게 측정된 불일치를 사용하여 장면 생성 및 개선을 안내하는 방법을 제공합니다.
ovrtx 최소 Python 예제로 OpenUSD 장면을 렌더링한 다음, 녹화된 데이터와 비교할 센서 측정을 정의하세요.
로보 올림픽: 시뮬레이션으로 로봇 기술 테스트
로봇에게 새로운 동작을 가르친다는 것은 해당 동작이 물리적 제약 조건에서 작동하는지 확인하는 것을 의미합니다. NVIDIA Omniverse 엔지니어링 및 제품을 이끄는 Tae Kim은 스포츠 비디오와 자연어 지시를 사용하여 Astra가 스포츠 동작을 수행하는 시뮬레이션된 Unitree G1 휴머노이드를 테스트하는 실험 프로젝트인 Robo Olympics를 구축하도록 안내했습니다.
Kim의 지시에 따라 Astra는 컨트롤러를 구축하고 물리 시험을 통해 개선했습니다. Newton Physics Engine은 동작을 시뮬레이션하고, 오픈 소스 NVIDIA Warp 프레임워크는 계산을 가속화했으며, ovrtx는 장면과 가상 카메라 이미지를 렌더링했습니다. 한 실험에서 로봇은 100회 시뮬레이션 시험 중 64회에서 단일 허들을 통과했습니다. 시험은 Kim에게 로봇의 타이밍과 제어를 개선하기 위한 피드백을 제공했습니다.
Kim이 Astra와 NVIDIA Omniverse 라이브러리로 시뮬레이션 구축을 탐색하는 모습을 시청하세요.
컴퓨터 지원 설계 및 시뮬레이션으로 로봇 분해 테스트
로봇이 제품을 분해하기 전에 개발자는 로봇의 도구가 부품에 도달하여 제거할 수 있는지 알아야 합니다. NVIDIA의 OpenUSD 선임 제품 관리자인 Jens Jebens는 Astra에게 PTC Onshape에서 자동차 서스펜션을 모델링하고 NVIDIA Isaac Sim에서 구성하도록 지시했습니다.
Astra와 함께 Jebens는 시뮬레이션을 기반으로 한 로봇의 컴퓨터 지원 설계 및 도구 수정을 탐색했습니다. 에이전트는 사용 가능한 공간을 측정하고 로봇이 서스펜션 볼트에 도달하는 데 사용할 수 있는 렌치를 설계했습니다. Jebens는 시뮬레이션에서 서스펜션 구성 요소의 성공적인 제거를 보고했습니다. 이는 설계 및 도구 결정을 분해 결과에 연결하여 로봇 정책 훈련의 출발점을 제공합니다.
Onshape 임포터 가이드를 살펴보세요.
국제 우주 정거장을 브라우저로 가져오기
3D 모델을 애플리케이션으로 전환하려면 자산, 라이브 데이터 및 인터페이스를 연결해야 합니다. NVIDIA의 엔지니어링 디렉터인 Nic Johns는 Astra에게 NASA 자산을 텔레메트리가 있는 OpenUSD 국제 우주 정거장 모델로 조립하도록 요청했습니다. Johns는 단일 프롬프트로 애플리케이션을 구축한 다음 후속 프롬프트를 사용하여 장면을 지구의 낮 쪽으로 이동시켜 행성이 보이도록 했습니다.
워크플로는 자산 준비를 위해 Blender를, 렌더링(ovrtx), 장면 런타임(ovstage) 및 스트리밍(ovstream)을 위해 Omniverse 라이브러리를 사용했습니다. 이 애플리케이션은 3D 모델과 운영 데이터를 브라우저로 가져오며, Johns는 프롬프트와 수정을 통해 개발을 안내했습니다.
Omniverse 실시간 뷰어 스킬을 사용해 보세요.
캡처된 방을 테스트 환경으로 전환
디지털로 재구성된 방은 개발자가 상호 작용을 테스트하기 전에 편집 가능한 객체와 정확한 물리적 동작이 필요합니다. NVIDIA의 Isaac 엔지니어링 애플리케이션 팀의 Chirag Majithia는 Astra에게 스테레오 카메라 캡처를 편집 가능한 OpenUSD 스튜디오로 전환하도록 지시했습니다.
워크플로는 재구성을 위해 PyCuSFM, FoundationStereo 및 nvblox를 결합했으며, 사용자 검토가 객체 선택 및 배치를 안내했습니다. Astra는 생성된 자산과 Blender로 제작된 자산을 조립하고 USD Content Agents를 사용하여 시뮬레이션에서 객체가 움직이고 상호 작용하는 방식을 구성했습니다. Isaac Sim 테스트는 문과 서랍의 충돌 및 접촉 수정을 안내했습니다. 이 스튜디오는 캡처된 형상을 상호 작용 테스트에 연결하여 간격과 객체 동작을 더 쉽게 검사할 수 있게 합니다.
USD Content Agents를 살펴보세요.
시뮬레이션 아이디어가 있으신가요? NVIDIA Omniverse 라이브러리를 살펴보고 AI 에이전트로 구축을 시작하세요.
브리프용 요약 초안
NVIDIA가 프론티어 AI 에이전트와 Omniverse 라이브러리를 결합해 휴머노이드 시뮬레이터, 자율주행 테스트, 디지털 트윈, 로봇 스포츠 등 다양한 시뮬레이션 애플리케이션 사례를 공개했다. 각 프로젝트는 자연어 지시로 AI 에이전트를 제어하고 GPU 가속 물리·렌더링·센서 시뮬레이션을 활용한다. 다만 원문에는 특정 메모리 제품이나 고객, 거래 관계가 언급되지 않아 메모리 산업에 대한 직접적 영향은 확인되지 않는다.
원문 텍스트
원문 열기 ↗Turning a simulation idea into a working application means assembling assets, connecting physics and rendering, and checking that the scene behaves as intended. Developers are combining frontier AI models with
NVIDIA Omniverse libraries
to help carry out that work — building applications for exploring scenarios, investigating failures and improving designs.
Developers direct AI agents through natural-language instructions, review results and guide changes. Omniverse libraries provide GPU-accelerated physics, rendering and sensor simulation capabilities.
Explore the projects below to see frontier AI models such as GPT-6 Astra at work, and check back for new examples from NVIDIA teams and developers across the ecosystem.
Build a Humanoid Simulator for a Warehouse Environment
https://blogs.nvidia.com/wp-content/uploads/2026/10/Humanoid-Warehouse.mp4
Explore a gamified, physics-based control of a humanoid robot in first- and third-person view.
Before automating warehouse tasks, developers need an interactive simulation environment to explore task behavior and evaluate how the work gets done. Frank DeLise, Omniverse product manager at NVIDIA, used Astra to turn a
SimReady
warehouse and humanoid robot into an interactive simulator with first- and third-person views.
DeLise directed Astra to connect
NVIDIA Omniverse libraries
for physics (
ovphysx
), scene updates (
ovstage
), rendering (
ovrtx
) and the user interface (
ovui
). He also used Astra with SimReady (
simready-foundation
) to create the physical scene in simulation. Astra then generated animation and application code to bring those capabilities together.
Learn how to
prepare and validate SimReady robot assets
with frontier AI models and NVIDIA Omniverse libraries.
Connect an Autonomous-Driving Testing Workflow
https://blogs.nvidia.com/wp-content/uploads/2026/10/zero-to-alpamayo-under-10MB.mp4
Changing a scene, sensor or driving model can significantly affect autonomous-vehicle simulations. Doyub Kim, a manager on the simulation technology team at NVIDIA, asked Astra to build Zero to Alpamayo — a reusable simulation environment based on San Francisco’s Market Street.
Kim directed Astra to map out the workflow, then connect asset creation, traffic,
Omniverse RTX sensor simulation
and
Alpamayo driving
in stages, checking each integration. The resulting prototype was a testing ground for comparing models and tracing how scene or sensor changes affect downstream driving behavior. A separate Cosmos3-Nano experiment varied weather and lighting in recorded simulation videos, allowing Kim to compare the driving model’s responses to the same scenario under different conditions.
Use Sensor Differences to Create and Improve Digital Twins
https://blogs.nvidia.com/wp-content/uploads/2026/10/0_00-0_004-hubble_rivermark_Real_Sim_no_loop.mp4
Comparing recorded and simulated camera and lidar outputs gives developers key performance indicator-based feedback for refining a scene.
To test robots and autonomous vehicles, developers need to know how closely simulated sensors match real ones. Ashley Reid, who works on RTX sensor validation at NVIDIA, directed Astra and Claude Fable 5 agents to compare
ovrtx
camera and raw LiDAR outputs with recorded data. The agents created two digital twins from scratch and improved two existing ones.
Over about three days, Reid guided an iterative workflow in which agents measured differences, created or modified OpenUSD scenes, and checked the results. Changes addressed missing objects, geometry and materials, with acceptance depending on camera and LiDAR metrics. This gives developers a way to use measured discrepancies to guide scene creation and improvement.
Start by rendering an OpenUSD scene with the
ovrtx minimal Python example
, then define a sensor measure to compare with recorded data.
Robo Olympics: Test Robot Skills With Simulation
Teaching robots new movements means checking whether those actions work under physical constraints. Tae Kim, who leads NVIDIA Omniverse engineering and product, used sports videos and natural-language instructions to guide Astra in building Robo Olympics, an experimental project that tests simulated Unitree G1 humanoids performing sports movements.
Under Kim’s direction, Astra built controllers and refined them through physics trials.
Newton Physics Engine
simulated behavior, the open source
NVIDIA Warp
framework accelerated calculations and
ovrtx
rendered scenes and virtual-camera images. In one experiment, the robot cleared a single hurdle in 64 of 100 simulation trials. The trials gave Kim feedback for improving the robot’s timing and control.
Watch Kim
explore building simulations
with Astra and NVIDIA Omniverse libraries.
Test Robotic Disassembly With Computer-Aided Design and Simulation
Before a robot can disassemble a product, developers need to know whether its tools can reach and remove the parts. Jens Jebens, a senior product manager for OpenUSD at NVIDIA, directed Astra to model a car suspension in PTC Onshape and configure it in
NVIDIA
Isaac Sim
.
With Astra, Jebens explored
computer-aided design
and tooling revisions for robots informed by simulation. The agent measured the available space and designed a wrench the robot could use to reach the suspension’s bolts. Jebens reported successful removal of a suspension component in simulation. This connects design and tooling decisions to disassembly results, offering a starting point for robot policy training.
Explore the
Onshape importer guide
.
Bring the International Space Station Into the Browser
Turning 3D models into an application requires connecting assets, live data and an interface. Nic Johns, an engineering director at NVIDIA, prompted Astra to assemble NASA assets into an
OpenUSD
International Space Station model with telemetry. Johns built the application with a single prompt, then used a follow-up prompt to shift the scene to Earth’s daytime side so the planet was visible.
The workflow used Blender for asset preparation and
Omniverse libraries
for rendering (
ovrtx
), scene runtime (ovstage) and streaming (ovstream). The application brings 3D models and operational data into the browser, with Johns guiding its development through prompts and corrections.
Try the
Omniverse Real-Time Viewer skill
.
Turn Captured Rooms Into Testing Environments
A digitally reconstructed room needs editable objects and accurate physical behavior before developers can test interactions. Chirag Majithia, from the Isaac engineering applications team at NVIDIA, directed Astra to turn stereo camera captures into an editable
OpenUSD
studio.
The workflow combined PyCuSFM, FoundationStereo and nvblox for reconstruction, with user review guiding object selection and placement. Astra assembled generated and Blender-authored assets and used USD Content Agents to configure how objects move and interact in simulation. Isaac Sim tests guided collision and contact revisions for doors and drawers. The studio connects captured geometry to interaction testing, making gaps and object behavior easier to inspect.
Explore USD Content Agents.
Have a simulation idea? Explore
NVIDIA Omniverse libraries
to start building with an AI agent.
NVIDIA Omniverse libraries
to help carry out that work — building applications for exploring scenarios, investigating failures and improving designs.
Developers direct AI agents through natural-language instructions, review results and guide changes. Omniverse libraries provide GPU-accelerated physics, rendering and sensor simulation capabilities.
Explore the projects below to see frontier AI models such as GPT-6 Astra at work, and check back for new examples from NVIDIA teams and developers across the ecosystem.
Build a Humanoid Simulator for a Warehouse Environment
https://blogs.nvidia.com/wp-content/uploads/2026/10/Humanoid-Warehouse.mp4
Explore a gamified, physics-based control of a humanoid robot in first- and third-person view.
Before automating warehouse tasks, developers need an interactive simulation environment to explore task behavior and evaluate how the work gets done. Frank DeLise, Omniverse product manager at NVIDIA, used Astra to turn a
SimReady
warehouse and humanoid robot into an interactive simulator with first- and third-person views.
DeLise directed Astra to connect
NVIDIA Omniverse libraries
for physics (
ovphysx
), scene updates (
ovstage
), rendering (
ovrtx
) and the user interface (
ovui
). He also used Astra with SimReady (
simready-foundation
) to create the physical scene in simulation. Astra then generated animation and application code to bring those capabilities together.
Learn how to
prepare and validate SimReady robot assets
with frontier AI models and NVIDIA Omniverse libraries.
Connect an Autonomous-Driving Testing Workflow
https://blogs.nvidia.com/wp-content/uploads/2026/10/zero-to-alpamayo-under-10MB.mp4
Changing a scene, sensor or driving model can significantly affect autonomous-vehicle simulations. Doyub Kim, a manager on the simulation technology team at NVIDIA, asked Astra to build Zero to Alpamayo — a reusable simulation environment based on San Francisco’s Market Street.
Kim directed Astra to map out the workflow, then connect asset creation, traffic,
Omniverse RTX sensor simulation
and
Alpamayo driving
in stages, checking each integration. The resulting prototype was a testing ground for comparing models and tracing how scene or sensor changes affect downstream driving behavior. A separate Cosmos3-Nano experiment varied weather and lighting in recorded simulation videos, allowing Kim to compare the driving model’s responses to the same scenario under different conditions.
Use Sensor Differences to Create and Improve Digital Twins
https://blogs.nvidia.com/wp-content/uploads/2026/10/0_00-0_004-hubble_rivermark_Real_Sim_no_loop.mp4
Comparing recorded and simulated camera and lidar outputs gives developers key performance indicator-based feedback for refining a scene.
To test robots and autonomous vehicles, developers need to know how closely simulated sensors match real ones. Ashley Reid, who works on RTX sensor validation at NVIDIA, directed Astra and Claude Fable 5 agents to compare
ovrtx
camera and raw LiDAR outputs with recorded data. The agents created two digital twins from scratch and improved two existing ones.
Over about three days, Reid guided an iterative workflow in which agents measured differences, created or modified OpenUSD scenes, and checked the results. Changes addressed missing objects, geometry and materials, with acceptance depending on camera and LiDAR metrics. This gives developers a way to use measured discrepancies to guide scene creation and improvement.
Start by rendering an OpenUSD scene with the
ovrtx minimal Python example
, then define a sensor measure to compare with recorded data.
Robo Olympics: Test Robot Skills With Simulation
Teaching robots new movements means checking whether those actions work under physical constraints. Tae Kim, who leads NVIDIA Omniverse engineering and product, used sports videos and natural-language instructions to guide Astra in building Robo Olympics, an experimental project that tests simulated Unitree G1 humanoids performing sports movements.
Under Kim’s direction, Astra built controllers and refined them through physics trials.
Newton Physics Engine
simulated behavior, the open source
NVIDIA Warp
framework accelerated calculations and
ovrtx
rendered scenes and virtual-camera images. In one experiment, the robot cleared a single hurdle in 64 of 100 simulation trials. The trials gave Kim feedback for improving the robot’s timing and control.
Watch Kim
explore building simulations
with Astra and NVIDIA Omniverse libraries.
Test Robotic Disassembly With Computer-Aided Design and Simulation
Before a robot can disassemble a product, developers need to know whether its tools can reach and remove the parts. Jens Jebens, a senior product manager for OpenUSD at NVIDIA, directed Astra to model a car suspension in PTC Onshape and configure it in
NVIDIA
Isaac Sim
.
With Astra, Jebens explored
computer-aided design
and tooling revisions for robots informed by simulation. The agent measured the available space and designed a wrench the robot could use to reach the suspension’s bolts. Jebens reported successful removal of a suspension component in simulation. This connects design and tooling decisions to disassembly results, offering a starting point for robot policy training.
Explore the
Onshape importer guide
.
Bring the International Space Station Into the Browser
Turning 3D models into an application requires connecting assets, live data and an interface. Nic Johns, an engineering director at NVIDIA, prompted Astra to assemble NASA assets into an
OpenUSD
International Space Station model with telemetry. Johns built the application with a single prompt, then used a follow-up prompt to shift the scene to Earth’s daytime side so the planet was visible.
The workflow used Blender for asset preparation and
Omniverse libraries
for rendering (
ovrtx
), scene runtime (ovstage) and streaming (ovstream). The application brings 3D models and operational data into the browser, with Johns guiding its development through prompts and corrections.
Try the
Omniverse Real-Time Viewer skill
.
Turn Captured Rooms Into Testing Environments
A digitally reconstructed room needs editable objects and accurate physical behavior before developers can test interactions. Chirag Majithia, from the Isaac engineering applications team at NVIDIA, directed Astra to turn stereo camera captures into an editable
OpenUSD
studio.
The workflow combined PyCuSFM, FoundationStereo and nvblox for reconstruction, with user review guiding object selection and placement. Astra assembled generated and Blender-authored assets and used USD Content Agents to configure how objects move and interact in simulation. Isaac Sim tests guided collision and contact revisions for doors and drawers. The studio connects captured geometry to interaction testing, making gaps and object behavior easier to inspect.
Explore USD Content Agents.
Have a simulation idea? Explore
NVIDIA Omniverse libraries
to start building with an AI agent.