왜 이 워크플로우를 알아야 할까?

로봇에게 장애물 코스를 걷게 가르치는 일은 단순히 '걷기 정책(walking policy)' 하나로 끝나지 않습니다. 로봇은 주변을 인식하고, 균형을 유지하며, 앞이 막히면 행동을 수정해야 하죠. 이 모든 걸 실제 하드웨어에서 처음부터 시도하면 로봇이 부서지고 개발자는 멘탈이 부서집니다 😅

그래서 실무에서는 시뮬레이션 → 학습 → 검증 → 배포의 파이프라인을 먼저 구축합니다. 이 글에서는 NVIDIA가 공개한 Microduck 예제를 기준으로, AI 에이전트가 계획을 세우고 시뮬레이션 자산을 만들며, Isaac Lab에서 정책을 학습시키고 Isaac Sim에서 검증하는 전 과정을 정리해볼게요.

핵심 컴포넌트는 다음과 같아요:

  • RTX Spark: 로컬 개발 허브. AI 기반 계획 수립과 정책 검증 담당
  • Isaac Lab: 클라우드 스케일 강화학습 프레임워크
  • Newton: GPU 가속 물리 엔진
  • Omniverse 라이브러리: RTX 렌더링 기반 시각 관측 생성
  • Isaac Sim: 로컬 시뮬레이션 및 정책 평가

이 글의 근거자료는 NVIDIA 개발자 블로그에서 확인할 수 있습니다.

💡 국내 적용 맥락: 국내 로봇 스타트업이나 대학 연구실에서는 보통 RTX 워크스테이션 1~2대로 로컬 개발을 하고, 학습만 클라우드(AWS/GCP)로 넘기는 하이브리드 구성을 많이 씁니다. 이 워크플로우가 딱 그 패턴에 맞아요.

Microduck quadruped robot navigating a simulated obstacle course in NVIDIA Isaac Sim Algorithm Concept Visual

Step 1. AI 에이전트로 프로젝트 계획 세우기

먼저 RTX Spark 위에서 Hermes와 NVIDIA Nemotron이 자연어 프롬프트를 단계별 프로젝트 계획으로 변환합니다. 프롬프트에는 의도한 작업, 사용 가능한 리소스, 기대 산출물, 에이전트가 따라야 할 단계를 명시해야 해요.

# 프롬프트 예시 (Microduck 장애물 코스)
Build and test a simulated Microduck obstacle course with navigation
and locomotion challenges. Make a photorealistic concept image and
have Astra build and test it.

이 계획은 단순 자산 생성에 그치지 않고 환경 구축 → 로봇 준비 → 시뮬레이션 → 학습 → 검증 → 배포까지 포함합니다. 계획 단계에서 코스 레이아웃, 장애물 치수, 여유 공간, 의도 경로를 명확히 정의하는 게 중요해요.

Step 2. 시뮬레이션 자산 생성

개념 이미지에서 오브젝트를 크롭하면 해상도가 낮아지기 때문에, Astra는 클라우드 이미지 편집으로 실루엣·비율·색상·특징을 유지한 채 고해상도 참조 이미지를 만듭니다. 이후:

  • FreeCAD: 기본 지오메트리 및 편집 가능한 CAD 구조 생성
  • Blender: 세부 지오메트리와 머티리얼 적용
  • 결과물은 USD 자산으로 내보내 Isaac Sim에서 바로 사용
# Isaac Lab에서 USD 자산을 환경에 로드하는 기본 패턴
import isaaclab.sim as sim_utils
from isaaclab.assets import AssetBaseCfg

obstacle_asset = AssetBaseCfg(
    prim_path="/World/Obstacles/Ramp",
    spawn=sim_utils.UsdFileCfg(usd_path="assets/ramp.usd"),
)

💡 실무 팁: SimReady Central Library에서 2,000개 이상의 무료 OpenUSD 자산을 받을 수 있어요. 새로 만드는 자산과 재사용 자산을 섞으면 준비 시간이 확 줄어듭니다.

Step 3. Isaac Sim 환경 조립 및 학습

Isaac Sim에서 자산을 조립하고, Newton이 Microduck의 관절 구조(links, joints, actuators)와 물리 거동을 모델링합니다. 학습 루프는 다음 사이클을 반복해요:

시뮬레이션 관측 → 정책 행동 → 시뮬레이션 모션 → 갱신된 관측

Isaac Lab은 이 루프를 수천 개 병렬 환경에서 동시에 돌립니다. 참고 실험에서는 RTX PRO 6000 Blackwell 워크스테이션에서 4,096개 병렬 환경으로 곡선 램프와 요철 지형을 통과하는 정책을 학습시켰다고 하네요.

# Isaac Lab 태스크 정의 골격 (개념 예시)
from isaaclab.envs import ManagerBasedRLEnv
from isaaclab.managers import ObservationTermCfg, RewardTermCfg

# 관측: 헤드 카메라 뎁스 + 로봇 상태
# 행동: 관절 목표 위치
# 보상: 전진 진행 + 균형 유지 - 낙상 페널티

Step 4. 로컬에서 정책 검증하기

학습이 끝나면 RTX Spark의 Isaac Sim에서 정책을 검증합니다. 학습 단계에서는 정책이 계속 변하지만, 평가 단계에서는 고정된 정책의 행동을 관찰한다는 점이 핵심이에요. 코스 완주율, 낙상 횟수, 충돌 횟수, 진행이 멈춘 상황을 기록하고 롤아웃 영상과 함께 비교하면 다음 이터레이션 방향이 명확해집니다.

AI agent planning robot training workflow on RTX Spark with Nemotron and Hermes Technical Structure Concept

주의사항: 시뮬레이션과 현실의 갭

시뮬레이션에서 완벽하게 걸어도 실기에서는 다를 수 있습니다. Isaac Lab은 이 갭을 줄이기 위해 두 가지를 제공해요.

1) Better Actuator Models (BAM)

서보 응답을 모델링합니다. 구체적으로:

  • 명령 지연(command delay)
  • 기계적 백래시(mechanical backlash): 드라이브트레인의 미세 유격
  • 공유 배터리 전압 강하: 여러 모터가 동시에 전류를 당길 때 발생

이 파라미터를 실측값과 맞추면 sim-to-real 갭이 좁아집니다.

2) 도메인 랜덤화(Domain Randomization)

물리 파라미터와 관측 노이즈를 현실적인 범위 내에서 무작위화하여, 정책이 그 차이에 적응하도록 훈련합니다.

항목시뮬레이션실기
센서 노이즈이상적 or 모델링실제 노이즈 존재
지면 접촉단순화된 접촉 모델마찰/변형 복잡
제어 타이밍고정 스텝지터 발생
액추에이터BAM으로 근사개체별 편차

⚠️ 국내 SI/제조 환경 주의점: 실제 라인에 투입되는 로봇은 개체별 편차가 커서 도메인 랜덤화 범위를 넓게 잡아야 하는 경우가 많습니다. 특히 저가 서보를 쓰는 경우 백래시 편차가 커서 BAM 캘리브레이션에 시간을 충분히 투자하세요.

다음 단계 학습 방향

  1. Isaac Lab Learning Path로 태스크 정의 API에 익숙해지기
  2. **Microduck sim-to-real 튜토리얼(Hugging Face)**로 실기 배포 흐름 따라가기
  3. BAM 네이티브 서보를 사용한 walking 데모 분석하기
  4. 자체 로봇 URDF를 Isaac Sim에 임포트해서 동일 파이프라인 재현하기

관련해서 AI 워크플로우 오케스트레이션에 관심 있다면 Daggr 공개 코드로 짜고 눈으로 확인하는 AI 워크플로우 빌더도 함께 보시면 파이프라인 설계 감각을 잡는 데 도움이 됩니다.

Reinforcement learning policy training with parallel environments on NVIDIA Isaac Lab Dev Environment Setup

정리: 실무 적용을 위한 3가지 조언

  1. 계획을 코드보다 먼저: AI 에이전트에게 프롬프트를 던질 때도 태스크·리소스·산출물·단계를 명시하면 재작업이 확 줄어요.
  2. 자산은 재사용 우선: SimReady 라이브러리와 기존 USD 자산을 최대한 활용하고, 새로 만드는 건 정말 필요한 것만.
  3. 평가를 학습과 분리: 학습 중 정책은 계속 바뀌어요. 검증은 반드시 고정된 정책으로 별도 수행하고, 완주율·낙상·충돌 같은 정량 지표를 꼭 기록하세요.

이 워크플로우는 Microduck 예제지만, 자체 로봇과 태스크에 그대로 이식 가능한 패턴입니다. 시뮬레이션에서 신뢰할 수 있는 정책을 확보한 뒤 실기 배포로 넘어가는 것이, 가장 안전하고 빠른 길이에요 🚀

참고로 AWS 기반 헬스케어 마이그레이션처럼 대규모 시스템 전환 사례에 관심 있다면 AWS 콜센터 마이그레이션, 환자 등록률 54% 향상시킨 헬스케어 사례 분석도 함께 보면 인프라 관점 인사이트를 얻을 수 있습니다.

본 콘텐츠는 신뢰할 수 있는 출처를 바탕으로 AI 도구를 활용하여 초안이 작성되었으며, 편집자의 검토를 거쳐 발행되었습니다. 전문가의 조언을 대체하지 않습니다.