NVIDIA BlueField-4, 에이전틱 AI 팩토리의 Scale-In 네트워크를 열다

들어가며: AI 팩토리는 왜 '전용 인프라'가 필요한가?

기존 클라우드 인프라는 예측 가능한 범용 워크로드를 전제로 설계됐습니다. 하지만 에이전틱 AI(Agentic AI) 팩토리는 수많은 사용자, 에이전트, 애플리케이션, 데이터 소스, 스토리지가 초당 수 테라비트급 대역폭으로 가속 컴퓨팅에 연결됩니다. 이 환경에서는 보안, 스토리지 접근, 운영 관리가 호스트 CPU의 소프트웨어 스택에 의존하는 순간 병목이 됩니다.

NVIDIA는 이 문제를 Scale-In이라는 새로운 네트워크 인프라 계층으로 풀어냅니다. AI 네트워킹의 다섯 번째 축으로, 기존 north-south 접속 경로를 AI 팩토리 전용 가속 인프라 도메인으로 진화시키는 개념입니다. 근거자료는 NVIDIA 개발자 블로그에서 확인할 수 있어요.

AI 팩토리의 5가지 인프라 축

• Scale-Up: NVLink로 GPU를 하나의 가속기처럼 묶음
• Scale-Out: Spectrum-X Ethernet / Quantum InfiniBand로 서버 간 연결
• Scale-Across: Spectrum-XGS Ethernet으로 분산된 AI 팩토리 연결
• Context Memory: CMX로 KV-cache 공유 스토리지 제공
• Scale-In: BlueField-4 + DOCA + Spectrum-X Ethernet으로 AI 컴퓨팅 주변의 접속·보안·데이터 이동·운영을 가속

여기서 중요한 포인트는 **Scale-In이 단순한 네트워크 스위치가 아니라 '인프라 처리 도메인'**이라는 점이에요. 호스트와 분리된 DPU 위에서 보안 정책, 테넌트 격리, 스토리지 프로토콜 처리를 전담하니까요.

BlueField-4 아키텍처: 무엇이 달라졌나

BlueField-4는 프로그래머블 제어 평면과 가속 데이터 평면을 결합한 DPU입니다. 소프트웨어가 인프라 결정을 내리고, 인라인 엔진이 이를 로컬에서 라인레이트로 집행하는 구조죠.

주요 구성 요소

BlueField-3 대비 메모리 대역폭 4배, 네트워크 대역폭 2배로 늘어났습니다. 이 여유분이 더 많은 동시 서비스, 더 큰 정책·텔레메트리 데이터셋, 더 높은 보안 처리량을 가능하게 합니다.

DOCA: 하드웨어 가속기를 '서비스'로 바꾸는 소프트웨어 계층

DOCA는 BlueField-4의 하드웨어 가속기를 프로그래머블하고 배포 가능한 Scale-In 서비스로 전환합니다. 프로덕션 레디 컨테이너화된 DOCA 마이크로서비스가 BlueField-4 위에서 직접 돌아가고, DOCA 라이브러리·SDK로 커스텀 서비스를 개발할 수 있어요.

• DOCA Flow: 하드웨어 패킷 처리 파이프라인 프로그래밍
• DOCA PCC: 프로그래머블 혼잡 제어
• DOCA Telemetry: 디바이스·서비스 상태 노출
• DOCA Platform Framework (DPF): 프로비저닝·배포·업데이트 관리 (Kubernetes 네이티브)
• DOCA HBN: north-south L3 라우팅 및 멀티테넌트 격리 가속
• OVS-DOCA: east-west 인터페이스 정책 적용
• DOCA Argus / Vault: 런타임 위협 탐지 / 파일 접근 정책 집행

Spectrum-X Ethernet: Scale-In 패브릭의 물리 계층

BlueField-4가 각 시스템에서 인프라 서비스를 처리하는 동안, Spectrum-X Ethernet이 AI 팩토리와 외부 사용자·애플리케이션·데이터 소스·스토리지 사이 트래픽을 실어 나릅니다. 대규모 환경에서 로드밸런싱 충돌과 혼잡을 해결하고, 동시 트래픽을 격리해 접속·스토리지 플로우에 일관된 성능을 제공합니다. 오프더셀프 이더넷 대비 최대 1.45배 스토리지 처리량을 확보할 수 있다고 하네요.

핵심 사용 사례 5가지

1. 격리된 AI 팩토리 VPC 구축: DOCA HBN + OVS-DOCA로 north-south와 east-west 정책을 통합 관리. Vera Rubin에서는 컴퓨트 트레이당 north-south 800 Gb/s + east-west 4×1.6 Tb/s = 총 7.2 Tb/s 인터페이스 대역폭에 하나의 정책 모델 적용
2. 실리콘 레벨 보안 집행: 호스트 OS 외부에서 하드웨어로 정책 집행. 테넌트 소프트웨어가 비활성화·우회 불가
3. 스토리지 접근 가속: NVMe-oF, 파일·오브젝트 프로토콜을 RDMA/TCP 위에서 가속. GPU가 데이터를 기다리는 상황 방지
4. AI 팩토리 컨트롤 플레인 운영: 호스트 OS 로딩 전에 노드 온보딩·네트워크/스토리지 프로비저닝·정책 설정 완료
5. 운영 관측성: DOCA Telemetry로 호스트 소프트웨어와 무관하게 네트워크·스토리지·서비스 상태 수집

주의사항과 현실적인 한계

화려한 스펙 뒤에 가려진 부분도 짚고 넘어가야 합니다.

1. 생태계 종속성

BlueField-4 + DOCA + Spectrum-X Ethernet은 사실상 NVIDIA 풀스택입니다. DOCA SDK로 커스텀 서비스를 개발하려면 BlueField 하드웨어가 필수고, Spectrum-X 스위치 없이는 패브릭 레벨 최적화를 온전히 누릴 수 없어요. 기존 인프라와의 혼합 운용은 가능하지만, '진짜 성능'은 풀스택일 때 나옵니다.

2. 운영 복잡도 증가

DPU를 별도 인프라 처리 도메인으로 두는 순간, 관리해야 할 평면이 하나 더 늘어납니다. DPF(Kubernetes 네이티브)가 이를 완화해 주지만, 기존 서버 운영팀과 네트워크 운영팀의 역할 경계를 재정의해야 하는 조직적 과제가 남습니다.

3. 애플리케이션 호환성

OVS-DOCA, DOCA HBN 등은 커널 OVS나 기존 소프트웨어 스택과 동작이 완전히 같지 않습니다. 마이그레이션 전에 반드시 워크로드별 검증이 필요해요.

4. 비용 구조

DPU는 서버당 추가 하드웨어 비용입니다. Scale-In의 이점(호스트 CPU 절감, 보안 강화, 스토리지 처리량 향상)이 DPU 도입 비용을 정당화하는지는 워크로드 규모에 따라 갈립니다. 소규모 클러스터에서는 과투자가 될 수 있어요.

5. 표준화 진행 중

DPU 오프로드 모델은 아직 업계 표준이 완전히 정착되지 않았습니다. 향후 표준화 동향을 지켜보면서 도입 시점을 조율하는 게 안전합니다.

정리: Scale-In이 의미하는 것

Scale-In은 단순한 신제품 발표가 아니라, AI 팩토리 인프라 설계 철학의 전환을 상징합니다. 지금까지 north-south 네트워크는 '데이터센터로 들어오고 나가는 길'이었지만, 이제는 AI 컴퓨팅과 동등한 수준으로 가속·설계되어야 하는 도메인이 된 거죠.

실무 적용을 위한 조언

• 소규모로 시작: 전체 팩토리를 한 번에 바꾸지 말고, 보안이 중요한 테넌트나 스토리지 집약 워크로드부터 BlueField-4를 적용해 효과를 측정하세요.
• DPF를 활용한 운영 자동화: Kubernetes 네이티브 오케스트레이션을 적극 활용해 DPU 관리 부담을 줄이는 것이 관건입니다.
• 텔레메트리 우선 확보: DOCA Telemetry를 먼저 붙여 병목 지점을 파악한 뒤, 어떤 서비스를 오프로드할지 결정하는 순서가 효율적이에요.

다음 단계 학습 방향

1. NVIDIA DOCA 공식 문서와 getting-started 가이드로 DOCA 샘플 빌드 실습
2. BlueField 플랫폼 아키텍처 스펙 확인
3. Spectrum-X Ethernet의 혼합 트래픽 격리 메커니즘 학습
4. DPF 기반 DPU 오케스트레이션 튜토리얼 진행

함께 보면 좋은 글

• LLM 추론 비용 폭탄? NVIDIA Runai와 NIM으로 GPU 활용률 2배 높이는 법
• 브라질 AI를 위한 핵심 데이터셋, Nemotron-Personas-Brazil 출시

한국 개발 생태계 관점: 국내 SI/클라우드 환경에서는 아직 DPU 기반 인프라 오프로드가 생소합니다. 하지만 대규모 GPU 클러스터를 운영하는 국내 AI 데이터센터(예: 네이버·카카오·통신 3사)에서는 호스트 CPU 병목과 테넌트 격리 이슈가 이미 현실 과제로 떠올랐어요. BlueField-4 도입을 검토한다면, 먼저 기존 Kubernetes 기반 MLOps 스택과 DPF의 통합 가능성을 PoC로 검증하는 것을 권장합니다.