에이전트, 이제 '만드는 것'보다 '계속 굴리는 것'이 어렵습니다
에이전트 프로토타입 만드는 건 이제 반나절이면 됩니다. 진짜 문제는 그다음이에요. 모델이 한 달 만에 더 좋은 놈으로 바뀌고, 사용자는 텍스트가 아니라 음성으로 말을 걸고, 리서치 에이전트는 한 번의 요청으로 안 끝나고, 컴플라이언스 팀은 "이 에이전트 누가 소유자예요?"라고 물어옵니다.
Microsoft가 이번에 Microsoft Foundry에 쏟아낸 업데이트는 정확히 이 지점을 겨냥해요. 한마디로 **"모델에 종속되지 않는 에이전트 파운데이션"**을 만들어서, 모델이 바뀌어도 팀이 아키텍처를 갈아엎지 않게 하겠다는 겁니다. 근거자료는 Microsoft Azure 공식 블로그에서 확인할 수 있어요.
이 글에서는 실무에서 바로 체감될 만한 다섯 가지 축으로 정리해볼게요. 모델 선택, 보이스, 장기 실행, 지속적 최적화, 거버넌스입니다.
1. 모델 선택은 '프로젝트 시작 시 결정'이 아니라 '지속적 우위'입니다
이번 주 Foundry에 **GPT-6 패밀리(Sol, Luna 포함)**와 Claude Opus 5.5가 동시에 들어왔어요. 중요한 건 특정 모델 하나가 아니라, 프론티어 진영 전체가 '몇 달'이 아니라 '며칠' 단위로 갈아치워진다는 사실이에요.
실무적으로 이게 의미하는 바는 명확합니다.
- 코딩 에이전트에 최적인 모델이 리서치·CS·대량 추론에 최적이라는 보장이 없어요.
- "우리 팀은 OpenAI만 씁니다" 같은 락인(lock-in) 선언은 6개월 뒤 기술 부채가 됩니다.
- 그래서 Foundry는 자기 데이터·워크로드로 모델을 평가하고, 품질·지연·비용 트레이드오프를 비교한 뒤 프로덕션에 투입하는 흐름을 전제로 설계됐어요.
# Foundry에서 여러 모델을 동일 프롬프트로 평가하는 개념 예시
# (실제 SDK 호출은 Foundry 문서의 최신 API를 참고하세요)
from foundry import ModelClient
candidates = ["gpt-6-sol", "gpt-6-luna", "claude-opus-5.5"]
client = ModelClient(endpoint="https://<your-foundry>.ai.azure.com")
for model in candidates:
result = client.evaluate(
model=model,
dataset="my-agent-golden-set.jsonl", # 우리 팀 실제 데이터
metrics=["quality", "latency_p95", "cost_per_1k"],
)
print(model, result.summary) # 품질/지연/비용 한 번에 비교
포인트는 **"평가 없이 모델 바꾸지 말자"**예요. 모델 교체는 이제 릴리스 이벤트가 아니라 상시 운영 작업입니다.
2. 보이스 에이전트, 이제 '텍스트에 음성 얹기'가 아닙니다
기존 보이스 봇은 대부분 텍스트 에이전트 위에 STT/TTS를 덧대는 방식이었어요. 그래서 오케스트레이션·모니터링·배포가 따로 놀았죠. Foundry Agent Service의 **Voice Agents(퍼블릭 프리뷰)**는 이걸 에이전트 파운데이션의 1급 시민으로 끌어올립니다.
| 항목 | 기존 방식 | Foundry Voice Agents |
|---|---|---|
| 아키텍처 | 텍스트 에이전트 + 별도 STT/TTS | 네이티브 보이스 에이전트 타입 |
| 모델 선택 | 사실상 고정 | GPT Realtime / Azure Realtime / MAI / BYO |
| 인터럽트 처리 | 직접 구현 | 자연스러운 턴테이킹 + 복구 내장 |
| 다국어 | 개별 대응 | 80+ 언어, 140+ 로케일 |
| 배포 채널 | 커스텀 | Web, Teams, Teams Phone, Twilio |
| 거버넌스 | 별도 | 기존 Foundry 에이전트 정책 재사용 |
특히 AZD AI(소스 컨트롤 기반 배포), VS Code Foundry Toolkit(예정), 보이스 네이티브 옵저버빌리티가 같이 묶여 나오는 게 실무적으로 큽니다. "데모는 되는데 운영이 안 되는" 보이스 봇의 전형적인 함정을 도구 레벨에서 줄여주거든요.
국내 SI 환경에서는 보이스 채널이 콜센터·금융 상담으로 바로 연결되는 경우가 많아서, 개인정보 처리·통화 녹취·전사(transcript) 보관 정책을 Foundry 거버넌스 레이어와 함께 설계해두는 게 특히 중요해요.
3. 장기 실행(Long-running)과 지속적 최적화, 그리고 거버넌스
장기 실행 호스팅 에이전트
리서치·리포트 생성처럼 한 요청으로 안 끝나는 작업을 위해, **Long-running resilience(퍼블릭 프리뷰)**가 들어왔어요. 요청이 끊겨도 작업이 이어지고, 호스팅 프로세스가 죽어도 복구됩니다. Microsoft Agent Framework의 워크플로 상태·체크포인트와 결합하면 "마지막 durable checkpoint부터 재개"가 됩니다. 여기에 Agent Channel(메시징), AG-UI(인터랙티브 앱), CodeAct/Hyperlight(격리 코드 실행), episodic procedural memory까지 얹혔어요.
프로덕션 증거를 개선 루프로
- Insights(프리뷰): 프로덕션 트레이스에서 반복 이슈와 "몰랐던 이슈"를 표면화.
- Rubric evaluator(이번 달 GA): "좋음"을 측정 가능한 기준으로 정의.
- Synthetic / traces-to-dataset(이번 달 GA): 실제 트래픽 기반 평가 데이터 생성.
- Agent optimizer(이번 달 GA): 지시문·도구·스킬·모델 선택 변경을 실제 배포 전에 검증.
관찰 → 이해 → 평가 → 최적화 → 검증 → 반복. 이 루프가 "에이전트가 오래 돌수록 좋아진다"는 말을 실제로 성립시키는 구조예요.
거버넌스
Entra / Agent 365에서 온 차단·비활성·삭제·복원·소유자 재지정 같은 작업이 이제 Foundry 런타임에서 강제됩니다. 네트워크 이그레스 제어로 호스팅 에이전트의 외부 목적지를 allow/deny/헤더 수정/리다이렉트할 수 있고, 감사 모드로 정책을 사전 검증할 수 있어요. 10월에는 Azure API Management AI Gateway 티어 프리뷰 연동으로 허브-스포크 거버넌스가 Foundry 개발 경험 안으로 들어옵니다.
주의사항과 한계
- 프리뷰 기능이 많아요. Voice Agents, Long-running resilience, Insights, AI Gateway 연동은 프리뷰 단계라 SLA·리전·API 안정성을 반드시 확인하세요.
- 벤치마크는 맥락 의존적입니다. 툴 검색이 입력 토큰을 60~97% 줄였다는 수치는 특정 벤치마크(44,000+ 도구) 결과예요. 우리 워크로드에서 재측정이 필수입니다.
- 모델 선택 자유는 곧 평가 부담입니다. 후보가 늘어난 만큼 골든셋·회귀 테스트·비용 가드레일을 팀 표준으로 만들어야 해요.
다음 단계 학습 방향
ai.azure.com에서 모델 하나 골라 에이전트 하나 띄워보기.- 골든셋 20~50개로 Rubric evaluator 붙여보기.
- 보이스 에이전트를 Teams 또는 Twilio 인바운드로 붙여 인터럽트 시나리오 테스트.
- Agent optimizer로 지시문 A/B 검증.
- Entra·Agent 365 거버넌스 작업을 런타임에서 강제되는지 확인.
함께 보면 좋은 글
- Amazon Macie + Step Functions로 커스텀 PII 탐지 자동화하기 — 3버킷 파이프라인 완전 정복 — 에이전트가 다루는 데이터에 PII가 섞일 때, 파이프라인 단에서 자동 탐지·격리하는 패턴이 특히 유용해요.
- NVIDIA Blackwell Ultra, AI 추론의 숨은 병목 소프트맥스를 해결하다 — 에이전트 추론 비용을 밑단에서 깎는 하드웨어/커널 관점의 짝꿍 글입니다.