들어가며: AI 비용, 이제는 '관리'의 시대
AI 도입 초기에는 일단 API 키를 뿌리고 토큰을 흘려보내는 탐색기가 있습니다. 그러다 조직에 맞는 표준 도구가 정해지고, 이제는 "누가 얼마나 쓰는가"를 관리해야 하는 단계로 넘어오죠. 예산과 규칙만으로는 한계가 있습니다. 가장 좋은 절감은 사용자가 인지하지 못하는 절감이니까요.
Cloudflare가 AI Gateway를 통해 Auto Router를 퍼블릭 베타로 공개했습니다. 모델을 cloudflare/auto로 설정하기만 하면, 각 요청을 처리하기에 충분한 성능의 모델로 자동 라우팅됩니다. 사용자는 모델 선택에 대해 고민할 필요가 없어요.
Cloudflare 내부 OpenCode 하네스에서의 초기 결과는 프론티어 모델만 사용할 때 대비 최대 30% 비용 절감을 보여줬습니다. (근거자료: Cloudflare Blog)
왜 이게 필요한가: 솔직한 문제 제기
Cloudflare의 내부 경험에 따르면, 비용 관리는 다각도 접근이 필요합니다. 예산과 한도를 설정하는 것만으로는 부족하고, 조직 전체의 지출을 가시화해야 하죠.
문제는 많은 하네스(OpenCode, Claude Code, Codex 등)에서 개별 사용자가 여전히 수동으로 모델을 선택한다는 점입니다. 모든 작업이 동등하지 않은데, 사람들은 종종 자기 작업에 과한(overkill) 모델을 씁니다. 이메일 요약에 Opus급 지능이 필요할까요? 반대로 보안 엔지니어링 팀에서 그 모델을 완전히 차단하고 싶지도 않을 겁니다.
AI Gateway는 모든 요청이 통과하는 지점이기 때문에, 단순 관찰·집행을 넘어 게이트웨이 자체가 지능적으로 의사결정할 수 있는 위치에 있습니다. 각 요청을 '충분히 유능한' 모델로 보내는 것이죠.
핵심 원리: 어떻게 모델을 고르는가
cloudflare/auto로 요청을 보내면, AI Gateway는 먼저 해당 요청을 실제로 처리할 수 있는 모델 풀을 구성합니다. 요청 형식·실행 모드를 지원하지 않는 모델은 걸러지고, 자격 증명·빌링 설정·접근 제어·지출 한도도 반영됩니다. 다운타임 중인 업스트림 프로바이더는 자동으로 제외됐다가 복구 후 다시 풀에 들어옵니다.
남은 후보들을 대상으로 라우터는 대화의 압축된 뷰(최근 메시지 우선)를 봅니다. 이 대화는 Workers AI에서 실행되는 멀티헤드 분류 모델로 전달되어 두 가지 신호를 만듭니다.
- 14개 작업 카테고리(코딩, 기획, 리서치, 데이터 분석 등)에 대한 확률 분포
- 4개 차원(복잡도, 모호성, 중요도, 이전 맥락 의존도)에 대한 1~5점 평가
이 신호들을 모델 벤치마크 결과와 결합한 스코어링 매트릭스가 각 모델의 적합도를 추정합니다. 여기에 각 모델의 입출력 토큰 가격을 합쳐 최종 선택을 내리죠. 단순 요청에서는 가격이 더 큰 가중치를 갖고, 난이도가 올라가면 비용 페널티가 줄어 강한 모델이 이길 여지가 커집니다.
간단히 말하면:
utility = expected_quality - adaptive_cost_penalty
캐시 비용까지 고려한다
긴 에이전틱 세션(디버깅, 코딩)에서는 모델의 정가보다 캐시 읽기 비용이 더 중요합니다. 모델을 바꾸면 캐시가 날아가고 새 모델이 전체 컨텍스트를 다시 써야 하죠. Auto Router는 이 비용을 고려합니다.
- 한 턴 내에서는 캐시가 뜨거우므로 모델을 유지하는 게 유리
- 턴 간에는 컨텍스트 토큰 수에 비례해 스위칭 페널티 부과
- 라이브 캐시를 가진 모델은 저렴한 캐시 읽기 요율 적용, 나머지는 전체 재작성 비용으로 계산
또한 대부분의 모델은 다른 모델의 추론 토큰(reasoning tokens)을 읽지 못합니다. 모델을 바꾸면 추론을 다시 해야 하므로, 향후에는 같은 모델 패밀리 내에서 전환하는 방향으로 개선할 예정입니다.
성능과 비용: 숫자로 보는 결과
Cloudflare 내부 일반 지식 업무 벤치마크(이메일, 캘린더, Slack, 파일, 여행, 재무 등 시뮬레이션) 결과입니다.
| 모델 | 성공률 | 총 비용 | 성공당 비용 |
|---|---|---|---|
| cloudflare/auto | 86.6% | $2.10 | $0.0084 |
| Anthropic Claude Opus 5.5 | 96.6% | $5.91 | $0.0210 |
| OpenAI GPT-6 Sol | 84.2% | $2.64 | $0.0108 |
Auto Router는 Sol 대비 80% 수준, Opus 대비 35% 수준의 비용으로 유사한 성능을 냈습니다. 이는 '모델 간 재그드 프론티어(jagged frontier)' 관점으로 설명됩니다. 문제 해결 능력은 모델 포트폴리오 어딘가에 존재하고, 라우터는 품질과 가격의 균형을 맞춰 적합한 모델을 고르는 것이죠.
주목할 점은 낮은 토큰 단가가 항상 낮은 총비용을 의미하지 않는다는 것입니다. 싸 보이는 모델이 문제 해결에 훨씬 많은 토큰을 쓸 수 있기 때문에, 라우터는 단순히 백만 토큰당 달러로 로드밸런싱하는 게 아니라 **예상 궤적 비용(predicted trajectory cost)**을 최소화해야 합니다.
실무 적용과 주의사항
이 라우터는 지금도 유용하지만, 몇 가지 짚어둘 점이 있습니다.
- 워크로드 편향: Auto Router는 광범위한 지식 업무에서 강점을 보입니다. 코딩 같은 특화 작업에서는 여전히 프론티어 모델이 우세할 수 있으니, 팀별 워크로드에 맞춰 검증이 필요합니다.
- 캐시 스위칭 비용: 긴 세션에서 잦은 모델 전환은 오히려 비용을 늘릴 수 있습니다. Auto Router가 이를 고려하지만, 하네스 자체가 모델을 자주 바꾸도록 설계됐다면 검토가 필요합니다.
- 벤치마크는 벤치마크일 뿐: 86.6% 성공률은 특정 벤치마크 기준입니다. 실제 업무에서의 품질 저하 여부는 반드시 자체 평가로 확인하세요.
- 베타 기간 무료: 현재 베타 기간에는 무료지만, 정식 출시 후 과금 정책이 어떻게 될지는 지켜봐야 합니다.
한국 개발 생태계 관점에서도 시사점이 큽니다. 국내 SI·스타트업 환경은 토큰 비용에 민감한 경우가 많아, 이런 자동 라우팅 계층은 비용 가시성과 함께 도입 매력을 가집니다. 다만 사내 보안 정책상 외부 게이트웨이 경유가 제한되는 조직도 있으니, 도입 전 거버넌스 검토가 선행되어야 합니다.
다음 단계와 마무리
Cloudflare는 앞으로 모델 풀 확장, 제로 데이터 보존(zero-data-retention) 요구사항 반영, 프로바이더 용량 고려, 추론 레벨 자동 선택, Responses API·WebSocket 지원 등을 예고했습니다. cloudflare/auto-best처럼 비용 트레이드오프 없이 최고 품질만 고르는 라우터도 계획 중입니다.
AI 비용 최적화는 이제 '얼마나 싼 모델을 쓰느냐'가 아니라 **'작업에 맞는 모델을 얼마나 잘 고르느냐'**의 문제로 이동하고 있습니다. Auto Router는 그 방향의 좋은 레퍼런스입니다.
함께 보면 좋은 글
