AI 평가(Eval) 비용이 폭발하고 있습니다
2026년 현재, AI 모델을 평가하는 비용이 훈련 비용을 넘어서는 사례가 속출하고 있습니다. 프린스턴 대학의 Holistic Agent Leaderboard(HAL)는 단일 평가에 약 4만 달러를 소비했으며, 단일 GAIA 벤치마크 실행은 캐싱 전에도 2,829달러에 달했습니다.
문제는 여기서 끝나지 않습니다. 신뢰성 있는 평가를 위해 동일한 실험을 여러 번 반복하면 비용은 더욱 폭등합니다. HAL의 8회 반복 평가는 4만 달러에서 32만 달러로 증가합니다. 이는 더 이상 학계나 스타트업이 감당할 수 있는 수준이 아닙니다.
왜 비용이 이렇게 높아졌을까?
| 구분 | 과거(2022) | 현재(2026) |
|---|---|---|
| 단일 LLM 평가(HELM) | $85 ~ $10,926 | 유사하나 에이전트 평가는 훨씬 높음 |
| 에이전트 벤치마크(HAL) | - | ~$40,000 (9모델 × 9벤치마크) |
| 과학 논문 재현(PaperBench) | - | ~$9,500 (단일 에이전트) |
| 신경 연산자 평가(The Well) | - | ~$2,400 (단일 아키텍처) |
핵심은 정적 벤치마크에서 에이전트 기반 벤치마크로 전환되면서 평가 비용이 기하급수적으로 늘어났다는 점입니다. 에이전트는 단순히 답변을 생성하는 것이 아니라, 여러 번의 상호작용, 도구 호출, 코드 실행을 수반하기 때문입니다.
비용 폭증의 주요 원인: 신뢰성과 반복
HAL의 내부 분석에서 충격적인 사실이 드러났습니다. SciCode와 CORE-Bench에서 에이전트는 도구 호출 실패 없이 실행을 완료한 경우가 거의 없었습니다. AssistantBench와 CORE-Bench에서는 약 40%의 실행에서 환경 오류가 발생했습니다. 실패한 태스크 중 60% 이상이 벤치마크 명령을 위반한 답변을 제출했습니다.
이러한 노이즈를 극복하기 위해 필요한 반복 실행이 비용을 폭등시키는 주범입니다. 단일 실행으로 60% 정확도를 보인 에이전트가 8회 일관성 기준에서는 25%로 떨어지는 사례가 보고되었습니다.
# 평가 비용 시뮬레이션 예시 (실무 적용 코드)
def estimate_eval_cost(
api_cost_per_run: float,
num_models: int,
num_benchmarks: int,
num_seeds: int = 1,
gpu_hours_per_run: float = 0,
gpu_cost_per_hour: float = 2.50
) -> dict:
"""
AI 평가 비용 추정 함수
Parameters:
- api_cost_per_run: 단일 실행당 API 비용 (달러)
- num_models: 평가할 모델 수
- num_benchmarks: 벤치마크 수
- num_seeds: 시드 반복 횟수 (신뢰성 확보용)
- gpu_hours_per_run: 단일 실행당 GPU 시간
- gpu_cost_per_hour: GPU 시간당 비용 (기본 $2.50/H100)
Returns:
- 총 비용과 구성 요소 딕셔너리
"""
total_runs = num_models * num_benchmarks * num_seeds
api_total = api_cost_per_run * total_runs
gpu_total = gpu_hours_per_run * gpu_cost_per_hour * total_runs
total_cost = api_total + gpu_total
return {
"total_runs": total_runs,
"api_cost": round(api_total, 2),
"gpu_cost": round(gpu_total, 2),
"total_cost": round(total_cost, 2),
"cost_per_run": round(total_cost / total_runs, 2)
}
# HAL 스타일 평가 예시: 9개 모델, 9개 벤치마크, 단일 시드
hal_estimate = estimate_eval_cost(
api_cost_per_run=50, # 에이전트당 평균 API 비용
num_models=9,
num_benchmarks=9,
num_seeds=1,
gpu_hours_per_run=10, # 실행당 평균 GPU 시간
gpu_cost_per_hour=2.50
)
print(f"HAL 스타일 평가 (1회): ${hal_estimate['total_cost']:,.0f}")
# 출력: HAL 스타일 평가 (1회): $6,075
# 신뢰성 확보를 위한 8회 반복
hal_reliable = estimate_eval_cost(
api_cost_per_run=50,
num_models=9,
num_benchmarks=9,
num_seeds=8, # 8회 반복
gpu_hours_per_run=10,
gpu_cost_per_hour=2.50
)
print(f"HAL 스타일 평가 (8회 반복): ${hal_reliable['total_cost']:,.0f}")
# 출력: HAL 스타일 평가 (8회 반복): $48,600
이처럼 신뢰성 있는 평가는 단순히 '실행 한 번 더'의 문제가 아니라, 예산 자체를 재설계해야 하는 문제입니다. 특히 국내 AI 연구실이나 스타트업 환경에서는 이 비용이 연구개발 예산의 상당 부분을 차지할 수 있습니다.
Vercel의 해법과 AI 코드 검증의 교훈
AI가 생성한 코드, 그대로 배포하면 생기는 재앙과 Vercel의 해법에서 다루었듯이, AI 생성 코드의 신뢰성 문제는 평가 비용 문제와 동일한 맥락에 있습니다. Vercel은 AI 코드를 그대로 배포하지 않고 단계적 검증 파이프라인을 도입했습니다.
이 접근법은 AI 평가에도 그대로 적용할 수 있습니다:
- 계층적 평가 (Flash-HELM 접근법): 저비용 평가로 상위 후보를 먼저 걸러내고, 고비용 평가는 최종 후보에만 적용
- Pareto 최적화: 비용 대비 정확도가 가장 효율적인 에이전트 구성을 선택
- 결과 재사용: 평가 로그와 추적을 공유 스키마로 저장하여 중복 실행 방지
국내 AI 생태계에서의 적용 맥락
한국은 AI 반도체와 초거대 AI 모델 개발에 막대한 투자를 하고 있지만, 평가 인프라에 대한 투자는 상대적으로 부족합니다. 국내 연구실이 HAL 수준의 평가를 수행하려면 약 5,000만 원에서 1억 원 이상의 예산이 필요할 수 있습니다.
- 카카오, 네이버, KT 등 대기업: 자체 평가 파이프라인 구축 필요
- 스타트업: 오픈소스 평가 도구(Hugging Face Evaluate, LM Evaluation Harness) 활용과 클라우드 스팟 인스턴스 사용 권장
- 학계: 정부 차원의 공유 평가 인프라(예: 국가 AI 평가 센터) 필요성 대두
이 기술의 한계 또는 주의사항
- 압축 기법의 한계: 에이전트 벤치마크는 정적 벤치마크와 달리 100
200배 압축이 불가능합니다. 중간 난이도 필터링이 최대 23.5배 절감에 그칩니다. - 비용-정확도 트레이드오프: 더 많은 토큰을 사용한다고 반드시 더 나은 결과를 보장하지 않습니다. HAL 연구에 따르면 높은 추론 노력이 오히려 정확도를 낮추는 경우도 있었습니다.
- 리더보드의 함정: 비용 정보 없이 정확도만 공개하는 리더보드는 자원 낭비를 조장합니다. 반드시 Pareto 프론티어를 함께 제시해야 합니다.
결론: 평가가 새로운 컴퓨팅 병목입니다
AI 평가 비용은 더 이상 간과할 수 없는 수준이 되었습니다. 과거에는 훈련이 비싸고 평가가 저렴했지만, 이제는 신뢰성 있는 평가가 훈련보다 더 많은 비용을 요구하는 경우가 많습니다.
실무 적용을 위한 3가지 조언
- 평가 비용을 예산에 포함하라: 모델 훈련 비용만 계산하지 말고, 평가에 들어갈 GPU 시간과 API 비용을 미리 산정하세요.
- 계층적 평가 전략을 사용하라: 모든 모델에 고비용 평가를 적용하지 말고, 저비용 필터로 걸러낸 후보에만 집중 투자하세요.
- 결과를 공유하라: 평가 로그와 추적을 공개하여 커뮤니티 전체의 중복 비용을 줄이세요.
다음 단계 학습 방향
- Claude Opus 4.6, Microsoft Foundry에 정식 출시: 코딩과 에이전트 워크플로우의 새로운 기준 - 최신 에이전트 모델의 평가 방법론 참고
- Hugging Face의
evaluate라이브러리와lm-evaluation-harness학습 - Pareto 최적화 기반의 비용 효율적 평가 파이프라인 설계