왜 Claude Code의 시간 예측은 항상 빗나갈까?

Claude Code에게 기능 구현 시간을 물어보면 "3~4주" 같은 답변이 돌아올 때가 많습니다. 하지만 실제로는 하루면 끝나는 경우가 대부분이죠. 이 문제는 단순히 Claude만의 문제가 아니라, LLM 기반 코딩 에이전트가 공통적으로 겪는 딜레마입니다.

훈련 데이터의 근본적 한계

Claude는 인터넷의 인간 데이터로 학습되었습니다. 블로그 포스트나 GitHub 통계에는 "인간이 직접 코드를 작성했을 때" 걸린 시간이 기록되어 있죠. AI가 코드를 생성하는 시대 이전의 데이터인 셈입니다. 그래서 Claude는 인간 기준의 추정치를 그대로 내놓습니다. 기능 구현에 4주, 버그 수정에 2일 같은 식으로요.

물론 LLM이 보편화되면서 앞으로는 더 정확한 데이터가 쌓이겠지만, 당장은 이 간극을 우리가 메워야 합니다.

정확한 추정이 중요한 이유

팀 내 커뮤니케이션에서 일정 추정은 핵심입니다. 프로덕트 매니저에게 보고하거나, 의존 관계가 있는 동료에게 작업 완료 시점을 알려줘야 하니까요. 부정확한 추정은 협업 전체를 흔들 수 있습니다.

참고로 이런 AI 도구의 비용 최적화에도 관심이 있다면, Cloudflare Auto Router의 모델 라우팅 전략도 함께 보시면 좋습니다.

Developer discussing time estimates with Claude AI chatbot on screen Coding Session Visual

해결책 1: 과거 데이터를 활용한 스킬(Skill) 구축

가장 효과적인 방법은 코딩 에이전트가 과거 작업 소요 시간 데이터를 축적하도록 만드는 것입니다.

구현 방법

  1. Linear 이슈나 Notion 마크다운 파일에 각 작업의 시작 시각과 완료 시각을 기록합니다.
  2. LLM이 기능을 구현하거나 버그를 수정할 때마다 해당 이슈에 소요 시간을 업데이트합니다.
  3. 충분한 데이터가 쌓이면, Claude Code가 추정 시 참조할 수 있는 별도의 스킬을 만듭니다.

예를 들어, 다음과 같은 스킬 파일을 작성할 수 있습니다:

# Estimation Skill

## 과거 작업 로그
- 기능 A 구현: 6시간 (2024-11-01 ~ 2024-11-01)
- 버그 B 수정: 1.5시간 (2024-11-03 ~ 2024-11-03)
- 기능 C 구현: 8시간 (2024-11-05 ~ 2024-11-06)

## 추정 규칙
- 새로운 작업 요청 시, 위 로그에서 유사한 작업을 찾아 비교한다.
- LLM이 수행하는 속도를 기준으로 보정한다 (인간 대비 약 3~5배 빠름).
- 불확실성이 높은 경우 범위로 제시한다 (예: 2~4시간).

이 스킬을 통해 LLM은 새 작업을 과거 유사 작업과 비교하여 훨씬 현실적인 추정치를 내놓을 수 있습니다.

한계

완벽한 추정은 불가능합니다. 작업 중 예상치 못한 장애물, 동시 진행 중인 다른 작업과의 리베이스 필요성 등 변수가 존재하기 때문입니다. 하지만 이 방법만으로도 커뮤니케이션 품질은 크게 향상됩니다.

Programmer analyzing code completion time on laptop with Claude Code Programming Illustration

해결책 2: 단계별 분해와 LLM 기준 추정

데이터가 충분치 않을 때 사용할 수 있는 대안입니다. 핵심은 작업을 잘게 쪼개고, LLM이 수행하는 기준으로 추정하도록 명시하는 것입니다.

실행 단계

  1. 전체 작업을 하위 작업으로 분해합니다. 예: 리서치 → 파트1 구현 → 파트2 구현 → 테스트
  2. 각 하위 작업에 대해 "LLM이 수행할 때" 걸리는 시간을 추정하도록 지시합니다.
  3. 하위 작업 추정치를 합산하여 전체 시간을 산출합니다.

주의사항

  • 하위 작업은 가능한 한 구체적으로 나눌수록 추정 정확도가 올라갑니다.
  • "인간 기준"이 아닌 "LLM 기준"으로 생각하도록 명시적으로 프롬프트에 포함해야 합니다.
  • LLM은 리서치 같은 작업에서 인간보다 훨씬 빠르다는 점을 스스로 인지하고 있습니다.

이와 유사하게, AI 모델 라우팅을 통한 비용 절감 사례는 Netflix의 JDK 벡터 API 최적화 사례에서도 확인할 수 있습니다.

Team using productivity tools to track LLM-based development estimates Technical Structure Concept

결론: LLM과의 정렬(Alignment)이 미래의 핵심 스킬

Claude Code의 시간 추정 문제는 단순한 버그가 아니라, 훈련 데이터의 구조적 한계에서 비롯됩니다. 이를 해결하기 위해서는:

  • 과거 데이터 기반 스킬을 구축하여 에이전트가 참조할 수 있게 하고,
  • 단계별 분해를 통해 LLM 기준의 추정을 유도해야 합니다.

앞으로 LLM과 협업하는 능력은 개발자의 핵심 역량이 될 것입니다. 정확한 추정은 그 협업의 첫걸음입니다.

다음 단계 학습 방향

  • Claude Code의 스킬 시스템 문서를 읽고 직접 커스텀 스킬을 만들어 보세요.
  • Linear API와 연동하여 작업 시간을 자동 기록하는 파이프라인을 구축해 보는 것도 좋습니다.

이 글은 Towards Data Science의 원문을 바탕으로 재구성되었습니다.

본 콘텐츠는 신뢰할 수 있는 출처를 바탕으로 AI 도구를 활용하여 초안이 작성되었으며, 편집자의 검토를 거쳐 발행되었습니다. 전문가의 조언을 대체하지 않습니다.