들어가며: 모델은 만들었는데, 어떻게 서비스에 붙이지?
대규모 트랜스포머 기반 파운데이션 모델을 학습시키는 방법론은 논문과 블로그에 넘쳐납니다. 그런데 막상 "이 모델을 기존 프로덕션 시스템에 어떻게 통합할 것인가?"에 대한 실무 가이드는 의외로 찾기 어렵습니다. 넷플릭스도 같은 고민을 했고, 임베딩(Embeddings), 서브그래프(Subgraph), 파인튜닝(Fine-tuning) 이렇게 세 가지 통합 방식을 실험했습니다.
왜 굳이 세 가지를 다 시도했을까요? 팀마다 레이턴시 요구사항이 다르고, 기술 스택 제약이 다르고, 거대 모델의 성능을 어디까지 끌어다 쓸지에 대한 appetite(욕구)가 다르기 때문입니다. 이 글에서는 각 방식의 구조, 트레이드오프, 그리고 실제 운영에서 얻은 교훈을 정리합니다.
참고로 이 글은 넷플릭스 테크 블로그의 근거자료를 바탕으로 실무 관점에서 재구성한 것입니다.

패턴 1: 임베딩(Embeddings) — 가장 빠르고 저렴한 시작점
트랜스포머 계열 모델은 사용자 프로필과 아이템을 벡터로 표현하는 데 자연스럽게 적합합니다. 넷플릭스는 마지막 사용자 이벤트의 hidden state를 프로필 임베딩으로, 아이템 타워의 가중치를 아이템 임베딩으로 사용합니다.
임베딩 갱신 파이프라인
[월간] Foundation Model 처음부터 재학습 (pre-train)
↓
[일간] 최신 데이터로 파인튜닝 + 신규 타이틀 entity id 확장
↓
[일간] 배치 추론으로 프로필/아이템 임베딩 갱신
↓
[게시] Embedding Store에 버전/타임스탬프와 함께 저장
여기서 핵심은 임베딩 안정화(embedding stabilization) 기법입니다. 월간 재학습 시 모델이 랜덤 초기화되므로 임베딩 공간이 완전히 달라지고, 일간 파인튜닝에서도 임베딩이 드리프트합니다. 따라서 매일 생성되는 임베딩을 동일한 공간으로 매핑해줘야 다운스트림 모델이 안정적으로 feature로 소비할 수 있습니다.
장점
- 기존 파이프라인에 feature로 끼워 넣기 쉬움 (진입 장벽 낮음)
- 학습/추론 비용 증가가 상대적으로 작음
- 후보 생성(candidate generation)이나 타이틀-투-타이틀 추천에 바로 활용 가능
단점
- 임베딩 계산 시점과 다운스트림 추론 시점 사이의 staleness(신선도 저하)
- 실시간 적응이 필요한 유즈케이스에서는 FM의 잠재력을 다 못 씀
넷플릭스는 이 문제를 해결하기 위해 니어 리얼타임 임베딩 생성 프레임워크에 투자를 늘렸습니다. 세션 중 사용자 행동에 따라 임베딩을 갱신할 수 있게 되었죠. 다만 초대형 모델에는 아직 적용할 수 없다는 한계가 있습니다.

패턴 2: 서브그래프(Subgraph) — 깊은 통합, 큰 비용
FM의 디코더 스택을 애플리케이션 모델 그래프의 서브그래프로 넣는 방식입니다. FM이 원시 사용자 상호작용 시퀀스를 처리해 representation을 뽑고, 이를 다운스트림 모델 그래프에 먹입니다.
장점
- 임베딩과 달리 staleness 없음 (FM 추론과 앱 추론이 동시에 일어남)
- 앱이 자체 학습 과정에서 FM 서브그래프를 파인튜닝 가능 → 정적 임베딩보다 성능 우수
- Embedding Store에 노출되지 않는 특정 레이어까지 활용 가능
단점
- 앱이 서브그래프용 feature를 전부 생성해야 함 → feature 생성 잡의 시간/연산/복잡도 증가
- 모델 크기와 추론 시간 증가
실무 최적화 팁
- FM 팀이 재사용 가능한 코드와 잡을 제공해 feature 생성 연산 효율화
- 추론 성능을 위해 서브그래프를 분리해서 요청당 프로필당 1회만 실행하고, 요청 내 모든 아이템이 결과를 공유하도록 구성
| 항목 | 임베딩 | 서브그래프 | 파인튜닝 |
|---|---|---|---|
| Staleness | 있음 | 없음 | 없음(직접 서빙 시) |
| 통합 복잡도 | 낮음 | 높음 | 중간 |
| 추론 비용 | 낮음 | 높음 | 중간~높음 |
| 성능 상한 | 중간 | 높음 | 높음(도메인 특화) |
| 적합 유즈케이스 | 초기 도입, 후보 생성 | 고임팩트 실시간 추천 | 제품별 특화 모델 |
패턴 3: 파인튜닝 후 직접 서빙 — 도메인 특화의 정석
LLM을 도메인 데이터로 파인튜닝하는 것과 같은 접근입니다. FM은 next-token prediction objective로 학습되는데, 여기서 토큰은 사용자 상호작용입니다. 'Trending now' 행에서는 최근 트렌딩 타이틀 상호작용이 오래된 상호작용보다 중요하죠. 즉 제품별로 중요한 상호작용이 다르므로, 제품 특화 데이터로 FM을 파인튜닝해서 그대로 서빙에 씁니다.
- 전체 파라미터 파인튜닝 또는 일부 레이어 freeze 선택 가능
- 다른 objective를 가진 출력 헤드를 붙일 수도 있음
- 넷플릭스는 앱 팀이 자체 커스텀 파인튜닝 모델을 만들 수 있도록 파인튜닝 프레임워크를 제공
장점
- 앱 특화 데이터/목표에 최적화
- 신규 모델/앱의 사실상 베이스라인(de facto baseline) 제공 → feature engineering에 몇 달 쓸 필요 없음
단점
- 조직 전체에 유지보수할 모델/파이프라인 증가
- 파인튜닝 모델의 레이턴시와 SLA를 유즈케이스별로 최적화해야 함

결론: 어떤 패턴을 언제 쓸까?
세 패턴은 배타적이지 않습니다. 넷플릭스는 유즈케이스별로 셋 다 프로덕션에서 운영 중입니다. 실무 관점에서 정리하면:
- 처음 도입한다 → 임베딩부터. 진입 장벽이 낮고 비용도 작습니다. 단, 신선도 요구사항을 먼저 확인하세요.
- 실시간 적응이 중요하고 임팩트가 크다 → 서브그래프. 대신 feature 생성 복잡도와 추론 비용을 감당할 각오가 필요합니다.
- 제품 특화 성능이 목표다 → 파인튜닝. 단, 유지보수 부담과 SLA 최적화를 계획에 넣으세요.
이 기술의 한계와 주의사항
- 임베딩 안정화 기법 없이 월간 재학습을 돌리면 다운스트림 모델이 조용히 망가질 수 있습니다. 재학습 주기와 안정화 파이프라인은 반드시 함께 설계하세요.
- 서브그래프 방식은 모델 크기가 커지므로, 요청당 프로필당 1회 실행 같은 최적화가 없으면 레이턴시가 급증합니다.
- 파인튜닝 모델이 늘어나면 조직 차원의 모델 거버넌스가 필요해집니다.
다음 단계 학습 방향
- 임베딩 안정화 논문(embedding stabilization)을 읽고 자사 feature store에 적용 가능한지 검토해 보세요.
- 니어 리얼타임 임베딩 파이프라인 설계(예: 스트리밍 + 벡터 DB)를 실험해 보는 것도 좋습니다.
- 파인튜닝 프레임워크를 사내 표준으로 만들면 신규 앱 팀의 생산성이 크게 올라갑니다.
한국 개발 생태계에서의 적용 맥락
국내에서는 대규모 FM을 자체 학습하기보다 오픈소스 LLM을 파인튜닝하거나 임베딩 API를 활용하는 경우가 많습니다. 이때 넷플릭스의 교훈은 그대로 유효합니다. 임베딩을 쓴다면 신선도와 안정화를 반드시 챙기고, 서브그래프식 통합은 레이턴시 SLA가 빡빡한 커머스/미디어 서비스에서 특히 신중하게 접근해야 합니다. SI 환경에서는 모델 거버넌스 부재로 파인튜닝 모델이 난립하는 경우가 많으니, 초기부터 표준 프레임워크를 정해두는 걸 권합니다.
함께 보면 좋은 글