왜 이 글이 실무에 도움이 될까요?
ML 모델을 학습시킬 때 원본 로그나 채팅 데이터를 그대로 넣고 계신가요? 그 안에 이름, 주소, 카드번호가 섞여 있다면 그건 곧 개인정보 유출 사고의 씨앗이에요. Airbnb는 이 문제를 "정책 → 라이브러리 → 벤치마크" 3단 구조로 풀어냈고, 그 과정에서 내린 엔지니어링 결정들이 상당히 참고할 만합니다.
핵심 메시지는 단순해요. 비식별화는 한 번 켜는 스위치가 아니라, 계속 어려워지는 벤치마크를 통과해야 하는 파이프라인이라는 것. 이 관점 하나만 가져가도 사내 데이터 파이프라인 설계가 달라집니다.
특히 최근 에이전틱 코딩 파이프라인이 늘어나면서 LLM에 원본 데이터를 흘려보내는 일이 많아졌는데요, Grok Build 0.1과 Vercel AI Gateway로 에이전틱 코딩 시작하기 같은 글을 보면 왜 입력 단계에서 PII를 걸러야 하는지 감이 더 잘 옵니다.

아키텍처: Analyzer와 Anonymizer의 분리
Presidio는 텍스트를 두 단계로 처리합니다.
- Analyzer: 개인정보로 보이는 span을 찾아
entity_type+confidence를 붙임 - Anonymizer: 각 span을 무엇으로 대체할지 결정 (mask, hash, faker 등)
Airbnb는 여기에 세 가지 커스텀을 얹었어요.
1) 문맥 단어 매칭을 "구(phrase)" 단위로 확장
Presidio 기본 context matching은 단일 토큰만 봅니다. 그래서 gift card처럼 두 단어짜리 문맥은 절대 발화되지 않고, card만으로도 신용카드 옆에서 오탐이 납니다. Airbnb는 후보 앞 토큰에서 순서가 보장된 연속 다중 단어 매칭을 추가해, 더 구체적인 phrase가 매칭된 recognizer가 span을 가져가도록 했습니다.
# 문맥 강화 로직 (개념 예시)
def phrase_context_score(tokens_before, phrases):
"""
후보 span 앞 토큰들에서 phrase 매칭 점수를 계산합니다.
- 단일 단어 히트: 0.3
- 연속 다중 단어 phrase 히트: 0.7 (더 구체적이므로 우선)
"""
best = 0.0
for phrase in phrases:
words = phrase.split()
n = len(words)
for i in range(len(tokens_before) - n + 1):
if tokens_before[i:i+n] == words:
score = 0.7 if n > 1 else 0.3
best = max(best, score)
return best
2) spaCy → GLiNER 교체
이름·주소는 정규식으로 못 잡습니다. 그래서 NER 모델이 필요한데, spaCy의 generic NER은 "도시, 랜드마크, 동네"까지 다 LOCATION으로 태깅해버려서 **집 주소(house number 포함)**를 정확히 못 잡았어요. Airbnb는 PERSON/LOCATION recognizer를 GLiNER(zero-shot NER) 로 교체했습니다. 추론 시점에 "street address"처럼 엔티티 설명을 직접 넣을 수 있어서 정밀도가 올라갑니다.
3) Faker 기반 현실적 대체값
placeholder 토큰(<PERSON>, [REDACTED])으로 도배된 문서는 다운스트림 모델에게 "여기 뭔가 지워졌다"는 패턴 자체를 학습시키는 부작용이 있습니다. 그래서 대부분의 엔티티는 faker로 그럴듯한 가짜 값을 생성합니다.
# run 단위 시드로 fake 값 일관성 + 비연결성 동시 확보
import hashlib
from faker import Faker
def make_faker(real_value: str, run_secret: str, locale: str):
"""
- 같은 run 안에서는 같은 real_value → 같은 fake (내부 일관성)
- 다른 run에서는 다른 fake (지문 방지)
- real→fake 매핑은 저장하지 않음
"""
seed = hashlib.sha256(f"{run_secret}:{real_value}".encode()).hexdigest()
fake = Faker(locale)
fake.seed_instance(seed)
return fake
이 트릭이 핵심이에요. 전역 랜덤 상태는 두 조건을 동시에 만족 못 하기 때문에, real 값 + run 비밀값으로 시드를 만드는 겁니다. 매핑 테이블을 저장하지 않아도 같은 run 안에서는 일관성이 유지돼요.

평가: 왜 aggregate score를 믿으면 안 되는가
Airbnb가 강조하는 부분인데, 국내 팀들이 가장 놓치는 지점이기도 합니다.
| 지표 | 의미 | 실패 시 결과 |
|---|---|---|
| Recall | 실제 PII를 얼마나 잡았나 | 유출 (miss는 반올림 오차가 아님) |
| Precision | 플래그된 것 중 진짜 PII 비율 | 과잉 마스킹 → 학습 신호 손실 |
| Throughput | 파이프라인 스케일에서의 탐지 속도 | 배치 지연 |
여기서 중요한 원칙: Recall과 Precision이 충돌하면 Recall을 우선합니다. 사용자 프라이버시가 최우선이니까요.
반드시 지켜야 할 3가지
- 엔티티 타입별 / 언어별로 지표를 쪼개라. aggregate score는 가장 중요한 실패를 숨기는 은신처입니다. 어떤 identifier가 다른 identifier의 span을 삼키는 문제는 "단순 miss"와 고치는 방법이 완전히 다르고, aggregate에서는 안 보입니다.
- Analyzer의 raw candidate가 아니라 최종 출력 span을 채점하라. 정확히 탐지된 주소 안의 전화번호 모양 우편번호는 출력에 도달하지 않으므로 전화번호 precision을 깎아선 안 됩니다.
- 릴리스마다 배포 버전과 후보 버전을 나란히 돌려라. 과거에 잘 되던 언어/엔티티가 회귀하면 ship 금지.
주의사항 및 한계
- 분산 배포의 함정: Presidio는 in-process 라이브러리라, 모든 파이프라인이 최신 버전 + 컴플라이언트 설정으로 호출해야만 보호가 성립합니다. 하나라도 빠지면 그 경로는 무방비예요. Airbnb는 공유 ML 오케스트레이터에 라이브러리를 재사용 가능한 pipeline step으로 넣고, 팀은 컬럼 스키마만 제공하도록 강제해서 이 문제를 풀었습니다.
- 언어 감지가 선행 조건: 이름·주소는 짧아서 언어 단서가 거의 없습니다. 레코드 전체 또는 locale 메타데이터로 감지하고, 확신이 없으면 보수적 설정으로 fallback해야 합니다.
- fake 값도 지문이 될 수 있음: run 간 fake 값이 동일하면 두 비식별화 결과를 연결해 원본을 역추적할 수 있습니다. 반드시 run 단위 시크릿을 섞으세요.
- 구조화 컬럼도 같은 엔진으로: ID는 caller-supplied salt로 해시, 좌표는 정밀도 절단, 64bit 내부 ID는 format-preserving encryption으로 같은 폭·범위의 유효 ID로 변환. 이렇게 해야 비식별화된 테이블이 원본과 동일한 스키마 검증을 통과합니다.

결론: 한국 개발 생태계에서 어떻게 적용할까
국내 SI·스타트업 환경에서 특히 주의할 점이 있어요. 개인정보보호법과 가명정보 처리 가이드를 보면 "가명처리 적정성 검토"가 필요한데, Airbnb식으로 벤치마크 하네스를 코드로 유지해두면 이 검토를 훨씬 수월하게 통과할 수 있습니다. "우리 aggregate 점수 92점이에요"가 아니라 "엔티티별·언어별로 이 지표를 유지하고, 릴리스마다 회귀 테스트를 돌립니다"라고 말할 수 있어야 진짜예요.
실무 적용 순서는 이렇게 추천합니다.
- Presidio를 in-process 라이브러리로 도입하고, 팀에는 컬럼 스키마만 노출
- 골든셋 100~500건을 언어·엔티티별로 라벨링 (여기 투자 대비 효과가 가장 큼)
- spaCy로 시작 → PERSON/LOCATION만 GLiNER로 교체하며 벤치마크로 검증
- run 단위 시크릿 시딩으로 fake 일관성/비연결성 확보
- 릴리스 게이트에 "과거 통과 언어/엔티티 회귀 없음" 조건 추가
다음 단계 학습 방향
- Presidio 공식 문서의
RecognizerRegistry/OperatorConfig커스터마이징 파트 - GLiNER 논문과
gliner파이썬 패키지의 zero-shot entity description 활용법 - Format-preserving encryption (FF1/FF3) 스펙 — ID 컬럼 비식별화에 필수
- LLM 기반 recognizer를 파이프라인에 얹을 때의 latency/cost 트레이드오프
프라이버시 엔지니어링은 화려하진 않지만, 모델이 커질수록, 데이터가 커질수록 더 중요해지는 투자입니다. 오늘 파이프라인에 recognizer 하나만 추가해도 내일의 사고 하나를 막을 수 있어요.
함께 보면 좋은 글
- 하루 25만 번의 API 호출이 가르쳐준 것: Cloudflare Agent Lee 리뷰 — 대규모 API 운영에서의 관측성과 프라이버시 경계 설계
- Grok Build 0.1, Vercel AI Gateway로 에이전틱 코딩 시작하기 — 에이전트 파이프라인에 PII 필터를 끼워 넣는 실전 패턴