왜 이 글이 실무에 도움이 될까요?

ML 모델을 학습시킬 때 원본 로그나 채팅 데이터를 그대로 넣고 계신가요? 그 안에 이름, 주소, 카드번호가 섞여 있다면 그건 곧 개인정보 유출 사고의 씨앗이에요. Airbnb는 이 문제를 "정책 → 라이브러리 → 벤치마크" 3단 구조로 풀어냈고, 그 과정에서 내린 엔지니어링 결정들이 상당히 참고할 만합니다.

핵심 메시지는 단순해요. 비식별화는 한 번 켜는 스위치가 아니라, 계속 어려워지는 벤치마크를 통과해야 하는 파이프라인이라는 것. 이 관점 하나만 가져가도 사내 데이터 파이프라인 설계가 달라집니다.

근거자료: Airbnb Engineering - De-identifying text at scale

특히 최근 에이전틱 코딩 파이프라인이 늘어나면서 LLM에 원본 데이터를 흘려보내는 일이 많아졌는데요, Grok Build 0.1과 Vercel AI Gateway로 에이전틱 코딩 시작하기 같은 글을 보면 왜 입력 단계에서 PII를 걸러야 하는지 감이 더 잘 옵니다.

Security engineer reviewing PII detection pipeline for ML training data at Airbnb scale Algorithm Concept Visual

아키텍처: Analyzer와 Anonymizer의 분리

Presidio는 텍스트를 두 단계로 처리합니다.

  1. Analyzer: 개인정보로 보이는 span을 찾아 entity_type + confidence를 붙임
  2. Anonymizer: 각 span을 무엇으로 대체할지 결정 (mask, hash, faker 등)

Airbnb는 여기에 세 가지 커스텀을 얹었어요.

1) 문맥 단어 매칭을 "구(phrase)" 단위로 확장

Presidio 기본 context matching은 단일 토큰만 봅니다. 그래서 gift card처럼 두 단어짜리 문맥은 절대 발화되지 않고, card만으로도 신용카드 옆에서 오탐이 납니다. Airbnb는 후보 앞 토큰에서 순서가 보장된 연속 다중 단어 매칭을 추가해, 더 구체적인 phrase가 매칭된 recognizer가 span을 가져가도록 했습니다.

# 문맥 강화 로직 (개념 예시)
def phrase_context_score(tokens_before, phrases):
    """
    후보 span 앞 토큰들에서 phrase 매칭 점수를 계산합니다.
    - 단일 단어 히트: 0.3
    - 연속 다중 단어 phrase 히트: 0.7 (더 구체적이므로 우선)
    """
    best = 0.0
    for phrase in phrases:
        words = phrase.split()
        n = len(words)
        for i in range(len(tokens_before) - n + 1):
            if tokens_before[i:i+n] == words:
                score = 0.7 if n > 1 else 0.3
                best = max(best, score)
    return best

2) spaCy → GLiNER 교체

이름·주소는 정규식으로 못 잡습니다. 그래서 NER 모델이 필요한데, spaCy의 generic NER은 "도시, 랜드마크, 동네"까지 다 LOCATION으로 태깅해버려서 **집 주소(house number 포함)**를 정확히 못 잡았어요. Airbnb는 PERSON/LOCATION recognizer를 GLiNER(zero-shot NER) 로 교체했습니다. 추론 시점에 "street address"처럼 엔티티 설명을 직접 넣을 수 있어서 정밀도가 올라갑니다.

3) Faker 기반 현실적 대체값

placeholder 토큰(<PERSON>, [REDACTED])으로 도배된 문서는 다운스트림 모델에게 "여기 뭔가 지워졌다"는 패턴 자체를 학습시키는 부작용이 있습니다. 그래서 대부분의 엔티티는 faker로 그럴듯한 가짜 값을 생성합니다.

# run 단위 시드로 fake 값 일관성 + 비연결성 동시 확보
import hashlib
from faker import Faker

def make_faker(real_value: str, run_secret: str, locale: str):
    """
    - 같은 run 안에서는 같은 real_value → 같은 fake (내부 일관성)
    - 다른 run에서는 다른 fake (지문 방지)
    - real→fake 매핑은 저장하지 않음
    """
    seed = hashlib.sha256(f"{run_secret}:{real_value}".encode()).hexdigest()
    fake = Faker(locale)
    fake.seed_instance(seed)
    return fake

이 트릭이 핵심이에요. 전역 랜덤 상태는 두 조건을 동시에 만족 못 하기 때문에, real 값 + run 비밀값으로 시드를 만드는 겁니다. 매핑 테이블을 저장하지 않아도 같은 run 안에서는 일관성이 유지돼요.

Data pipeline diagram showing Analyzer and Anonymizer stages for text de-identification Programming Illustration

평가: 왜 aggregate score를 믿으면 안 되는가

Airbnb가 강조하는 부분인데, 국내 팀들이 가장 놓치는 지점이기도 합니다.

지표의미실패 시 결과
Recall실제 PII를 얼마나 잡았나유출 (miss는 반올림 오차가 아님)
Precision플래그된 것 중 진짜 PII 비율과잉 마스킹 → 학습 신호 손실
Throughput파이프라인 스케일에서의 탐지 속도배치 지연

여기서 중요한 원칙: Recall과 Precision이 충돌하면 Recall을 우선합니다. 사용자 프라이버시가 최우선이니까요.

반드시 지켜야 할 3가지

  1. 엔티티 타입별 / 언어별로 지표를 쪼개라. aggregate score는 가장 중요한 실패를 숨기는 은신처입니다. 어떤 identifier가 다른 identifier의 span을 삼키는 문제는 "단순 miss"와 고치는 방법이 완전히 다르고, aggregate에서는 안 보입니다.
  2. Analyzer의 raw candidate가 아니라 최종 출력 span을 채점하라. 정확히 탐지된 주소 안의 전화번호 모양 우편번호는 출력에 도달하지 않으므로 전화번호 precision을 깎아선 안 됩니다.
  3. 릴리스마다 배포 버전과 후보 버전을 나란히 돌려라. 과거에 잘 되던 언어/엔티티가 회귀하면 ship 금지.

주의사항 및 한계

  • 분산 배포의 함정: Presidio는 in-process 라이브러리라, 모든 파이프라인이 최신 버전 + 컴플라이언트 설정으로 호출해야만 보호가 성립합니다. 하나라도 빠지면 그 경로는 무방비예요. Airbnb는 공유 ML 오케스트레이터에 라이브러리를 재사용 가능한 pipeline step으로 넣고, 팀은 컬럼 스키마만 제공하도록 강제해서 이 문제를 풀었습니다.
  • 언어 감지가 선행 조건: 이름·주소는 짧아서 언어 단서가 거의 없습니다. 레코드 전체 또는 locale 메타데이터로 감지하고, 확신이 없으면 보수적 설정으로 fallback해야 합니다.
  • fake 값도 지문이 될 수 있음: run 간 fake 값이 동일하면 두 비식별화 결과를 연결해 원본을 역추적할 수 있습니다. 반드시 run 단위 시크릿을 섞으세요.
  • 구조화 컬럼도 같은 엔진으로: ID는 caller-supplied salt로 해시, 좌표는 정밀도 절단, 64bit 내부 ID는 format-preserving encryption으로 같은 폭·범위의 유효 ID로 변환. 이렇게 해야 비식별화된 테이블이 원본과 동일한 스키마 검증을 통과합니다.

Server rack representing on-premises Presidio deployment for privacy-preserving ML workflows Dev Environment Setup

결론: 한국 개발 생태계에서 어떻게 적용할까

국내 SI·스타트업 환경에서 특히 주의할 점이 있어요. 개인정보보호법과 가명정보 처리 가이드를 보면 "가명처리 적정성 검토"가 필요한데, Airbnb식으로 벤치마크 하네스를 코드로 유지해두면 이 검토를 훨씬 수월하게 통과할 수 있습니다. "우리 aggregate 점수 92점이에요"가 아니라 "엔티티별·언어별로 이 지표를 유지하고, 릴리스마다 회귀 테스트를 돌립니다"라고 말할 수 있어야 진짜예요.

실무 적용 순서는 이렇게 추천합니다.

  1. Presidio를 in-process 라이브러리로 도입하고, 팀에는 컬럼 스키마만 노출
  2. 골든셋 100~500건을 언어·엔티티별로 라벨링 (여기 투자 대비 효과가 가장 큼)
  3. spaCy로 시작 → PERSON/LOCATION만 GLiNER로 교체하며 벤치마크로 검증
  4. run 단위 시크릿 시딩으로 fake 일관성/비연결성 확보
  5. 릴리스 게이트에 "과거 통과 언어/엔티티 회귀 없음" 조건 추가

다음 단계 학습 방향

  • Presidio 공식 문서의 RecognizerRegistry / OperatorConfig 커스터마이징 파트
  • GLiNER 논문과 gliner 파이썬 패키지의 zero-shot entity description 활용법
  • Format-preserving encryption (FF1/FF3) 스펙 — ID 컬럼 비식별화에 필수
  • LLM 기반 recognizer를 파이프라인에 얹을 때의 latency/cost 트레이드오프

프라이버시 엔지니어링은 화려하진 않지만, 모델이 커질수록, 데이터가 커질수록 더 중요해지는 투자입니다. 오늘 파이프라인에 recognizer 하나만 추가해도 내일의 사고 하나를 막을 수 있어요.

함께 보면 좋은 글

본 콘텐츠는 신뢰할 수 있는 출처를 바탕으로 AI 도구를 활용하여 초안이 작성되었으며, 편집자의 검토를 거쳐 발행되었습니다. 전문가의 조언을 대체하지 않습니다.