Tae Hyun Kim (Lowell)

Applied Causal Inference for Pricing — CATE & SCM Across Public Datasets

5분 읽기 #pricing#causal-inference#cate

가격은 거의 모든 비즈니스에서 가장 강력한 레버이지만, 대부분의 가격 분석은 집계 탄력성(aggregate elasticity) 에 머문다. “평균 가격 탄력성이 2-2“라는 문장은 모든 고객이 동일하게 반응한다는 잘못된 인상을 준다. 이 노트는 인과추론을 사용해 가격 반응을 개인 단위(individual-level) 로 분해하는 응용 사례를 정리한다. 두 개의 공개 데이터셋만을 사용하며, 모든 수치는 예시적(illustrative)·전망치(projected) 일 뿐 독점적 결과가 아니다.

Public-data-only
이 케이스 스터디는 전적으로 공개 데이터셋(LendingClub, iPinYou)으로 설계되었다. 본문의 모든 정량적 수치(이질성 배율, 분산 분해, 마진/ROI 개선)는 방법론을 예시하기 위한 illustrative/projected 값이며, 어떤 사적·독점 분석 결과도 포함하지 않는다.

문제 — 왜 “평균”으로는 부족한가

가격 결정의 핵심 질문은 세 가지다.

  1. 가격(또는 금리·입찰가)이 수요·전환·채무불이행에 미치는 인과적 효과(causal effect) 는 무엇인가?
  2. 그 효과의 이질성(heterogeneity) — 즉 가격 민감도 — 는 고객·맥락 특성에 따라 어떻게 달라지는가?
  3. 이를 활용한 최적 가격 정책(optimal pricing policy) 은 무엇인가?

집계 회귀는 (2)를 구조적으로 숨긴다. 같은 평균 탄력성을 가진 두 집단도, 한쪽은 가격에 거의 무감각하고 다른 쪽은 매우 민감할 수 있다. 게다가 가격은 무작위 배정되지 않는다 — 신용 등급이 높을수록 낮은 금리를 받고, 경쟁이 치열한 슬롯일수록 높은 입찰가가 들어간다. 이 selection bias 를 무시하면 탄력성 추정 자체가 편향된다. 따라서 (a) 교란을 통제하는 인과 식별과 (b) 효과의 이질성을 추정하는 두 축이 동시에 필요하다.

데이터 (공개)

데이터셋도메인규모(근사)처리 변수결과 변수접근성
LendingClubP2P 대출약 2.26M 건 (2007–2018)금리(interest rate)채무불이행(default)Kaggle 무료
iPinYouRTB 광고 경매약 31.6M 건 입찰입찰가(bid price)낙찰/클릭/전환GitHub 무료

두 데이터셋 모두 연속형 처리(continuous treatment) 와 풍부한 공변량(covariate)을 제공해 가격 탄력성의 이질성을 추정하기에 적합하다. LendingClub은 차입자 특성(FICO, DTI, 소득)이 풍부해 risk-based pricing 연구에, iPinYou는 캠페인·시간대·거래소 맥락이 풍부해 RTB ROI 최적화 연구에 각각 맞는다.

방법 / 파이프라인

전체 파이프라인은 식별 → 이질성 추정 → 조절 분석 → 정책 학습의 네 단계로 구성된다.

1) 인과 식별 (SCM)

먼저 SCM(Structural Causal Model)으로 가격 결정 메커니즘을 DAG로 명시한다. LendingClub의 경우:

신청심사신용등급금리(T)상환 의사결정(Y)\text{신청} \rightarrow \text{심사} \rightarrow \text{신용등급} \rightarrow \text{금리}(T) \rightarrow \text{상환 의사결정}(Y)

DAG는 무엇을 통제(adjust)해야 하고 무엇을 통제하면 안 되는지(collider 회피, back-door 경로 차단)를 결정한다. iPinYou에서는 경매 구조 자체가 SCM을 제공한다 — 입찰가 → 낙찰 확률 → 노출 → 클릭/전환의 경로에서 직접효과와 (노출을 매개로 한) 간접효과를 분리한다.

2) CATE 추정 (Double-Debiased ML + Causal Forest)

CATE(Conditional Average Treatment Effect)는 공변량 XX 에 조건부인 처리 효과 τ(x)=E[Y(t)Y(t)X=x]\tau(x) = \mathbb{E}[Y(t') - Y(t) \mid X = x] 를 추정한다. 연속형 처리에서는 가격에 대한 국소 도함수, 즉 조건부 탄력성 으로 해석한다.

선택 편향을 제거하기 위해 Double-Debiased ML(DML)을 사용한다. 결과 모형 m^(x)\hat{m}(x) 과 처리 모형 e^(x)\hat{e}(x) 을 각각 nuisance로 적합한 뒤, 잔차화(residualization)와 cross-fitting으로 Neyman-orthogonal 추정량을 얻어 nuisance 추정 오차의 1차 항을 상쇄한다. 그 위에 Causal Forest를 얹어 효과 이질성이 큰 방향으로 공변량 공간을 분할하면, 세그먼트별 탄력성과 그 신뢰구간을 함께 얻는다.

3) 조절 분석 (SCM 기반 moderator decomposition)

CATE가 “누가 민감한가”를 알려준다면, SCM 조절 분석은 “왜, 어떤 맥락에서 민감한가”를 분해한다. iPinYou에서는 경쟁 강도·시간대·거래소가 입찰 효과를 조절하고, LendingClub에서는 신용 등급 구간이 금리 효과의 비선형성을 만든다. 여기서 Instrumental Variables가 보조 식별 도구로 들어온다 — 등급 내 금리 변동처럼 결과에 직접 영향을 주지 않으면서 처리를 흔드는 변동을 도구로 활용해, 잠재 교란이 남아 있을 때도 국소 효과를 식별한다.

4) 정책 학습 (Optimal Targeting Policy)

추정된 τ(x)\tau(x) 를 비즈니스 목적함수에 투입해 개인별 최적 가격을 도출한다. 대출에서는 기대 마진

E[π(r)]=P(repayr)rLP(defaultr)LGDLC\mathbb{E}[\pi(r)] = P(\text{repay}\mid r)\, r\, L - P(\text{default}\mid r)\, \text{LGD}\, L - C

를 세그먼트별로 최대화하는 금리 r\*(x)r^\*(x) 를, RTB에서는 예산 제약 하 기대 가치 V=pCTR×pCVR×CPAV = \text{pCTR}\times\text{pCVR}\times\text{CPA} 를 최대화하는 입찰 함수 b\*(x)b^\*(x) 를 학습한다. 이 단계가 CATE를 실제 의사결정으로 환수하는 지점이다.

핵심 발견 (예시적·전망치)

아래 수치는 모두 공개 데이터 기반 illustrative/projected 값이다. 절대값보다 패턴 에 주목할 것.

  • 가격 민감도 이질성 5–11배. 세그먼트 간 추정 탄력성은 가장 둔감한 군과 가장 민감한 군 사이에서 약 5–11배 차이를 보였다. 이는 단일 가격 정책이 막대한 잉여를 낭비함을 시사한다 — 민감 군에는 과도하게, 둔감 군에는 부족하게 가격이 매겨진다.
  • 분산의 60–80%가 맥락·시간 조절자에서. CATE 변동의 약 60–80% 가 고객 고정 특성이 아니라 맥락적·시간적 moderator(경쟁 강도, 시간대, 거래소, 신용 등급 구간 등)에서 발생했다. 즉, 가격 개인화의 상당 부분은 “누구에게”가 아니라 “언제·어떤 상황에서”의 문제다.
  • 마진/ROI 개선(전망치). CATE 기반 차별화 가격을 단일 가격 baseline과 비교했을 때, 시뮬레이션상 마진(대출)·ROI(RTB)에서 의미 있는 개선이 투영되었다. 이는 정책 학습 단계의 반사실(counterfactual) 시뮬레이션 결과이며, 실제 배포 성과가 아니다.

교훈

  • 개인화는 “누구”보다 “맥락”일 수 있다. 분산의 다수가 시간·경쟁·슬롯 같은 동적 moderator에서 나온다는 점은, 정적 고객 세그먼트보다 contextual·dynamic pricing 이 더 큰 레버임을 시사한다. 이는 contextual bandit·dynamic policy로의 자연스러운 다리이기도 하다.
  • 식별이 추정보다 먼저다. 화려한 ML 추정량을 얹기 전에 SCM/DAG로 무엇을 통제할지부터 정해야 한다. 가격이 비무작위로 배정되는 한, cross-fitting과 orthogonalization 없이는 탄력성 추정이 selection bias로 오염된다.
  • 연속형 처리는 이산형보다 까다롭다. 가격·금리·입찰가는 본질적으로 연속이라, 이진 처리용 meta-learner를 그대로 쓸 수 없다. 도함수(탄력성) 추정과 dose-response 곡선이 필요하며, DML의 부분선형/비모수 변형이 자연스러운 선택이다.
  • 공개 데이터로도 방법론은 완결된다. 독점 데이터 없이도 식별–추정–정책의 전 과정을 공개 데이터셋에서 end-to-end로 시연할 수 있다. 절대 수치는 illustrative지만, 파이프라인과 의사결정 구조는 실전과 동일하다.
  • CATE — 조건부 평균 처리 효과; 연속형 가격에서는 조건부 탄력성
  • SCM — 구조적 인과 모형; 식별·조절 분해의 기반
  • Double-Debiased ML — Neyman-orthogonal·cross-fitting으로 selection bias 제거
  • Causal Forest — 효과 이질성 최대화 분할로 세그먼트별 탄력성 추정
  • Optimal Targeting Policy — 추정된 CATE를 개인별 최적 가격으로 환수
  • Instrumental Variables — 잠재 교란 하 국소 효과 식별의 보조 도구

연결 그래프