Double/Debiased Machine Learning (DML)

정의

DML은 고차원(high-dimensional) nuisance parameter $\eta_0$가 있을 때도 저차원 관심 모수 $\theta_0$를 유효하게 추정·추론하는 방법이다.

두 가지 핵심 요소:

1. Neyman-Orthogonal Score를 쓴다
2. Cross-fitting(표본 분할, sample splitting)을 적용한다

$$\sqrt{N}(\hat{\theta}_{DML} - \theta_0) \xrightarrow{d} N(0, V)$$

직관적 이해

문제 상황: 전통적인 ML 방법으로 nuisance parameter를 추정해 곧바로 대입하면 다음 문제가 생긴다.

• 정규화 편향(regularization bias)이 발생한다
• 과적합(overfitting) 때문에 편향(bias)이 발생한다
• $\theta$ 추정량(estimator)이 $N^{-1/2}$ 일치성(consistency)을 달성하지 못한다

DML의 해결책:

1. Neyman-orthogonal score: nuisance parameter 추정 오차에 덜 민감하도록 moment condition을 구성한다
2. Cross-fitting: 데이터를 분할해 과적합 편향을 제거한다

Traditional:  η̂ (ML) → plug-in → θ̂ (biased, inconsistent)
     ↓
DML:  Orthogonal score + Cross-fitting → θ̂ (√N-consistent, asymptotically normal)

핵심 성질

• $N^{-1/2}$ 수렴 속도(convergence rate): 최적의 수렴 속도를 달성한다
• 점근 정규성(asymptotic normality): 표준 정규분포로 수렴한다
• 유효한 추론: 표준 t-test와 신뢰구간(confidence interval)을 그대로 쓸 수 있다
• 방법 비의존성: Lasso, Random Forest, Neural Network 등 다양한 ML 방법을 쓸 수 있다
• 고차원 대응: 전통적 복잡도 제약(Donsker property) 없이도 작동한다

알고리즘

DML1 (Averaging)

각 fold에서 $\theta$를 따로 추정한 뒤 평균낸다. $\tilde{\theta}_0 = \frac{1}{K}\sum_{k=1}^K \check{\theta}_{0,k}$

DML2 (Pooling)

집계한 estimating equation을 한 번에 푼다. $\frac{1}{K}\sum_{k=1}^K E_{n,k}[\psi(W; \tilde{\theta}_0, \hat{\eta}_{0,k})] = 0$

DML2가 소표본에서 더 나은 성능을 보이는 경향이 있다.

예시: 부분 선형 회귀(Partially Linear Regression)

모형: $Y = D\theta_0 + g_0(X) + U, \quad E[U|X,D] = 0$ $D = m_0(X) + V, \quad E[V|X] = 0$

Orthogonal Score: $\psi(W; \theta, \eta) = (Y - D\theta - g(X))(D - m(X))$

알고리즘:

1. Split data into K folds
2. For each fold k:
   • Estimate $\hat{g}(X)$ and $\hat{m}(X)$ on other folds using ML
   • Compute residuals: $\tilde{Y} = Y - \hat{g}(X)$, $\tilde{D} = D - \hat{m}(X)$
3. Estimate $\theta$ by regressing $\tilde{Y}$ on $\tilde{D}$

Rate 조건

DML이 작동하려면 nuisance parameter 추정의 수렴 속도가 다음 조건을 만족해야 한다.

$||\hat{g} - g_0|| \cdot ||\hat{m} - m_0|| = o_P(N^{-1/2})$

예를 들어 각각 $N^{-1/4}$ 이상의 rate면 충분하다.

관련 개념

• Neyman-Orthogonal Score - DML의 핵심 이론적 도구
• Cross-fitting - 과적합 편향을 제거하는 표본 분할
• Partially Linear Model - DML의 대표적 적용 예시
• CATE - DML로 추정할 수 있는 처치효과(treatment effect)
• Doubly Robust Estimator - 유사한 강건성(robustness) 성질

활용

• 고차원 통제변수를 둔 처치효과 추정
• 도구가 많은 상황의 도구변수(instrumental variable) 분석
• 복잡한 모형에서의 구조 모수 추정
• 풍부한 공변량(covariate) 집합을 활용한 정책 평가
• 고객 특성을 활용한 개인화 가격 책정

장점과 한계

장점	한계
$\sqrt{N}$-일치성	Rate 조건이 필요함
유효한 추론	계산 비용이 큼 (다중 분할)
임의의 ML 방법 사용 가능	ML 방법 선택 가이드 부족
고차원 nuisance 허용	유한 표본 성능이 가변적임

참고 문헌

• chernozhukovDoubleDebiasedMachine2018 - DML 원논문
• kennedyOptimalDoublyRobust2023 - 관련 이중 강건 방법