Influence Function

정의

함수형 모수 $\psi:\mathcal{P}\to\mathbb{R}$의 추정량 $\hat\psi$이 점근적으로 선형(asymptotically linear)이면, 다음을 만족하는 영향함수(influence function, IF) $\phi$가 존재한다. $\sqrt{n}\big(\hat\psi-\psi(P)\big)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \phi(O_i;P)+o_p(1),\quad E_P[\phi]=0.$ 이때 점근 분산은 $\mathrm{Var}=E_P[\phi^2]$이다. IF는 경로 $P_\varepsilon=(1-\varepsilon)P+\varepsilon\delta_o$를 따른 Gateaux 미분으로도 정의된다: $\phi(o)=\frac{d}{d\varepsilon}\psi(P_\varepsilon)\big|_{\varepsilon=0}$. 이로부터 von Mises 전개가 따라온다: $\psi(\bar P)-\psi(P)=\int\phi(o;P)\,d(\bar P-P)(o)+R_2$.

직관적 이해

IF는 관측치 하나가 추정값(estimate)을 얼마나 흔드는지를 나타내는, 각 데이터 점의 “지렛대”다. 잔차 $R_2$는 nuisance 추정오차의 곱(이차)이므로, 플러그-인(plug-in) 추정량의 1차 편향(bias)을 IF의 평균으로 교정할 수 있다 (One-step Estimator·AIPW).

관련 개념

• Efficient Influence Function — 분산 최소 IF (효율 하한)
• One-step Estimator · AIPW · TMLE — IF 기반 교정·추정
• Neyman-Orthogonal Score · Double Machine Learning — 직교성/cross-fitting

참고 논문

• Hines, Dukes, Diaz-Ordaz & Vansteelandt, “Demystifying Statistical Learning Based on Efficient Influence Functions”, The American Statistician 76(3):292–304, 2022 — EIF 입문, 여기서 시작
• Kennedy, “Semiparametric doubly robust targeted DML: a review”, arXiv:2203.06469, 2022
• van der Vaart, Asymptotic Statistics, 1998, Ch.25