Influence Function

정의

함수형 모수 $\psi:\mathcal{P}\to\mathbb{R}$의 추정량 $\hat\psi$이 asymptotically linear이면 영향함수(IF) $\phi$가 존재하여 $\sqrt{n}\big(\hat\psi-\psi(P)\big)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \phi(O_i;P)+o_p(1),\quad E_P[\phi]=0.$ 점근 분산은 $\mathrm{Var}=E_P[\phi^2]$. 동치로, IF는 경로 $P_\varepsilon=(1-\varepsilon)P+\varepsilon\delta_o$를 따른 Gateaux 미분: $\phi(o)=\frac{d}{d\varepsilon}\psi(P_\varepsilon)\big|_{\varepsilon=0}$. von Mises 전개: $\psi(\bar P)-\psi(P)=\int\phi(o;P)\,d(\bar P-P)(o)+R_2$.

직관적 이해

관측치 하나가 추정값을 얼마나 흔드는가 — 각 데이터 점의 “지렛대”. 잔차 $R_2$가 nuisance 추정오차의 곱(이차)이라 플러그-인의 1차 편향을 IF 평균으로 교정할 수 있다 (One-step Estimator·AIPW).

관련 개념

• Efficient Influence Function — 분산 최소 IF (효율 하한)
• One-step Estimator · AIPW · TMLE — IF 기반 교정·추정
• Neyman-Orthogonal Score · Double Machine Learning — 직교성/cross-fitting

참고 논문

• Hines, Dukes, Diaz-Ordaz & Vansteelandt, “Demystifying Statistical Learning Based on Efficient Influence Functions”, The American Statistician 76(3):292–304, 2022 — EIF 입문, 여기서 시작
• Kennedy, “Semiparametric doubly robust targeted DML: a review”, arXiv:2203.06469, 2022
• van der Vaart, Asymptotic Statistics, 1998, Ch.25