Dynamic Treatment Regimes (DTR / OTR)

정의

동적 처치 요법(DTR)은 누적 이력 $H_t$(공변량·이전 처치·중간결과)를 처치로 사상하는 결정규칙 열 $\{d_t(H_t)\}_{t=1}^T$이다. 최적 처치 요법(optimal treatment regime, OTR)은 기대 장기결과 $E[Y^{d}]$를 최대화하는 요법을 가리킨다. 다음 방법으로 추정한다.

• Q-learning — Q-함수를 후진귀납으로 푸는 회귀 기반 방법
• A-learning — contrast/advantage를 모델링해 baseline 오설정에 강건
• G-estimation — structural nested mean model (Robins)
• OWL — outcome-weighted learning으로, 분류 관점에서 접근

가정은 sequential ignorability다.

직관적 이해

DTR은 시간에 걸친 개인화·적응 치료다. “지금까지의 경과를 보고 다음에 무엇을 할지”를 정해 장기 결과를 최적화한다. CV pillar #4(임상 sequential 의사결정)의 코어이자 personalization의 시계열 확장에 해당한다.

관련 개념

• Policy Learning · MDP · Off-Policy Evaluation · Clinical Decision-Making Overview

참고 논문

• Murphy, “Optimal dynamic treatment regimes”, JRSS-B 65(2), 2003
• Robins — structural nested models / g-estimation
• Hernán & Robins, Causal Inference: What If, 2020 — Part III (g-methods)