Tae Hyun Kim (Lowell)

Anytime-Valid OPE

1분 읽기 #decision-making#anytime-valid#ope

정의

Anytime-valid OPE는 임의의 정지 시점에서도 유효한(time-uniform) 오프폴리시 가치 신뢰 수열(confidence sequence)을 e-process 기반으로 제공하는 오프폴리시 평가(OPE) 방법이다.

직관적 이해

로그 데이터로 정책가치를 “계속 들여다보며” 추정해도 커버리지(coverage)가 깨지지 않으므로, 온라인 모니터링에 적합하다.

관련 개념

참고

  • (예정) Waudby-Smith, Wu, Ramdas et al. 2024 — Study Roadmap §Track 3

연결 그래프