BART (Bayesian Additive Regression Trees)

정의

BART는 여러 트리의 합으로 결과를 모델링하는 Bayesian 앙상블 방법이다.

$$Y = \sum_{k=1}^{K} g_k(X, W; T_k, M_k) + \epsilon, \quad \epsilon \sim N(0, \sigma^2)$$

여기서:

• $g_k$: $k$번째 트리
• $T_k$: 트리 구조
• $M_k$: 리프 노드 값
• Prior on $(T_k, M_k)$

---

인과추론 적용

잠재결과 모델링

$$\mu(X, W) = E[Y \mid X, W] = \sum_k g_k(X, W)$$

CATE 추정

$$\hat{\tau}(X) = \hat{E}[Y \mid X, W=1] - \hat{E}[Y \mid X, W=0]$$

Posterior에서 샘플링해 추정한다.

$$\hat{\tau}(X) = \frac{1}{S}\sum_{s=1}^{S} \left[\sum_k g_k^{(s)}(X, 1) - \sum_k g_k^{(s)}(X, 0)\right]$$

---

모델 구조

Prior 설정

트리 구조 $T$ prior:

• 노드 분할 확률: $P(\text{split at depth } d) = \alpha(1+d)^{-\beta}$
• 일반적으로 $\alpha = 0.95, \beta = 2$

리프 노드 값 $M$ prior:

$$\mu_{kl} \sim N(0, \sigma^2_\mu)$$

분산 prior:

$$\sigma^2 \sim \text{Inverse-Gamma}$$

MCMC 샘플링

Gibbs Sampling으로 posterior를 추정한다.

1. $T_k \mid \text{others}$: MH step
2. $M_k \mid T_k, \text{others}$: Conjugate update
3. $\sigma^2 \mid \text{others}$: Conjugate update

---

장단점

장점

장점	설명
불확실성 정량화	Posterior → 신뢰구간/신용구간
유연한 비선형	복잡한 상호작용 포착
정규화	Prior로 과적합 방지
연속/이진 처치	모두 처리 가능
자동 변수 선택	중요 변수 발견

단점

단점	설명
계산 비용	MCMC로 느림
수렴 진단	MCMC 수렴 확인 필요
하이퍼파라미터	Prior 설정 민감
대규모 데이터	스케일링 어려움

---

Causal BART 변형

BCF (Bayesian Causal Forests)

Hahn et al. (2020)은 처치효과(treatment effect)를 별도 함수로 분리한다.

$$Y = \mu(X) + \tau(X) \cdot W + \epsilon$$

• $\mu(X)$: Prognostic function (BART)
• $\tau(X)$: Treatment effect function (BART)

ps-BART

성향점수(propensity score)를 공변량(covariate)으로 포함한다.

$$Y = f(X, e(X), W) + \epsilon$$

---

구현

R (dbarts, bartCause)

library(dbarts)

# 기본 BART
bart_fit <- bart(x.train = cbind(X, W),
                 y.train = Y,
                 ntree = 200)

# CATE 추정
X1 <- cbind(X, W = 1)
X0 <- cbind(X, W = 0)

pred1 <- predict(bart_fit, X1)
pred0 <- predict(bart_fit, X0)

cate <- colMeans(pred1 - pred0)

# 신용구간
cate_samples <- pred1 - pred0
ci <- apply(cate_samples, 2, quantile, c(0.025, 0.975))

R (bartCause)

library(bartCause)

# Causal BART
fit <- bartc(y = Y, z = W, x = X,
             method.rsp = "bart",
             method.trt = "bart")

# CATE
cate <- predict(fit)

---

Causal Forest와 비교

특성	BART	Causal Forest
추론	Bayesian	Frequentist
불확실성	Posterior	Bootstrap/Asymptotic
Honest	아니오	예
속도	느림 (MCMC)	빠름
이론	Posterior consistency	$\sqrt{n}$-normality

---

관련 개념

• Tree-based Methods Overview - 트리 기반 방법 통합
• Causal Forest - Frequentist 대안
• Honest Estimation - 과적합 방지
• HTE - 추정 대상

---

참고 논문

• Hill, J. L. (2011). Bayesian nonparametric modeling for causal inference. JCGS
• Chipman, H. A., George, E. I., & McCulloch, R. E. (2010). BART: Bayesian additive regression trees. Annals of Applied Statistics
• Hahn, P. R., Murray, J. S., & Carvalho, C. M. (2020). Bayesian regression tree models for causal inference. Bayesian Analysis
• yaoSurveyCausalInference2021 - Section 3.4.3