ELBO(Evidence Lower BOund)

ELBO(Evidence Lower BOund)

• Variatuinal inference(변분 추론)에서 중심적인 역할을 하는 개념
• 확률 모델에서 잠재 변수(latent variable)이 있을 때, 복잡한 사후 분포를 근사하고자 할 떄 사용
• VAE 같은 딥러닝 기반의 생성 모델에서 핵심적인 역할을 한다

 

배경

잠재 변수(latent variable) $z$를 포함하는 관측 데이터 $x$에 대한 확률 모델에서 사후 분포 $p(z|x)$를 알고 싶을 때,

$$p(z|x)=\frac{p(x, z)}{p(x)}=\frac{p(x, z)}{p(x)}=\frac{p(x|z)p(z)}{\int p(x|z)p(z)dz}$$

위 식과 같이 사후 분포의 계산은 매우 어렵다.

이를 위해 복잡한 $p(z|x)$를 직접 계산하는 대신, 이를 근사하는 변분 분포 $q(z)$를 도입.

 

정의

ELBO는 다음 식으로 정의된다.

$$\textrm{log}p(x)\geq \mathbb{E}_{q(z)}[\textrm{log}p(x|z)]-\textrm{KL}(q(z)||p(z))$$

 

위 식의 우변이 Evidence Lower Bound(ELBO)

• $\textrm{log}p(x)$ : 관측 데이터 $x$의 marginal likelihood
• $\mathbb{E}_{q(z)}[\textrm{log}p(x|z)]$ : 재구성 가능성 (likelihood term)
• $\textrm{KL}(q(z)||p(z))$ : 근사 분포와 실제 사전 분포 사이의 Kullback-Leibler 발산

 

우변(ELBO)을 최대화 함으로써 $q(z)$가 $p(z|x)$에 가까워지게 하고, $x$를 잘 설명하는 $z$를 찾게 된다.

 

VAE에서의 ELBO

 

• $q_\phi (z|x)$ : Encoder가 학습하는 분포 (latent variable 분포)
• $p_\theta (x|z)$ : Decoder가 학습하는 재구성 분포
• $p(z)$ : 잠재 변수의 사전 분포 $(N(0, I))$

 

이때, ELBO는 다음과 같이 정의,

$$\textrm{ELBO}=\mathbb{E}_{q_\phi(z|x)}[\textrm{log}p_\theta(x|z)]-\textrm{KL}(q_\phi(z|x)||p(z))$$

 

• $\mathbb{E}_{q_\phi(z|x)}[\textrm{log}p _\theta(x|z)]$
  • 재구성 항으로, 잠재 변수 $z$에서 $x$를 얼마나 잘 재구성 하는가를 측정.
  • $q_\phi(z|x)$ : 디코더가 출력하는 확률 분포.
• $\textrm{KL}(q_\phi(z|x)||p(z))$
  • 정규화 항으로, 인코더가 만든 $q_\phi(z|x)$ 분포가 사전 분포 $p(z)$(정규 분포)에 얼마나 가까운지를 측정.
  • KL 발산은 두 분포의 차이를 정량적으로 측정.