웅 공부방

이 내용은 Energy-based models에 대한 기본적인 개념 및 training 방법을 알고 있다는 전제하에 작성되었습니다. 이에 대한 내용을 모르시는 분들은 아래 "Energy-Based Models (EBMs)이란? (1)"편에 자세히 적어두었으니, 먼저 읽으시고 이번 내용을 보시면 더 수월하게 이해하실 수 있을 겁니다.  Energy-Based Models (EBMs)이란? (1) - 개념, training, sampling - 웅 공부방Energy-based generative Models이 나오기 이전에도 Autoregressive models, Normalizing flow models, Variational autoencoders(VAE), GANs 등 많은 generative mod..

Energy-based generative Models이 나오기 이전에도 Autoregressive models, Normalizing flow models, Variational autoencoders(VAE), GANs 등 많은 generative mode이 존재했다. 다만, 이 모델들은 모두 치명적인 단점을 갖고 있다. Autoregressive models, Normalizing flow models, VAE들은 likelihood $P_{\theta}$를 모델링하는 데 있어 각각 특정 콘셉트를 가지고 있기에 선택할 수 있는 model architectures가 제한적이다. 예를 들어 Autoregressive models는 chain rule을 이용하여 conditionals의 곱으로 likel..

Situation OverviewMLE에 대해 이해하기에 앞서 먼저 주어진 상황과 notation을 이해해 보자. 먼저 Figure 1의 왼쪽을 보면 $\mathbf {x}_{i} \sim P_{data}$ 표시가 있는데, $\mathbf {x}_{i}$는 우리가 가지고 있는 training data이다. 만약 강아지 사진을 1000장 가지고 있으면 n = 1000이 된다. 총데이터를 한 번에 dataset $D=\{\mathbf{x}_{1}, \dots\, , \mathbf {x}_{n}\}$ 또는 $D=\{\mathbf{x}^{(1)}, \dots\, ,\mathbf {x}^{(n)}\}$로 표시한다. $P_{data}$는 우리가 가지고 있는 데이터가 따르는 true distribution이며, 우..