웅 공부방

이 내용은 Energy-based models에 대한 기본적인 개념 및 training 방법을 알고 있다는 전제하에 작성되었습니다. 이에 대한 내용을 모르시는 분들은 아래 "Energy-Based Models (EBMs)이란? (1)"편에 자세히 적어두었으니, 먼저 읽으시고 이번 내용을 보시면 더 수월하게 이해하실 수 있을 겁니다.  Energy-Based Models (EBMs)이란? (1) - 개념, training, sampling - 웅 공부방Energy-based generative Models이 나오기 이전에도 Autoregressive models, Normalizing flow models, Variational autoencoders(VAE), GANs 등 많은 generative mod..

Energy-based generative Models이 나오기 이전에도 Autoregressive models, Normalizing flow models, Variational autoencoders(VAE), GANs 등 많은 generative mode이 존재했다. 다만, 이 모델들은 모두 치명적인 단점을 갖고 있다. Autoregressive models, Normalizing flow models, VAE들은 likelihood $P_{\theta}$를 모델링하는 데 있어 각각 특정 콘셉트를 가지고 있기에 선택할 수 있는 model architectures가 제한적이다. 예를 들어 Autoregressive models는 chain rule을 이용하여 conditionals의 곱으로 likel..