FixMatch (Sohn et al, 2020)는 적은 수의 labeled data와 많은 수의 unlabeled data가 섞인 데이터셋에서 학습을 할 때 pseudo-labeling 기반으로 unlabeled data를 utilize하는 반지도학습(semi-supervised learning) 기법이다. Fixmatch는 Mixup이라는 다소 복잡(?)한 unlabeled data utilization 기법을 가진 MixMatch(2019)에 비해 단순하면서도 보편적인 아이디어를 제공하여 많은 반지도학습 상황에 응용되어 왔다. 아이디어를 간단하게 소개하면, labeled data는 일반적인 supervised learning처럼 이용하고, unlabeled data는 모델의 confidence가 특..

보편 근사 정리 (Universal Approximation Theorem)에 따르면, 파라미터 수가 충분한 인공신경망은 임의의 연속적인 다변수함수를 원하는 정확도로 근사할 수 있다. 즉, 파라미터 수가 충분하다면, 이론상 train set의 accuracy를 100%으로 만드는 파라미터 조합은 반드시 존재한다. https://en.wikipedia.org/wiki/Universal_approximation_theorem Universal approximation theorem - WikipediaFrom Wikipedia, the free encyclopedia Feed-forward neural network with a 1 hidden layer can approximate continuous fu..

OpenAI에서 제공하는 Guided-diffusion repository(https://github.com/openai/guided-diffusion)는 Ho et al.의 DDPM 모델부터 DDIM 샘플링, 그리고 classifier guidance까지 줄 수 있는 다양한 디퓨전 유틸리티가 들어 있다. GitHub - openai/guided-diffusionContribute to openai/guided-diffusion development by creating an account on GitHub.github.com Classifier guidance는 지난 포스팅 (https://cascade.tistory.com/120)에서 설명했으니 본 포스팅에서는 OpenAI guided-diffusi..

AutoEncoder는 전통적인 Encoder-Decoder 구조이다. 이 중 Variational AutoEncoder(VAE)는 Encoder q로 latent 분포의 평균과 분산을 샘플링하고, 이를 결합하여 latent space를 만드는 reparametrization trick을 이용한다.  이러한 VAE는 latent vector가 주어지면 학습된 decoder로 새로운 이미지를 generation할 수 있다. 그렇다면, 잘 학습된 VAE의 latent space는 어떻게 생겼을까? 클래스가 구분된 input image를 latent로 보내면, latent 안에서도 클래스끼리 clustering이 되어 있을까? 본 포스팅에서는 https://github.com/Jackson-Kang/Pytor..

본 논문은 OpenAI에서 발표한, unconditional image generation만 가능했던 디퓨전 계열 아키텍처에 최초로 컨디셔닝을 적용한 논문이다. 이를 Classifier Guidance라고 한다. IntroductionDDPM이 등장하였지만, 아직까지 이미지 생성의 많은 task의 SOTA는 GAN이 가지고 있었다. 하지만 Diffusion이 GAN에 비해 좋은 성능을 보이는 부분들도 있었다. GAN은 디퓨전에 비해 diversity가 적은데, IS, FID, Prec 등은 이를 반영하지 않는다. 또한, GAN은 하이퍼파라미터를 제대로 설정하지 않으면 쉽게 collapse한다. 저자들은 GAN과 디퓨전의 이러한 성능차이는 두 가지에서 온다고 가설을 세웠다.GAN은 divesity - fi..

본 포스팅에서는 DDPM의 일반화 버전인 DDIM을 리뷰하려고 한다. DDPM과 무엇이 어떻게 다른 걸까? IntroductionGenerative model의 역사GAN은 VAE(2013), autoregressive model(2016), normalizing flow(2015) 보다 나은 sampling quality를 가지지만, training stability가 낮고 데이터 분포의 mode를 제대로 커버하지 못할 수 있다. 최근 생성모델은 score based network(NCSN)이나 iterative model(DDPM)과 같은 모델이 좋은 성능을 보이고 있으나, DDPM의 치명적인 단점은 샘플링 속도가 매우 느리다는 것이다. DDIM(Denoising Diffusion Implicit M..