본 포스팅에서는 간단한 코드로 구현한 디퓨전 모델(DDPM)의 pytorch 구현 코드를 분석하려고 한다. 코드는 https://colab.research.google.com/drive/1sjy9odlSSy0RBVgMTgP7s99NXsqglsUL?usp=sharing#scrollTo=LQnlc27k7Aiw 를 참고하였다. 작성자는 DeepFindr이다. DDPM 논문에 대해 어느 정도 이해하고 있다는 전제 하에 작성하였기 때문에, 논문 내용을 모르는 사람은 먼저 읽고 오길 바란다. https://arxiv.org/abs/2006.11239 논문에는 diffusion loss에 대한 증명과 왜 사용할 수 있는지에 대한 내용이 주로 담겨있기 때문에 어디부터 코드로 구현해야 할지 감이 잘 잡히지 않을 수도 있..

디퓨전 모델의 아이디어인 열역학적 확산이 최초로 제안된 것은 2015년(https://arxiv.org/abs/1503.03585)이며 디퓨전의 원조격으로 unconditional하게 random noise에서 이미지를 합성할 수 있는 DDPM이 나온 것은 2020년이다. DDPM은 t번째 timestep에서 noise가 얼만큼 포함되어 있는지를 CNN 기반의 U-Net으로 예측한다. 하지만, classificaion/segmentation에서 CNN 기반 모델의 sota를 ViT 기반 모델 (시초는 https://arxiv.org/abs/2010.11929) 들이 갈아치우고 있는 상황에서, denoising에도 ViT를 써볼 수 있으리라 예상할 수 있다. U-ViT는 ViT를 U-Net이랑 비슷한 형태..

RNN cell의 구조RNN(순환신경망)은 기본적인 FFN(Feed-Forward Network)과 달리, 시간 차원을 가지며 이전 시간에 있었던 정보가 다음 시간으로 전달되기 때문에 일종의 "기억"을 가진다. RNN cell의 기초 구조는 아래와 같다.input으로 들어온 벡터 x가 입력 가중치와 곱해지고, cell 안의 hidden layer 에도 시간 단위 가중치가 곱해진 후 더해진 값이 activation function을 거쳐 다음 시점의 hidden layer 값을 만든다. 이 과정을 시간 축으로 펴 보면, 아래와 같다.이를 수식으로 적으면 아래와 같다.  W_x는 입력 벡터에 곱해지는 가중치, W_h는 이전 시점의 hidden layer에 곱해지는 가중치 역할을 한다. Hidden layer..

U-Net은 2015년 공개된 모델로 segmentation task에서 가장 영향력이 컸던 모델 중 하나이다. 본 포스팅에서는 U-Net을 간단하게 요약하면서, pytorch로 구현한 아키텍처를 살펴보고자 한다.Introduction기존의 CNN 모델은 주로 분류(classification)에 초점을 맞추고 있었다. 그러나, 많은 경우, 특히 의생명 분야의 이미지에서는 단순히 어떤 카테고리에 속하는지보다 그 카테고리에 속하는 물체가 이미지 어디에 있는지 구분해야 하는 경우가 있다. 즉, 이는 픽셀 단위로 분류 작업을 하는 것으로 볼 수 있으며, 각 픽셀은 특정 레이블로 매핑되어야 한다. 이러한 segmentation 작업을 위한 기존 연구로는 Ciresan et al.이 있다. 이 논문에서는 Slidi..

본 포스팅에서는 RePaint: Inpainting using Denoising Diffusion Probabilistic Models 논문을 리뷰하려고 한다. DDPM은 이미지에 노이즈를 추가하여 완전한 random noise sample이 되는 과정을 학습하여, random noise 에서 새로운 이미지를 생성한다. RePaint는 input 이미지의 일부를 마스크로 가리고, 해당 부분에 대해서만 generation하여 새로운 이미지를 만드는 foundation model이다. 이러한 task를 free-form inpainting이라고 한다. 마스크를 씌운 영역에 대해서는 이미지 생성을 자유롭게 조율할 수 있는 것이다. 이 모델이 중요한 이유는, 마스크 모양에 구애받지 않고 이미지를 생성할 수 있기..

2023은 그야말로 AI의 해였다. 새로운 서비스가 출시되면 "LLM"은 거의 필수옵션처럼 따라붙었고, 리서치 직종이나 개발, 기타 정보 기반 산업에 종사하는 사람들의 브라우저에는 즐겨찾기로 ChatGPT가 대부분 추가되었다. GPT-4가 출시된 지 이제 1년이 막 넘은 시점의 이야기다. 인스타그램이 100만 사용자를 돌파하는 데 2.5개월이 걸렸고, 페이스북은 10개월이 걸렸으며, 트위터는 2년이 걸렸다. ChatGPT는 100만 사용자를 돌파하는 데 얼마나 걸렸는지 알고 있는가? 불과 5일이다. 시장에 AI 하입이 불고 있고, AI 관련 밸류체인에 상당한 돈이 투자되고 있는 것은 분명한 팩트이다. 하지만 특정 분야에 많은 돈이 쏠리게 되면, 투자한 만큼의 가치가 창출되지 않을 때의 버블은 그만큼 가파..