U-Net은 2015년 공개된 모델로 segmentation task에서 가장 영향력이 컸던 모델 중 하나이다. 본 포스팅에서는 U-Net을 간단하게 요약하면서, pytorch로 구현한 아키텍처를 살펴보고자 한다.Introduction기존의 CNN 모델은 주로 분류(classification)에 초점을 맞추고 있었다. 그러나, 많은 경우, 특히 의생명 분야의 이미지에서는 단순히 어떤 카테고리에 속하는지보다 그 카테고리에 속하는 물체가 이미지 어디에 있는지 구분해야 하는 경우가 있다. 즉, 이는 픽셀 단위로 분류 작업을 하는 것으로 볼 수 있으며, 각 픽셀은 특정 레이블로 매핑되어야 한다. 이러한 segmentation 작업을 위한 기존 연구로는 Ciresan et al.이 있다. 이 논문에서는 Slidi..

본 포스팅에서는 RePaint: Inpainting using Denoising Diffusion Probabilistic Models 논문을 리뷰하려고 한다. DDPM은 이미지에 노이즈를 추가하여 완전한 random noise sample이 되는 과정을 학습하여, random noise 에서 새로운 이미지를 생성한다. RePaint는 input 이미지의 일부를 마스크로 가리고, 해당 부분에 대해서만 generation하여 새로운 이미지를 만드는 foundation model이다. 이러한 task를 free-form inpainting이라고 한다. 마스크를 씌운 영역에 대해서는 이미지 생성을 자유롭게 조율할 수 있는 것이다. 이 모델이 중요한 이유는, 마스크 모양에 구애받지 않고 이미지를 생성할 수 있기..

2010년대 초반을 거치면서 AI를 활용한 영상처리와 패턴인식 분야가 급속도로 발전했다. 구글 등의 대기업에서는 AI 분야에 대규모로 투자하기 시작하였고, 이미지 분석을 위한 대규모 오픈 데이터셋이 만들어졌으며, 모델의 accuracy는 매년 눈부시게 상승했다. 이러한 움직임은 의료에도 많은 영향을 미쳤다. Medical AI가 가장 먼저 침투한 의료 분야는 Radiology이다. 2013~2014년에는 우리나라 가장 초창기 Medical AI software 회사인 뷰노와 루닛이 생겨났다. Radiology AI는 10년에 가까운 시간 동안 빠르게 발전하여, 현재는 X-Ray 혹은 CT 등 의료 영상을 보고 거의 의사와 비슷한 수준의 정확도로 질환을 진단할 수 있게 되었다. Radiology 이후에 A..

2023은 그야말로 AI의 해였다. 새로운 서비스가 출시되면 "LLM"은 거의 필수옵션처럼 따라붙었고, 리서치 직종이나 개발, 기타 정보 기반 산업에 종사하는 사람들의 브라우저에는 즐겨찾기로 ChatGPT가 대부분 추가되었다. GPT-4가 출시된 지 이제 1년이 막 넘은 시점의 이야기다. 인스타그램이 100만 사용자를 돌파하는 데 2.5개월이 걸렸고, 페이스북은 10개월이 걸렸으며, 트위터는 2년이 걸렸다. ChatGPT는 100만 사용자를 돌파하는 데 얼마나 걸렸는지 알고 있는가? 불과 5일이다. 시장에 AI 하입이 불고 있고, AI 관련 밸류체인에 상당한 돈이 투자되고 있는 것은 분명한 팩트이다. 하지만 특정 분야에 많은 돈이 쏠리게 되면, 투자한 만큼의 가치가 창출되지 않을 때의 버블은 그만큼 가파..

바닷가 앞 의자에 사과가 하나 놓여 있다. 배경에는 폭죽놀이가 한창이다. 사람의 눈으로 사과를 주시하고 있을 때, 우리는 배경에 어떤 모양의 폭죽이 터지는지와 상관없이 사과라는 개체에 시선을 집중할 수 있다. Attention이라는 알고리즘이 나오기 전의 컴퓨터는 이러한 시선 집중을 할 수 없었다. 원근감, 사물 등의 개념을 그저 픽셀의 RGB 값으로만 인식했었기 때문에, 이미지에서 집중에서 보아야 할 사물이 무엇인지 알지 못했던 것이다. Attention은 컴퓨터가 특정 context에 "주의 집중"할 수 있도록 만들어준 알고리즘이며, 생성형 AI, 인공지능 번역, 자연어 처리, 영상 처리 등 다양한 분야에 사용된다. 또한 오늘날 인공지능 모델들의 아주 중요한 구성요소인 transformer의 기초가 ..

pytorch 연습도 할 겸 지난 번 논문을 읽었던 Yann LeCun의 LeNet-5를 구현해 봤다. https://cascade.tistory.com/40 [CNN] LeNet-5를 활용한 손글씨 인식 (Yann LeCun 1998 논문 리뷰) 패턴 인식은 실용성이 아주 높은 분야이다. 손글씨 인식을 대표로 하는 OCR(Optical Character Recognition)기술, 얼굴 인식, 생체정보 인식 등의 기술은 현재 널리 사용된다. 이러한 기술에 커다란 발전을 cascade.tistory.com 왜 LeNet-5 같은 구식 모델을 택했냐... 일단 내가 지금 쓸 수 있는 GPU가 없다. CPU로 돌아가는 가벼운 모델 중에서 pytorch 연습하기 좋은 모델이라 생각해서 이걸 골랐다. 구현하는 ..