머신러닝&딥러닝(36)
-
생성 모델로 만든 이미지의 평가 방법 (S.Azizi 2023 논문 리뷰)
생성 모델로 만든 이미지가 원본 이미지랑 얼마나 비슷한지 어떻게 비교할까? 이는 해당 생성 모델의 성능과도 직결되는 문제이기 때문에, 적절한 평가 지표가 필요하다. 현재 융합의학기술원에서 디지털 병리 연구의 일환으로 DDPM으로 사구체 이미지를 생성한 synthetic data를 만들고 있는데, 아래와 같이 육안으로 보았을 때도 생성된 이미지의 Good case와 Bad case를 나눌 수 있다. 하지만, 육안으로 생성된 이미지의 퀄리티를 평가하는 것 말고 조금 더 정량적인 방법은 없을까?Synthetic Data를 만드는 근본적인 이유는, Classification 혹은 Segmentation 등 다른 task를 수행하는 모델의 데이터셋을 보강하여 accuracy를 높이기 위함이다. 따라서, 가장 실용..
2024.04.15 -
[머신러닝] 옵티마이저(optimizer)의 종류
옵티마이저(optimizer)란? 옵티마이저 = loss의 최솟값을 찾는 최적화 알고리즘 머신러닝의 목적은 데이터의 학습을 통해 loss 값을 줄여 작업의 정확도를 올리는 것이다. 앞선 포스팅에서, Gradient Descent라는 알고리즘으로 loss의 최솟값을 찾아나가는 방법을 설명했다. 그러나, 단순한 Gradient Descent는 learning rate의 크기나 가속 알고리즘의 유무 등에 따라 수렴하지 않는 경우도 존재했으며, local minimum에 빠지는 경우도 있었다. https://cascade.tistory.com/36 Gradient descent & Backpropagation (Rumelhart 1986 논문 리뷰) 딥러닝 분야에는 다양한 아키텍처가 있다. CNN, RNN, T..
2024.04.12 -
RNNsearch, 최초의 Attention (D.Bahdanau 2014 논문 리뷰)
바닷가 앞 의자에 사과가 하나 놓여 있다. 배경에는 폭죽놀이가 한창이다. 사람의 눈으로 사과를 주시하고 있을 때, 우리는 배경에 어떤 모양의 폭죽이 터지는지와 상관없이 사과라는 개체에 시선을 집중할 수 있다. Attention이라는 알고리즘이 나오기 전의 컴퓨터는 이러한 시선 집중을 할 수 없었다. 원근감, 사물 등의 개념을 그저 픽셀의 RGB 값으로만 인식했었기 때문에, 이미지에서 집중에서 보아야 할 사물이 무엇인지 알지 못했던 것이다. Attention은 컴퓨터가 특정 context에 "주의 집중"할 수 있도록 만들어준 알고리즘이며, 생성형 AI, 인공지능 번역, 자연어 처리, 영상 처리 등 다양한 분야에 사용된다. 또한 오늘날 인공지능 모델들의 아주 중요한 구성요소인 transformer의 기초가 ..
2024.04.02 -
CNN에서 backpropagation이 이루어지는 원리
MLP(Multilayered Perceptron)에서 backpropagation은 1) Loss function의 input에 대한 편미분값의 역전파 2) Loss function의 parameter에 대한 편미분값의 계산 의 두 가지로 이루어진다. 이때 1) 에서 input은 CNN에서 커널 weight이 된다. CNN에서는 input을 1차원 벡터로 받는 MLP와 달리, 텐서를 input으로 받을 수 있으며 아래 세 가지 가정을 따른다. 1) Local Receptive Field: 커널을 사용하여 위치가 근접한 셀들의 정보를 읽는다 2) Shared Weights: 하나의 kernel을 이용한 컨볼루션 연산은 모두 같은 가중치와 bias를 공유한다 3) sub-sampling: 불필요한 정보를 ..
2024.03.27 -
DDPM을 통한 이미지 생성 및 보간 (J. Ho 2020 논문 리뷰)
DDPM이란?DDPM(Denosing Diffusion Probabilistic Model)은 발전된 형태의 diffusion 생성모델로, 이미지에 gaussian noise 를 조금씩 첨가하여 완전한 noise image로 만들어지는 과정 (q) 을 학습하여, 완전한 noise 이미지에서 noise를 걷어(p) 이미지를 생성한다. 원본 이미지 x0에 노이즈를 한 단계씩 추가하여 완전한 noise 이미지로 바뀐 것을 xt라고 하자. DDPM은 아래와 같이 두 과정으로 진행된다.Forward process: x0-> xt로 만드는 noising 과정Reverse process: xt-> x0으로 만드는 denoising 과정이미지 생성을 위해 필요한 것은 reverse process이다. 노이즈를 추가하는..
2024.03.22 -
pytorch를 이용한 LeNet-5(1998) 구현
pytorch 연습도 할 겸 지난 번 논문을 읽었던 Yann LeCun의 LeNet-5를 구현해 봤다. https://cascade.tistory.com/40 [CNN] LeNet-5를 활용한 손글씨 인식 (Yann LeCun 1998 논문 리뷰) 패턴 인식은 실용성이 아주 높은 분야이다. 손글씨 인식을 대표로 하는 OCR(Optical Character Recognition)기술, 얼굴 인식, 생체정보 인식 등의 기술은 현재 널리 사용된다. 이러한 기술에 커다란 발전을 cascade.tistory.com 왜 LeNet-5 같은 구식 모델을 택했냐... 일단 내가 지금 쓸 수 있는 GPU가 없다. CPU로 돌아가는 가벼운 모델 중에서 pytorch 연습하기 좋은 모델이라 생각해서 이걸 골랐다. 구현하는 ..
2024.03.15