AnoDDPM 논문 리뷰 (AnoDDPM: Anomaly Detection with Denoising Diffusion Probabilistic Models using Simplex Noise)

본 논문은 DDPM을 이용한 anomaly detection 방법론은 AnoDDPM을 소개한다. Anomaly detection은 unsupervised learning 방법의 일종으로, 학습 셋의 확률분포에서 벗어난 데이터를 찾는다. VAE, GAN 등 기존 생성형 인공지능으로 만든 anomaly detection은 일반적으로 reconstruction을 이용하며, 본 논문에서 제안한 AnoDDPM도 마찬가지이다.

 

Introduction

• GAN, VAE에 비한 DDPM의 장점 : DDPM은 GAN이나 VAE에 비해 명확한 장단점을 갖는다. 장점은 mode coverage가 높으며 sample quality가 높다는 것이겠지만, 단점은 poor scalibity, 너무 긴 sampling time이 있다. 
• AnoDDPM은 건강한 환자의 patient data를 학습하였고, anomalous한 데이터 분포를 partiel diffusion을 이용하여 건강한 데이터셋의 분포에 대응시킬 것이다.
• 기존의 anomaly detection은 GAN, VAE기반이었고, 마찬가지로 learned manifold 안에 생성 이미지가 속하는지를 보았음
• 본 논문은 두 가지 contribution을 가짐
  (1) Anomalous image를 부분적으로 corruption 시키는 partial diffusion : 본 논문에서는 Anomaly detection을 위해 reconstruction을 기반으로 한 디퓨전을 사용하였고, 이는 sampling 시 전체 Markov Chain을 이용하지 않아도 되기에 유리하다. 
  (2) 더 커다란 anomality를 detection할 수 있는 simplex noise : Gaussian noise 기반 디퓨전은 large-scale anomality를 잘 디텍션하지 못하는데, 본 논문에서는 simplex noise라는 것을 사용하여 이 문제를 보완하였다.

DDPMs

• alpha, beta scheduling에 대한 간단한 수식 설명
• Diffusion loss

한 가지 의문이 들었던 점은, simplex noise를 사용할 것인데, forward diffusion을 gaussian 형태로 아래와 같이 그대로 사용해도 되는가 하는 점이었다. 이 부분은 수식을 좀 더 자세히 뜯어서 봐야겠다.

Methodology

일반적인 이미지는 frequency에 대한 power law를 가진다. 즉, 저주파 영역이 이미지에 더 많은 영향을 준다. Gaussian noise는 각 주파수에 대한 corruption을 동일하게 주므로, 저주파 영역에 대한 corruption이 고주파 영역보다 훨씬 작다. (즉 불균형이 생긴다). 

 

따라서, 본 논문에서는 simplex noise를 사용했는데, 아래와 같은 형태이다. Simplex noise는 특정 주파수를 설정하여 corruption시킬 수 있으며, timestep t가 커지면 corruption의 정도가 커져 큰 anomaly를 볼 수 있다.

 

Simplex noise로 brain T1 MRI영상을 corruption시키면 아래와 같이 노이즈가 입혀진다. (출처 : AnoDDPM 깃허브)

 

디퓨전 모델은 오로지 건강한 환자의 CT사진만으로 학습시켰다. 즉, 아래와 같이 timestep t를 파라미터로 정하고, t만큼 corruption시킨 후, 건강한 환자 데이터로 학습한 디퓨전으로 복원하였다는 의미이다.

이러한 방법으로 원본 이미지와 reconstructed healthy image의 차이를 구하면, 병변의 위치를 segmentation하는 것도 가능하다. 즉 reconstruction된 이미지와 원본의 MSE error를 재고 thresholding하여 segmentation하는 것이다.

 

데이터셋은 NFBS(Neurofeedback Skull-Stripped) repository를 사용하였고, 하이퍼파라미터는 아래와 같이 설정하였다.

 

Experiments and Results

본 실험대상이었던 T1 MRI 이미지로 이를 수행한 결과는 아래와 같다.

simplex noise가 저주파 (y축)으로 갈수록 segmentation 성능이 올라가는 것을 확인할 수 있다. 또한 데이터별로 최적의 timestep이 있으며, 일반적으로 simplex가 gaussian noise보다 성능이 좋았다.

 

ROC 커브를 그려본 결과, simplex를 이용한 AnoDDPM이 가장 좋은 성능을 보였다.