본 논문에서는 MONET이라는 image-text foundation model을 이용하여, 의료 이미지의 concept presence를 평가하고 이를 이용해 model auditing, data auditing을 하는 방법에 관한 논문이다. Nature Biomedical Engineering 2023에 수록된 논문 (1) 에서는 model auditing을 위한 의사의 concept annotation을 위해 application을 사용하여 두 가지 질문을 물어보았다. 첫째는 원본 이미지와 conterfactual의 양성/악성 관계, 둘째는 그러한 결정을 내리게 한 임상소견이다. 이러한 annotation 기법은 굉장히 많은 시간과 의료진의 노력을 필요로 하는데, 이러한 concept annotat..

본 논문은 WSI 병리슬라이드를 위한 ABMIL 모델의 explainability를 높이는 방법론인 HIPPO (Histopasthology Interventions of patches for Predictive Outcomes)를 다룬다. HIPPO는 WSI에서 추출한 patch 단위의 counterfactual을 만드는 방법을 사용한다. 주요한 task는 CAMELYON16 데이터셋을 활용한 metastasis detection, TCGA-BRCA / TCGA-SKCM 데이터셋을 활용한 prognosis prediction, 그리고 EBRAINS dataset을 활용한 IDH mutation가 있다. Model Architecture - ABMIL1. Patchification : non-overla..

LIME은 복잡한 ML 모델의 explainability를 확보하기 위해 local approximation이라는 방법을 활용하는 기법이다. LIME은 model agnostic, 즉 모델의 종류와 상관없이 작동하며 다룰 수 있는 data modality 또한 다양하다. 본 포스팅에서는 Marco Tulio Ribeiro et al의 LIME: "Why Should I Trust You?" Explaining the Predictions of Any Classifier 을 리뷰해 보고자 한다. 우선, "모델을 신뢰할 수 있다"는 것은 무엇을 말할까? 모델의 예측값(prediction)을 신뢰 가능하다는 의미일 수도 있고, 모델 자체에 대한 신뢰일 수도 있다. 예측값에 대한 신뢰를 보기 위해서는 모델이 어..

FixMatch (Sohn et al, 2020)는 적은 수의 labeled data와 많은 수의 unlabeled data가 섞인 데이터셋에서 학습을 할 때 pseudo-labeling 기반으로 unlabeled data를 utilize하는 반지도학습(semi-supervised learning) 기법이다. Fixmatch는 Mixup이라는 다소 복잡(?)한 unlabeled data utilization 기법을 가진 MixMatch(2019)에 비해 단순하면서도 보편적인 아이디어를 제공하여 많은 반지도학습 상황에 응용되어 왔다. 아이디어를 간단하게 소개하면, labeled data는 일반적인 supervised learning처럼 이용하고, unlabeled data는 모델의 confidence가 특..

보편 근사 정리 (Universal Approximation Theorem)에 따르면, 파라미터 수가 충분한 인공신경망은 임의의 연속적인 다변수함수를 원하는 정확도로 근사할 수 있다. 즉, 파라미터 수가 충분하다면, 이론상 train set의 accuracy를 100%으로 만드는 파라미터 조합은 반드시 존재한다. https://en.wikipedia.org/wiki/Universal_approximation_theorem Universal approximation theorem - WikipediaFrom Wikipedia, the free encyclopedia Feed-forward neural network with a 1 hidden layer can approximate continuous fu..

OpenAI에서 제공하는 Guided-diffusion repository(https://github.com/openai/guided-diffusion)는 Ho et al.의 DDPM 모델부터 DDIM 샘플링, 그리고 classifier guidance까지 줄 수 있는 다양한 디퓨전 유틸리티가 들어 있다. GitHub - openai/guided-diffusionContribute to openai/guided-diffusion development by creating an account on GitHub.github.com Classifier guidance는 지난 포스팅 (https://cascade.tistory.com/120)에서 설명했으니 본 포스팅에서는 OpenAI guided-diffusi..