FixMatch (Sohn et al, 2020)는 적은 수의 labeled data와 많은 수의 unlabeled data가 섞인 데이터셋에서 학습을 할 때 pseudo-labeling 기반으로 unlabeled data를 utilize하는 반지도학습(semi-supervised learning) 기법이다. Fixmatch는 Mixup이라는 다소 복잡(?)한 unlabeled data utilization 기법을 가진 MixMatch(2019)에 비해 단순하면서도 보편적인 아이디어를 제공하여 많은 반지도학습 상황에 응용되어 왔다. 아이디어를 간단하게 소개하면, labeled data는 일반적인 supervised learning처럼 이용하고, unlabeled data는 모델의 confidence가 특..

IJCAI 학회에 참여하여 인상깊게 본, 북경대학교 인공지능 연구소에서 작성한 준지도학습 논문(https://arxiv.org/pdf/2406.15763)이다. 현재 레이블링이 일부만 되어 있는 병리 이미지 데이터를 준지도학습 방법론으로 접근하고 있기에 관심이 갔다. IntroductionFixMatch는 고정되어 있는 높은 threshold를 기준으로 pseudo-labeling하는 알고리즘이다. (일반적으로 0.9~0.95를 사용) 따라서 unlabeled data를 충분히 학습에 이용하지 못한다는 단점이 있다.후속 준지도학습 알고리즘들은 모델의 학습 상태에 따라 pseudo-labeling을 적용하며, 이는 biased data sampling 혹은 클래스 간 유사성의 영향을 많이 받는다.-> 실제..

준지도학습(반지도학습, Semi-Supervised Learning)은 레이블된 데이터가 레이블되지 않은 데이터에 비해 훨씬 적을 때 사용할 수 있는 학습방법이다. 본 포스팅에서는 준지도학습 방법 중 초창기에 해당하는 Pi model과 Temporal Ensemble에 대해 정리하려고 한다. Π model과 temporal ensemble은 모두 NVIDIA가 2017년 ICLR에 올린 논문 (1) 에서 등장한 self-ensemble 구조이다. 여러 모델의 예측값을 합쳐 전체 결과를 도출하는 ensemble은 하나의 모델보다 일반적으로 나은 성능을 보이는 것으로 알려져 있었다. 이 논문에서는 하나의 모델에서 ensemble을 할 수 있는 self-ensemble method 두 가지를 소개하였다. (1..