Consistency 기반의 준지도학습 알고리즘 (Π model, Temporal Ensemble)정리

준지도학습(반지도학습, Semi-Supervised Learning)은 레이블된 데이터가 레이블되지 않은 데이터에 비해 훨씬 적을 때 사용할 수 있는 학습방법이다. 본 포스팅에서는 준지도학습 방법 중 초창기에 해당하는 Pi model과 Temporal Ensemble에 대해 정리하려고 한다.

 

Π model과 temporal ensemble은 모두 NVIDIA가 2017년 ICLR에 올린 논문 (1) 에서 등장한 self-ensemble 구조이다. 여러 모델의 예측값을 합쳐 전체 결과를 도출하는 ensemble은 하나의 모델보다 일반적으로 나은 성능을 보이는 것으로 알려져 있었다. 이 논문에서는 하나의 모델에서 ensemble을 할 수 있는 self-ensemble method 두 가지를 소개하였다.

 

(1) Samuli Laine et al., TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING, ICLR, 2017.

 

Π Model

파이 모델(Π model)은 하나의 입력 x에 대해 두 가지 loss를 계산한다.

(1) Supervised Loss : 입력이 들어왔을 때, 일반적인 supervised learning 방법에서 계산하는 cross entropy로 loss를 계산한다.

(2) Unsupervised Loss : 입력에 두 가지 다른 augmentation (strong, weak)를 적용하고, 두 가지 다른 dropout을 적용하여 output을 낸다. 그리고 이 두 output에 대한 MSE error를 계산하는데, 이를 consistency loss라고 한다.

 

두 개의 loss는 weighted sum으로 합쳐져, 전체 학습에 어떤 loss의 영향을 더 키울지 설정할 수 있다.

 

Temporal Ensemble

Temporal Ensemble은 파이 모델(Π model)에 약간의 구조적 변화를 준 self ensemble 모델이다.

파이 모델(Π model) 은 두 가지 과정으로 나눌 수 있다. 첫 번째로, 파라미터를 업데이트하지 않고 training set에 대한 output을 도출하는 부분, 두 번째로, 다른 augmentation, dropout을 적용하여 도출한 output과 첫 번째 output을 비교하여 unsupervised loss를 만드는 부분이다.

 

그러나, 충분히 학습되지 않은 모델로 도출한 output은 noise가 많이 포함되어 있을 것인데, temporal ensemble은 이를 ensemble의 원리를 이용하여 해결한다. 즉, output을 선형적으로 accumulation하여 training history를 반영하는 것이다.