mean-teacher1 [PaperReview] Mean teachers are better role models: Weight-averaged consistency [https://arxiv.org/abs/1703.01780]요약이 논문은 반지도 학습(semi-supervised learning)에서 성능을 향상시키기 위한 Mean Teacher 방법을 제안합니다. 기존의 Temporal Ensembling 기법은 훈련 데이터의 예측값을 지수 이동 평균(EMA, Exponential Moving Average)으로 유지하고, 이에 부합하지 않는 예측을 패널티화하여 일관성을 높이는 방식입니다. 그러나 이 방법은 한 에포크(epoch)마다 목표 값(targets)을 업데이트하기 때문에, 대규모 데이터셋을 학습하는 데 비효율적이라는 단점이 있습니다.주요 기여Mean Teacher 기법 제안:Temporal Ensembling 대신, 모델의 가중치를 EMA를 이용해 평균을.. 2025. 3. 24. 이전 1 다음
