NLP1 SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization 대학교 팀 프로젝트로 BERT를 fine tuning 시켜야 하는데, fine-tuing overfitting이 심하게 발생했습니다. 이를 해결하기 위해 찾다가 이 논문을 보게 되었습니다. 1. Introduction 이 논문은 NLP에 관한 논문입니다. BERT 같이 pretrain된 모델을 fine tuning할 때, 오버피팅이 된다고 이 논문에서 지적합니다. 오버피팅이 되는 이유는 모델의 복잡성과 fine tuning할 domain의 데이터 부족, aggressive fine-tuing이 원인이라고 논문 저자들은 언급합니다. 높은 복잡성을 제어하기 위해서 이 논문에서는 Smoothness inducing Adversarial Regularization 방법을 이용합니다. 이는 input에 noise.. 2022. 3. 27. 이전 1 다음
