본문 바로가기

전체 글144

SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization 대학교 팀 프로젝트로 BERT를 fine tuning 시켜야 하는데, fine-tuing overfitting이 심하게 발생했습니다. 이를 해결하기 위해 찾다가 이 논문을 보게 되었습니다. 1. Introduction 이 논문은 NLP에 관한 논문입니다. BERT 같이 pretrain된 모델을 fine tuning할 때, 오버피팅이 된다고 이 논문에서 지적합니다. 오버피팅이 되는 이유는 모델의 복잡성과 fine tuning할 domain의 데이터 부족, aggressive fine-tuing이 원인이라고 논문 저자들은 언급합니다. 높은 복잡성을 제어하기 위해서 이 논문에서는 Smoothness inducing Adversarial Regularization 방법을 이용합니다. 이는 input에 noise.. 2022. 3. 27.
Reducing domain gap by reducing style bias(CVPR 2021) 1. Abstract CNN의 inductive bias는 image style(texture)를 중점으로 할 경우가 많습니다. 이 논문은 CNN의 intrinsic style bias를 줄여서 domain 사이의 gap을 가깝게 하는 것이 목접입니다. Style-Agnostic Networks(SagNets)는 class 정보로부터 style 인코딩을 분리하여 style biased 예측을 방지하고 content(class)에 좀 더 집중하도록 한다고 합니다. 2. Introduction 사람은 content를 기준으로 사물을 인식합니다. 강아지가 art이든, 흑백이든, photo이든 저흰 다 구별을 할 수 있습니다. 하지만 CNN은 style에 중점을 두기 때문에, 인식을 잘 못합니다. 이러한 ind.. 2022. 3. 18.
(DSON)Learning to Optimize Domain Specific Normalization for Domain Generalization (ECCV 2019) 1. Abstract 이 논문은 여러가지 normalization 기법을 이용하여 해결합니다. batch normalization(BN)은 도메인 이동이 큰 곳에서는 한계가 있습니다. 그렇기 때문에 domain specific style을 제거할 필요가 있습니다. 이를 하기 위해서 Instance normalization(IN)을 이용합니다. 2. Method F는 feature extractor입니다. normalization 파트를 제외한 나머지 parameter들은 domain끼리 서로 공유합니다. D는 classifier입니다. 하나만 이용합니다. 모든 도메인의 loss를 더해서 최종으로 학습하게 됩니다. 2.1 Instance Normalization for Domain Generalizatio.. 2022. 3. 11.
The Unreasonable Effectiveness of Deep Features as a Perceptual Metric(CVPR 2018) semanticGAN에서 이 논문의 loss를 다루어서, 읽게 된 논문. 생각보다 인용이 많이 됐음. 1. Abstract 이 논문의 주제는 사람의 관점에서 이미지가 얼마나 비슷한지 어떻게 측정을 할까 입니다. 이 문제가 왜 어렵냐면, 이미지는 차원이 높고 서로 픽셀들이 연관이 있어서 기존의 distance 개념들을 사용하기 어렵습니다. 그리고 비슷하다는 개념이 애매합니다. 예를 들면, 빨간 원이 빨간 사각형이랑 비슷한지, 파란 원이랑 비슷한지 정의하기 어렵습니다. 이러한 점을 해결하기 위해 새로운 데이터셋을 제안하고, pretrain 된 모델을 이용하여 distance를 계산합니다. 2. method 데이터셋에 대해서는 다루지 않겠습니다. 채널마다 feature들을 normalize 해주고, 뺍니다. .. 2022. 2. 23.
Progressive Domain Expansion Network for Single Domain Generalization(CVPR 2021) 1. Abstract 이 논문은 single domain generalization에 관한 논문입니다. 새로운 도메인의 데이터를 만드는 모델과 domain invariant한 부분을 학습하는 task model 두 가지로 이루어져 있습니다. unseen domain의 다양한 데이터를 progressive하게 만들어냅니다. domain invariant representation을 학습하기 위해서 contrastive learning을 이용합니다. 2. Method 2.1 The Unseen Domain Generator G G는 원래 이미지를 새로운 도메인의 데이터로 바꾸는 네트워크입니다. 이 논문에서 G는 Autoencoder와 spatial transform network(STN)에 관해서 설명합니다.. 2022. 2. 22.
Masked Autoencoders Are Scalable Vision Learners(arxiv 2021) https://github.com/facebookresearch/mae GitHub - facebookresearch/mae: PyTorch implementation of MAE https//arxiv.org/abs/2111.06377 PyTorch implementation of MAE https//arxiv.org/abs/2111.06377 - GitHub - facebookresearch/mae: PyTorch implementation of MAE https//arxiv.org/abs/2111.06377 github.com 1. Abstract 이 논문은 masked autoencoder를 통해 성능을 끌어올립니다. 대부분의 autoencoder는 encoder, decoder가 대칭적인데 반해.. 2022. 2. 16.

티스토리툴바