Lifelong Domain Adaptation via Consolidated InternalDistribution(NeurIPS 2021)

https://proceedings.neurips.cc/paper/2021/hash/5caf41d62364d5b41a893adc1a9dd5d4-Abstract.html

Lifelong Domain Adaptation via Consolidated Internal Distribution

 

이 논문은 domain Incremental과 관련된 논문입니다.

 

1. Abstract

 이 논문은 unsupervised domain adaptation에 관한 논문입니다. source domain의 data는 label이 있고, target domain 같은 경우에는 label이 없습니다. 이 논문의 핵심은 Internal distribution을 견고하게 만들어서 여러 domain에서도 잘 작동하도록 하는 것입니다.

 

 

2. 구조

 target domain 같은 경우에는 label이 없기 때문에, label을 임의로 달아줘야 합니다. 이 논문에서는 GMM(Guasian Mixture Model)을 이용합니다.

 

 

X는 input Data, Z는 feature, Y는 label이라고 생각하시면 됩니다. 밑 첨자 p는 pseudo를 뜻합니다.

 

 source domain의 data로 학습을 한 후에, 이를 feature들을 바탕으로 GMM을 업데이트합니다. 여기선 실제 label과 예측 label이 맞는 feature만 이용을 합니다.

 

 target domain에서의 pseudo dataset은 GMM에서 임의로 뽑습니다. GMM은 input data가 아닌 feature를 통해 update를 해주게 됩니다.

그렇기 때문에, pseudo dataset은 (feature, label)로 이루어져 있습니다.

 

앞 부분은 일반적인 lossf function입니다. 여기선 pseudo datsaet에 대한 loss입니다.  h는 classifier입니다.

 

D는 distribution discrepancy를 의미합니다. 이 논문에서는 SWD를 이용합니다. D가 의미하는 바는 실제 target doamin의 feature와 GMM에서 뽑은 feature의 거리를 좁히는 역할을 합니다. 

 

GMM인 pj는 sourde domain을 학습시킬 때와는 달리 pseudo-datset을 이용하여 update 해줍니다.

 

 

 

하지만 위 식은 catastrophic forgetting 문제가 있습니다. 새로운 domain에 관해서는 잘 작동을 하지만, 이전 domain에 대한 정보는 잃어버립니다. 

 

그렇기 때문에 기존 incremental learning처럼 이전의 data들을 memory에 저장을 해두는 방법을 이용해야 합니다. memory에 저장하는 data들을 고르는 방법은 cluster mean과 모든 feature 간의 distance를 계산하여, mean과 가장 거리가 가까운 data들을 memory에 넣습니다.

 

 

최종 수식은 이와 같습니다. b가 붙어있는 것들이 buffer memory에 있는 data입니다.