1. Abstract
기존의 연구들은 domain 간의 semantic invariance를 중점으로 연구를 했습니다. 하지만 intra-domain style invariance도 중요합니다. 이 논문에서는 intra-domain style invraiance가 DG의 성능과 관련이 있다는 것을 보여준다고 합니다. 'jury'를 통해 도메인 사이의 공통된 semantic feature를 배울 수 있게끔 합니다.
2. Method
2.1 Intra-domain Invariance on Style Features
memory bank라는 것을 통해서 domain style invariance를 학습한다고 합니다. 도메인마다 style bank가 있고, 학습을 할 수록 semantic, 즉 class에 상관없이 동일한 형태를 띄고 있습니다. bank를 업데이트하는 방식은 큐입니다.
<,>는 코사인 유사도입니다. 하나는 intra domain 간의 거리이고, 하나는 inter domain간의 거리입니다. loss가 작아지려면, 앞에 마이너스 기호가 붙어있으니 분자는 크게 분모는 작게 해야합니다. 그리거 위해서는 intra domain간의 유사도는 크게 나와야하고, 분모에서 두 번째 식은 작게 나와야합니다.
2.2 Inter-domain Invariacne on Semantic Features
class가 같다면, 도메인에 상관없이 feature도 비슷해야 합니다. 이를 해결하기 위한 방법을 여기서 다룹니다.
c_d,i와 전체 semantic feature의 similarity scroe를 구합니다.
두 모델이 invariant semantic feature를 공유한다면, 이 둘은 서로 비슷한 값을 가집니다.
그래서 cross entropy함수를 이용합니다.
이 식은 class를 잘 분류하도록 하게 해줍니다.
2.3 Decoupling Semantics from Styles
앞의 수식들을 살펴보면, semantic feature와 style feature가 서로 연관이 없습니다. 이 두가지를 orthogonality 시킴으로써 앞의 문제점을 해결할 수 있다고 합니다. 이유는 다른 논문을 살펴봐야 알 것 같습니다.
H는 row가 feature로 이루어진 matrix입니다. squared Frobenius norm을 이용하여 matirx크기를 구합니다.
2.4 Overall
앞에서 본 loss들을 전부 다 더하여 최종 loss를 구합니다.
memory encoder는 이렇게 업데이트 해줍니다.
3. Experiment
성능이 우수한 것을 확인할 수 있습니다.
실제로 앞의 loss들을 전부 사용했을 경우의 성능이 제일 좋은 것을 알 수 있습니다.
