computer vision/self-supervised2 jigsaw puzzle 을 이용한 self-supervised 이번에 소개할 논문은 Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles 를 이용한 self-supervised 논문입니다. 1. Self-Supervised Learning of Pretext-Invariant Representations(CVPR 2020) 이 논문은 input image와 patch들을 서로 비슷하게 해주도록 하는 것이 목표입니다. 그렇게 해주기 위해서 nce loss를 이용합니다. I' 은 negative sample인데, 여기선 다른 이미지의 feature를 뜻 합니다. s는 cosine similarity 입니다. Dn 은 데이터셋의 부분집합입니다. -log를 취해줌으로써 분모는 작게, 분자는 크게.. 2022. 7. 20. ConvMAE: Masked Convolution Meets Masked Autoencoders(arxiv 2022) 1. Introduction 기존 MAE 같은 경우에는 computational cost가 높고 pretraing-finetuning discrepancy를 유발한다고 합니다. 이를 해결하기 위해서 convolution block의 정보 누출을 막아주는 masked convolution을 적용합니다. 또한 multi-scale feature를 제공하기 때문에, object detection과 segmentation의 성능도 올라간다고 말합니다. 2. method The Hybrid Convolution-transformer Encoder encoder의 구조는 총 3개의 stage로 이루어져 있습니다. convolution block은 self-attention 대신, 5 x 5 depthwise con.. 2022. 6. 10. 이전 1 다음
