D2-Net: A Trainable CNN for Joint Description and Detection of Local Features

Introduction

기존의 Local feature matching 알고리즘들은 keypoint를 먼저 detect한 뒤 describe하는 detect-and-describe 방식을 많이 사용했습니다. Sparse local feature는 nearest neighbor search를 할 때 효율적이고 메모리도 적게 든다는 장점이 있지만, day and night와 같이 생김새가 많이 변하는 경우에는 잘 매칭이 되지 않는다는 단점이 있었습니다. Local descriptor들은 상대적으로 큰 패치를 보지만 keypoint detector는 그렇지 못하기 때문입니다. 한편, descriptor를 dense하게 검출하는 방식은 시간과 메모리가 많이 필요하지만 더 어려운 상황에서 잘 동작하는 장점이 있었습니다. 본 논문에서는 describe-and-detect 방식을 사용하여 두 방식의 장점을 모두 취하려고 합니다.

Proposed Method

1. Joint Detection and Description Pipeline



기존의 detect-then-describe 방식대신 본 논문에서는 detector와 descriptor가 동시에 사용하는 feature extraction 방식을 제안합니다.
Feature는 다음과 같이 생겼다고 가정합니다.





(i, j) 지점이 detect 되려면, 아래와 같은 조건이 필요합니다.



하지만 argmax와 같은 함수는 backpropagation이 불가능하기 때문에 아래와 같이 soft local-max, soft channel selection를 정의합니다.





최종적으로 soft detection score는 두 값의 곱으로 정의합니다.





 

2. Jointly optimizing detection and description
두 이미지로부터의 descriptor를 라고 할 때 positive distance, negative distance는 아래와 같이 정의할 수 있습니다.





여기서 N1, N2는 hard negative를 뽑기 위한 위치들을 의미합니다.



 
최종적으로 loss function은 margin loss로 정의되며, detection의 repeatability를 추구하기 위하여 아래 식과 같이 detection term이 추가되었습니다.





 

Experiment

Conclusions

Optional subsections (Heading 3)