- 일반적인 line detection task는 이미 deep learning 기반의 연구가 있지만, fisheye, spherical같은 distorted line에 대해서는 아직 연구되지 않았음.
- 기존에는 5 point RANSAC 방식을 쓰거나 rectification network로 undistorted 된 image에 대해 line detection하는 방식이 쓰였음.
• We propose a model-free line segment representation
for unified line segment detection based on the Bezier
curve model, which is independent of camera distortion
parameters.
• We design a unified end-to-end line segment detection
network, which can be directly applied to both distorted
and undistorted images from the pinhole, fisheye, and
spherical cameras.
• We construct fisheye and spherical image datasets for
line segment detection tasks in distorted images. With
these datasets, the performance of the proposed ULSD
is evaluated.
- 주요 contribution은 distorted line detection을 (camera) model-free 한 deep learning based model로 풀었다는 점임.
- distorted line을 bezier curve로 표현함으로써 문제를 풀고자 함.
- bezier curve는 보통 control point로 수식화하지만 bezier curve 위에 있는 N등분된 point를 사용하여 문제를 직관적으로 바꿈. (line을 직접적으로 표현함으로 있어 얻는 이득이 있음)
- model의 backbone은 stacked hourglass network이며, 이외에는 (1)Junction Prediction Module, (2)Line Prediction Module, (3) Line and Junction Matching Module, (4) Line Sample Module, (5) LoI Head Module로 이루어짐.
- junction prediction module은 feature map을 bin으로 divide하고, 포함 여부에 대한 classification과 center offset을 학습함.
- line prediction module은 bezier curve의 N등분 point에 대해서 offset을 학습함.
- line과 junction은 line의 endpoint와 가장 가까운 junction을 찾고, endpoint를 해당 junction으로 치환함.
- cold-start 문제를 해결하기 위해서 line의 positive sampling은 일정 threshold 이하 거리의 line을 positive로 함. 거리에 대한 수식은 아래와 같음.
- LoI Head Module은 feature map에서 N등분 bezier point 위치의 feature를 sampling하고, 1d maxpooling을 적용함. 이 feature로 line에 대한 classification을 함.
결과
- bezier curve의 order를 늘릴수록 pixel error가 감소. order=2에서만도 1 pixel error 이하로 충분히 효과적이다.
Share article