ULSD: Unified Line Segment Detection across Pinhole, Fisheye, and Spherical Cameras
일반적인 line detection task는 이미 deep learning 기반의 연구가 있지만, fisheye, spherical같은 distorted line에 대해서는 아직 연구되지 않았음.
May 04, 2023
- 일반적인 line detection task는 이미 deep learning 기반의 연구가 있지만, fisheye, spherical같은 distorted line에 대해서는 아직 연구되지 않았음.
- 기존에는 5 point RANSAC 방식을 쓰거나 rectification network로 undistorted 된 image에 대해 line detection하는 방식이 쓰였음.
• We propose a model-free line segment representation
for unified line segment detection based on the Bezier
curve model, which is independent of camera distortion
parameters.
• We design a unified end-to-end line segment detection
network, which can be directly applied to both distorted
and undistorted images from the pinhole, fisheye, and
spherical cameras.
• We construct fisheye and spherical image datasets for
line segment detection tasks in distorted images. With
these datasets, the performance of the proposed ULSD
is evaluated.
- 주요 contribution은 distorted line detection을 (camera) model-free 한 deep learning based model로 풀었다는 점임.
- distorted line을 bezier curve로 표현함으로써 문제를 풀고자 함.
- bezier curve는 보통 control point로 수식화하지만 bezier curve 위에 있는 N등분된 point를 사용하여 문제를 직관적으로 바꿈. (line을 직접적으로 표현함으로 있어 얻는 이득이 있음)
- model의 backbone은 stacked hourglass network이며, 이외에는 (1)Junction Prediction Module, (2)Line Prediction Module, (3) Line and Junction Matching Module, (4) Line Sample Module, (5) LoI Head Module로 이루어짐.
- junction prediction module은 feature map을 bin으로 divide하고, 포함 여부에 대한 classification과 center offset을 학습함.
- line prediction module은 bezier curve의 N등분 point에 대해서 offset을 학습함.
- line과 junction은 line의 endpoint와 가장 가까운 junction을 찾고, endpoint를 해당 junction으로 치환함.
- cold-start 문제를 해결하기 위해서 line의 positive sampling은 일정 threshold 이하 거리의 line을 positive로 함. 거리에 대한 수식은 아래와 같음.
- LoI Head Module은 feature map에서 N등분 bezier point 위치의 feature를 sampling하고, 1d maxpooling을 적용함. 이 feature로 line에 대한 classification을 함.
결과
- bezier curve의 order를 늘릴수록 pixel error가 감소. order=2에서만도 1 pixel error 이하로 충분히 효과적이다.
Share article
