Hierarchical Text Spotter for Joint Text Spotting and Layout Analysis

Introduction

1. Unified-Detector-Polygon (UDP)
• Text Line을 위한 Bezier Curve polygon 예측
• Text Line들을 단락으로 그룹화 하기 위한 affinity matrix 생성
• 전통적인 Bezier Curve 의 control point 을 얻기 위해 L1 Loss 를 사용하는 방식은 텍스트 형태를 정확하게 포착하지 못함
• Location and Shape Decoupling Module (LSDM) - 위치와 형태 표현 학습을 분리한 새로운 방법 제안

2. Line-to-Character-to-Word (L2C2W)
• Transformer 인코더-디코더 구조
• word 단위 바운딩 박스와 word 클래스를 함께 예측
 
• 공백도 하나의 특수한 문자로 예측
• 라인을 문자로 분리하고 이를 다시 단어로 병합하는 방식
 

• word-level 의 text spotting & geometric layout analysis 의 통합

• 텍스트 라인의 정확한 Polygon 예측을 가능하게 하는 LSDM 모듈

• 일부의 layout analysis 와 text localization 이 포함된 L2C2W recognizer

• 테스트 데이터셋에 대한 fine-tuning 없이 text spotting 과 geometric layout analysis 벤치마크에서 최고 성능 결과

Related Works

Methodology

1. Unified Detection Stage

2. Line Recognition Stage

1. Unified Detection of Text Line and Paragraph

K-means cross-attention

https://arxiv.org/abs/2207.04044

2. Line-to-Character-to-Word Recognition

BezierAlign

https://arxiv.org/pdf/2002.10200v2.pdf

• MobileNetV2 CNN 백본을 통해 이미지 픽셀을 인코딩

• positional encoding 과 함께 transformer encoder 에 적용

• auto-regressive transformer decoder 로 출력

• 2-layer FFN head 추가

• 토큰 분류 헤드와 병렬로 처리하며 좌상단, 우하단 4d vector 생성

Experiments

Results on End-to-End Text Spotting

Results on Geometric Layout Analysis

Ablation Studies

Limitations

Conclusion