Enhancing Your Trained DETRs with Box Refinement
Enhancing Your Trained DETRs with Box Refinement
arxiv 2023.07, 2024-04-23 기준 0회 인용
Task
- Object Detection
- DETR
Contribution
- Box refinement network 구조를 제안
- well-trained models 를 변경하거나 다시 학습하지 않고 plugin 방식의 구조 제안
- 다양한 DETR 방법들에 적용 가능
제안하는 Refinement module 을 적용했을 때 성능이 향상된다
Motivation
기존에 학습된 DETR 은 고정시키고 가벼운 Refinement Network 만 사용해서 box를 refine 한다
idel performance 분석을 위해서
box predictions 을 GT box로 대체 -> eliminate localization error
classification predictions 을 GT class 로 대체 → eliminate classification error
localization error 를 제거했을때의 성능 향상이 크다
즉, localization quality 가 안좋다 → refinement network 를 제안한다
Proposed Method
Extracting the Multi-scale Features
backbone 으로부터 multi-scale feature 를 추출
추후 RoIAlign 할시에 사용됨
Refining the Boxes
RoIAlign - Residual Blocks - MLP
prediction 된 box 정보를 기반으로 RoIAlign - (7 x 7)
Residual Block - bottleneck Blocks
MLP - predicting the deltas to the ground truth
Training and Inference 학습시에는 GT 랑 매칭된 prediction 결과만 refine 하고 학습
Inference 시에는 classification score 를 기준으로 top K 가 선정하고 refine
Experimental Results
여러 DETR 방법들에 적용했을 때 성능이 향상된다
기존에는 classification error 를 제거했을 때 성능이 크게 향상되지 않았었다 → poor localization quality 때문에
제안하는 RefineBox 를 적용했을 때에는 classification error 를 제거했을 때 성능이 크게 향상된다
Refine 하는 box 가 많아질수록 성능은 더 향상된다