Enhanced Training of Query-Based Object Detection via Selective Query Recollection
Enhanced Training of Query-Based Object Detection via Selective Query Recollection
CVPR 2023, 2024-04-23 기준 20회 인용
Task
- Object Detection
- DETR
Contribution
- 마지막 decoder stage 의 결과가 optimal 한 결과인가?
- 마지막 decoder stage 결과가 잘못 prediction 했지만 중간의 stage 에서 정확하게 prediction 하는 경우도 있다
- 이러한 문제들을 해결하기 위해서 Selective Query Recollection (SQR) 방법을 제안
DETR 방법들에 본 논문에서 제안하는 SQR을 적용하면 성능이 향상된다
Motivation
각 stage 별로 결과를 비교 분석
- Traffic light 로 잘 예측하고 있지만 decoder stage 가 진행될 수록 socre 값은 낮아지고 있다
- Stage 2 에서 Remote 로 잘 예측했지만 다음 stage 에서 Cell phone 으로 잘못 예측하고 마지막 stage 까지 score 값이 커진다.
Decoder stage 별 AP 성능 비교
True-positive Fading Rate
- 마지막 Decoder stage 의 prediction 이 TP 일 경우
- 같은 GT 에 대해서 1~5 stage 의 결과와 비교
- higher IoU & higher category score 일때의 비율
False-positive Exacerbation Rate
- 마지막 Decoder stage 의 prediction 이 FP 일 경우
- 같은 GT 에 대해서 1~5 stage 의 결과와 비교
- lower category score 일때의 비율
1~5 stages 에서 마지막 stage 의 결과보다 더 좋은 결과들이 존재한다
각 stage 에서 optimal prediction 을 찾아서 최종 prediction 결과로 사용했을 때
- Deformable DETR - 44.5 AP to 51.7 (+7.2 AP)
- Adamixer - 42.5 AP to 53.3 (+10.7 AP)
Proposed Method
Dense Query Recollection (DQR)
기존의 방법은 순차적으로 query가 지나가는 형식
Dense Query Recollection 방법은 그전 stage 의 query 들을 그대로 가져와서 넘겨주는 형식
이로 인해서 뒤쪽 stage 로 갈수록 supervision 을 비율이 늘어난다
Selective Query Recollection (SQR)
DQR 방법은 training cost가 증가
초기의 query 가 마지막 stage 에 바로 연결되면 각 stage 에 대한 query 들의 차이가 클 것이다
6 stage 에 대해서 더 좋은 정보를 갖고 있는 부분은 4, 5 이다 → 인접해있는 stage 들이 서로 좋은 영향을 준다
해당 stage 에서 전전 stage 에 해당하는 query는 추가 하지 않는다
뒤쪽 stage 로 갈수록 supervision 을 비율이 피보나치 수열과 같이 증가한다
Experimental Results
Baseline- Adamixer
DQR, SQR 적용했을 때 성능
DQR 과 SQR 에서 start stage 에 따른 결과 분석
SQR 적용했을 때 TP fading rate 와 FP exacerbation rate 이 줄어든다
제안하는 방법을 적용시키면 성능이 향상된다