Gen2Det: Generate to Detect

Posted Feb 12, 2024 Updated Feb 13, 2024

By Geonu-Lee 3 min read

Gen2Det: Generate to Detect

Arxiv 2023.07, 2024-02-12 기준 0회 인용

Task

Object Detection
DETR
Generation

Contribution

Synthetic data 를 생성해서 Object detection 모델 학습
Generation model 로 부터 생성된 data 필터링해서 Object detector 학습
image-level filtering, instance-level filtering 활용

그 전 연구들은 Object Foreground 를 단순히 paste
본 논문에서는 foreground 부분에 같은 class 이나 다른 instances를 생성
제안하는 방법으로 데이터를 생성하고 적용했을 때 성능 향상

Proposed Method

Image Generation

이미지의 GT box와 label 을 condition 으로 주어서 이미지 생성
box 안에서 같은 class 이지만 다른 instances 를 생성
state-of-art grounded image inpainting diffusion model 을 사용

이미지 생성 예시 - 같은 class 이지만 다른 instance 로 생성

Image Level Filtering

diffusion model 이 항상 perfect 한 이미지를 생성하는 것이 아니기 때문에 Filtering 이 필요

pretrained classifier which utilizes a CLIP+MLP architecture 사용

https://github.com/christophschuhmann/improved-aesthetic-predictor

이미지에 대한 aesthetic score (심지적 점수) 을 예측
COCO 데이터셋의 이미지들에 대한 aesthetic score 를 계산하고 평균값을 threshold 로 사용
threshold 값을 넘지 못하는 생성된 이미지는 사용 X

Image-level filtering 으로 사용되지 않는 생성된 이미지 예시

Detector Filtering

Instance-level filtering 도 진행
학습된 detector 를 활용해서 생성된 instance 에 대한 predictions 값을 이용

아래 조건일 경우 annotation 제거

GT와의 IoU 가 threshold (0.3) 보다 작을 경우
prediction score 값이 threshold (COCO-0.1) 보다 작을 경우

Instance-level filtering 으로 annotation 제거된 예시

Batch Sampling

단순하게 생성된 이미지와 실제 이미지를 섞에서 학습에 활용할 경우 성능 하락
sampling probability $p$ 로 batch 내 Synthetic 이미지 비율을 조절
본 논문에서는 0.2 사용

Background Ignore

Instance-level filtering 에서 annotations 을 제거하는 것이지 instance 자체를 제거하는 것이 아님
Synthetic 이미지에서의 background 부분을 Loss 에 반영할 경우에 학습에 악영향을 줄 것
Synthetic 이미지에 대한 background 부분은 Loss에 반영 X