Hyperbolic Contrastive Learning for Visual Representations beyond Objects

Hyperbolic Contrastive Learning for Visual Representations beyond Objects

CVPR 2023, 2024-04-25 기준 25회 인용

Task

• Object Detection
• Contrastive Learning

Contribution

• 이미지 내의 object 와 scene 에 대한 representations 을 다루는 framework를 제안
• 같은 class 의 object 에 대한 representations 들은 가깝게, 해당 object 를 포함하는 scene 도 object 의 representations 과 거리가 가깝게, 하지만 object 들끼리 가까운것보다는 멀게
• 이를 위해서 Hyperbolic Contrastive Learning 방법을 제안

같은 class object 들끼리는 가깝게
object 를 포함하는 scene 도 object 와 가깝게는 하지만 object 들끼리 가까운 것보다는 멀게

Proposed Method

Hyperbolic Space

Hyperbolic distance 계산하는 수식
$||-p \oplus q ||$ 는 두 점 p와 q 사이의 Möbius addition 연산 결과의 norm
Möbius addition - hyperbolic 공간에서 두 벡터의 합

model 의 output (v) 를 Poincaré ball 에서의 모든 point p 에 대한 exponential map 으로 인해서 Poincaré ball 내의 점으로 변환

object 에 대해 jittered and slightly expanded 으로 two views 로 crop
Euclidean loss 로 Cosine Similarity 가 높아지도록

object crop 이미지와 scene 이미지에 대해 hyperbolic space 로 보내주고 Contrastive Learning
Hyperbolic Distance 가 가까워지도록

Experimental Results

selective search 로 box proposal
어떤 box를 object 로 사용하는지 scene 으로 사용하는지?
Contrastive Learning 으로 pre-training 하고,
Mask R-CNN 으로 object detection 학습 (COCO datasets)

Classification 에 대한 linear evaluation 결과