Multimodal Retrieval

Object-centric Image-Text Retrieval

이미지-텍스트 검색을 장면 설명이 아니라 객체, 속성, 공간관계 중심 문제로 재정의하고 학습 데이터 생성부터 평가까지 연결한 사례입니다.

A case that reframed image-text retrieval around objects, attributes, and spatial relations, then connected data generation through evaluation.

Caption dataHard negativesContrastive learningRecall@K
Object-centric image-text retrieval data factory

문제

Problem

장면 수준 캡션은 검색 구분력이 약합니다. 실제 검색에서는 객체의 종류, 속성, 배치, 유사하지만 정답이 아닌 후보를 구분할 수 있어야 합니다.

Scene-level captions are weak for retrieval discrimination. Real search needs to distinguish object types, attributes, layouts, and visually similar non-matches.

설계

Design

  • 객체 중심 캡션과 속성 중심 텍스트를 생성해 image-text pair를 구성했습니다.
  • Generated object-centric captions and attribute-focused text to build image-text pairs.
  • 유사하지만 정답이 아닌 hard negative를 포함해 decision boundary를 강화했습니다.
  • Added hard negatives that are similar but incorrect to sharpen the decision boundary.
  • Recall@K를 Text-to-Image와 Image-to-Text 양방향 품질 지표로 사용했습니다.
  • Used Recall@K for both text-to-image and image-to-text retrieval quality.

기여

Contribution

검색 문제를 모델 선택이 아니라 데이터 설계 문제로 구조화하고, 캡션 생성, negative mining, 학습, 평가 흐름을 하나로 정리했습니다.

Structured retrieval as a data-design problem, connecting caption generation, negative mining, training, and evaluation into one workflow.