Saliency-Guided DETR for Moment Retrieval and Highlight Detection

1. 기존 연구의 한계

• 비디오 순간 검색 및 하이라이트 탐지: 기존 모델들은 비디오와 텍스트 기능을 효과적으로 정렬하는 데 실패하여 실제 응용 프로그램에서 부족한 성능을 보였습니다.
• 특징 추출 문제: SlowFast와 CLIP 같은 모델은 각각 비디오와 텍스트 기능을 잘 추출하지만, 이들을 결합하여 시간적 동역학을 제대로 처리하지 못해 순간 지역화와 하이라이트 탐지에서 한계가 있습니다.
• 프리트레이닝 데이터셋 크기: QVHighlights 데이터셋은 상대적으로 작아 모델이 일반화하기 어려워 추가적인 데이터 없이 순간 검색 작업에서 성능을 발휘하기 어려운 문제를 겪었습니다.

2. 접근 방법

• 제안된 방법: 저자들은 Saliency-Guided DETR (SG-DETR)라는 새로운 아키텍처를 제안하며, 이는 DETR 기반 모델의 장점과 비디오-텍스트 정렬을 개선하기 위한 새로운 모듈을 결합합니다. 핵심 혁신은 Saliency-Guided Cross Attention (SGCA) 메커니즘으로, 이 메커니즘은 중요도를 반영한 주의를 통해 비디오와 텍스트 간의 상호작용을 향상시킵니다.
• 하이브리드 아키텍처: 또한, CNN 기반과 DETR-like 접근을 결합한 하이브리드 감지기를 사용하여 순간 지역화 성능을 개선합니다. InterVid-MR 데이터셋을 새롭게 도입하여 프리트레이닝 문제를 해결하고, 기존 데이터셋의 한계를 보완합니다.
• 프리트레이닝 전략: 새롭게 개발한 프리트레이닝 프레임워크를 통해 InterVid-MR 데이터셋을 활용하여 제로샷 성능을 크게 개선하고, 파인튜닝 시 더욱 뛰어난 성능을 발휘하도록 합니다.

3. 결과

• 최신 성능 달성: QVHighlights, Charades-STA, TACoS 벤치마크에서 SG-DETR은 기존 모델들을 능가하는 성능을 보였으며, 특히 LLM을 활용하지 않은 기존 모델들과 비교해 우수한 성능을 보였습니다.
• 다른 모델과 비교: 제안된 방법은 Moment-DETR, QD-DETR, CG-DETR과 같은 전통적인 방법들보다 우수한 성능을 보였으며, 특히 InterVid-MR 데이터셋으로 프리트레이닝을 했을 때 성능 향상이 두드러졌습니다. SG-DETR은 Moment Retrieval (MR)과 Highlight Detection (HD) 모두에서 중요한 성능 향상을 달성했습니다.

4. 한계

• 추상적인 쿼리에 대한 한계: SG-DETR은 성능 향상이 있었음에도 불구하고, 추상적이거나 미세한 차이를 갖는 쿼리에 대해 여전히 어려움 (이건 사실 쿼리 자체의 문제점 아닌가? 이를 개선할 필요가 있겠군...)을 겪습니다. 이러한 쿼리는 관련 비디오 세그먼트의 경계가 명확하지 않아 모델 성능에 영향을 미칠 수 있습니다.
• 소규모 데이터셋에서의 성능 한계: QVHighlights와 같은 대규모 데이터셋에서는 좋은 성능을 보였지만, TVSum과 같은 작은 데이터셋에서는 성능이 다소 낮았으며, 추가 데이터를 사용해도 성능 개선이 없는 경우도 있었습니다.

5. 결론

• SG-DETR 모델은 비디오-텍스트 기능을 정렬하는 문제를 해결하고, 순간 검색과 하이라이트 탐지 작업에 효율적이고 확장 가능한 솔루션을 제공합니다. 그러나 특정 유형의 쿼리와 소규모 데이터셋에 대해서는 여전히 한계가 존재합니다.