V∗: Guided Visual Search as a Core Mechanism in Multimodal LLMs

문제의 소개

멀티모달 대형 언어 모델(Multimodal LLMs)은 이미지와 텍스트 데이터를 결합하여 다양한 작업을 수행합니다. 그러나 현재의 모델은 고해상도 이미지 처리에 있어 제한적입니다. 예를 들어, 기존의 vision encoder는 이미지를 낮은 해상도로 축소하여 중요한 비주얼 디테일을 놓칠 수 있습니다. 이는 정확한 시각적 그라운딩이 필요한 작업에서 문제가 됩니다.

새로운 해결책: V∗ 비주얼 서치

 

논문에서 사용된 주요 모델은 다음과 같습니다:

1. VQA LLM (Visual Question Answering LLM):
   • LLaVA-7B: VQA 모델로, 질문에 대해 시각적 정보와 텍스트를 결합하여 답을 생성하는 데 사용됩니다. SEAL 프레임워크에서는 LLaVA-7B가 VQA LLM과 VWM(Visual Working Memory) 내에서 중요한 역할을 합니다.
2. Vision Encoder:
   • CLIP ViT-L/14: 이미지에서 비주얼 피처를 추출하는 데 사용되는 vision encoder입니다. CLIP 모델은 이미지-텍스트 정렬을 위한 사전 학습된 모델로, 시각적 정보를 텍스트 토큰으로 변환하여 LLM과 연동합니다.
3. Visual Search Model:
   • OWL-ViT-B-16: 비주얼 서치 모델에서 사용되는 vision backbone입니다. 이 모델은 target localization(대상 객체의 위치 식별)과 search cue localization(검색 단서 위치 식별)을 위한 두 개의 디코더와 함께 작동합니다.
4. Language Model:
   • Vicuna-7B: SEAL 프레임워크에서 사용된 language model로, VQA 모델과 함께 VWM에서 제공된 데이터를 처리하여 질문에 대한 답을 생성합니다.

이 모델들은 고해상도 이미지를 처리하고 정확한 비주얼 그라운딩을 수행하기 위해 상호작용하며, V∗ 비주얼 서치 메커니즘을 통해 시각적 요소를 능동적으로 탐색하고 강화된 정보를 제공하여 모델 성능을 향상시킵니다.

 

이 문제를 해결하기 위해 논문은 V∗(V-star)라는 LLM-guided visual search 메커니즘을 제시합니다. V∗는 모델이 이미지에서 중요한 비주얼 정보를 찾아내고, 이를 바탕으로 정확한 답을 제공할 수 있도록 돕습니다.

1. V∗란 무엇인가?
   • V∗는 세계 지식과 문맥적 단서를 활용하여 누락된 시각적 요소를 검색하는 과정입니다. 모델이 질문에 답하기 위해 필요한 정보가 부족할 경우, V∗가 이를 적극적으로 검색하고, 이를 모델에 다시 피드백하여 보다 정확한 답을 도출합니다.
2. 작동 방식:
   • 모델은 VQA LLM(Visual Question Answering)을 사용하여 질문에 답하기 위해 필요한 비주얼 요소를 식별하고, 만약 이미지에서 부족한 부분이 있으면 V∗가 이를 찾습니다. 이후 Visual Working Memory (VWM)에 검색된 정보를 저장하고, VQA LLM이 이를 처리하여 답을 제공합니다.
3. 문맥과 지식 통합:
   • V∗는 상향식 피쳐 가이드(색상, 모양 등)와 문맥적 장면 가이드(공통 지식과 객체들이 나타날 위치 등)를 결합하여 검색을 개선합니다. 이는 인간이 시각적으로 대상을 찾을 때 사용하는 방식과 유사합니다.

SEAL: V∗를 통한 프레임워크

SEAL(Show, SEArch, and TelL)은 V∗를 MLLMs에 통합하는 메타 아키텍처입니다. SEAL은 두 가지 주요 구성 요소로 이루어져 있습니다:

1. VQA LLM: 비주얼 및 텍스트 입력을 바탕으로 질문에 답합니다.
2. 비주얼 서치 모델: 누락된 비주얼 요소를 찾아 VWM에 저장하고, 이를 통해 정확한 답을 돕습니다.

벤치마크와 결과

논문에서는 V∗Bench라는 새로운 벤치마크를 도입하여, 고해상도 이미지와 정확한 비주얼 그라운딩을 처리하는 MLLMs의 성능을 평가했습니다. 그 결과, V∗를 적용한 SEAL 모델은 다른 시스템들보다 큰 성능 향상을 보였습니다.

• 성능 향상: SEAL은 GPT-4V와 Gemini와 같은 다른 모델들을 큰 차이로 능가했으며, 이는 V∗가 정확한 이미지-텍스트 정렬과 추론을 향상시킨다는 것을 보여줍니다.
• 어블레이션 연구: V∗가 제거된 SEAL 모델은 성능이 급격히 떨어졌으며, 이는 V∗가 모델 성능에 필수적임을 입증합니다.

---

결론

이 연구는 활동적인 비주얼 서치가 멀티모달 시스템에서 중요한 역할을 한다는 것을 보여줍니다. SEAL 프레임워크와 V∗ 알고리즘은 MLLMs의 고해상도 이미지 처리와 복잡한 추론 작업을 수행하는 능력을 크게 향상시켰습니다. 미래의 AI 시스템에서 시각적 정보를 정확하게 처리하고 반응할 수 있도록 돕는 중요한 발전입니다.