LamRA: Large Multimodal Model as Your Advanced Retrieval Assistant

Motivation

최근 멀티모달 정보 검색 분야는 복잡한 검색 작업들이 등장하면서 급격히 발전했습니다. 예를 들어, 합성된 이미지 검색, 긴 텍스트-이미지 검색, 이미지/질문과 멀티모달 문서 검색 등의 작업들이 이에 해당합니다. 기존의 비전-언어 모델(VLM)은 이미지-텍스트 대비 학습을 통해 훈련되며 이러한 복잡한 작업들을 처리하는 데 어려움을 겪고 있습니다. 기존 방법들은 주로 작업에 특화된 파인튜닝에 의존하고 있는데, 이는 번거롭고 비효율적입니다. 또한, 이러한 모델들은 여러 검색 작업을 동시에 처리하는 데 한계가 있습니다. 이를 해결하기 위해, LamRA(대형 멀티모달 모델 검색 보조 시스템)가 제안되었습니다. LamRA는 모든 검색 작업을 동일한 형식으로 통합하여, 추가 학습 없이 다양한 검색 작업을 처리할 수 있는 범용적인 솔루션을 제공합니다.

논문에서 직접 인용된 내용:

"기존 방법들은 대부분 이미지-텍스트 대비 학습을 통해 훈련된 비전-언어 모델의 작업 특화 파인튜닝에 의존하고 있습니다. [...] 이 논문에서는 생성적 대형 멀티모달 모델(LMM)을 검색에 재사용하는 가능성을 탐구합니다."​

Analysis

기존의 비전-언어 모델들은 대부분 교차-modal 검색을 잘 처리하지만, 더 복잡한 검색 작업에서는 한계가 있습니다. 예를 들어, 긴 텍스트와 이미지를 함께 사용하는 검색 작업이나, 질문과 이미지를 결합한 멀티모달 문서 검색에서는 기존 모델들이 성능 저하를 겪는 경우가 많습니다. 이는 기존 모델들이 주로 단일 작업에 대해 최적화되어 있기 때문에 발생하는 문제입니다. 또한, 이러한 모델들은 여러 작업을 처리할 때 작업마다 별도로 파인튜닝을 해야 하므로, 많은 자원과 시간이 소모됩니다.

이와 같은 문제를 해결하기 위해 LamRA는 대형 멀티모달 모델(LMM)을 사용하여 단일 모델로 여러 검색 작업을 처리할 수 있게 합니다. 기존 모델들은 각 작업에 대해 별도의 학습을 필요로 했지만, LamRA는 LMM을 활용하여 단일 훈련 절차로 다양한 작업을 처리할 수 있게 설계되었습니다. LamRA는 또한 검색 뿐만 아니라 재정렬(reranking) 작업도 함께 처리할 수 있는 능력을 가지고 있어, 단순한 검색에서 정밀한 재정렬까지 지원합니다.

기존 모델의 한계와 LamRA의 개선점:

1. 기존 모델의 한계: 기존 VLM은 교차-modal 검색에서는 잘 작동하지만, 복잡한 검색 작업에서는 성능이 떨어집니다. 각 작업에 대해 파인튜닝을 해야 하기 때문에 여러 작업을 처리하는 데 어려움이 있었습니다.
2. LamRA의 개선점: LamRA는 추가 학습 없이 다양한 검색 작업을 처리할 수 있는 프레임워크로, 모든 작업을 통합된 형식으로 처리할 수 있습니다. 이는 효율성을 크게 향상시키며, 작업별 파인튜닝의 번거로움을 해결합니다.

또한, LamRA는 두 가지 주요 훈련 단계를 도입하여 모델의 검색 성능을 점진적으로 향상시킵니다:

1. 언어 전용 사전 훈련(Language-only pre-training): 이 단계에서는 텍스트 데이터를 사용하여 모델이 기본적인 검색 기능을 수행할 수 있도록 합니다.
2. 멀티모달 지침 튜닝(Multimodal instruction tuning): 이 단계에서는 다양한 멀티모달 검색 작업에 맞는 지침을 주어 모델을 최적화합니다.

논문에서 직접 인용된 내용:

"최근 대형 멀티모달 모델(LMM)의 발전은 다양한 비전-언어 작업을 처리하기 위해 LMM을 활용하려는 트렌드를 촉발시켰습니다. [...] 이 논문에서는 LMM의 범위 내에서 다양한 검색 및 재정렬 문제를 해결하려고 합니다."​

따라서, LamRA는 다양한 검색 작업을 효율적으로 처리할 수 있는 방법을 제시하며, 기존 모델들이 겪었던 작업 특화된 파인튜닝의 한계를 뛰어넘습니다. 이는 추가 학습 없이도 새로운 검색 작업을 처리할 수 있게 만들어, 검색 시스템의 범용성을 크게 향상시킵니다.

Figure 1은 LamRA 프레임워크가 대형 멀티모달 모델(LMM)에 고급 검색 및 재정렬 기능을 어떻게 강화하는지 보여주는 다이어그램입니다. 아래는 그림에 대한 설명입니다:

• LamRA 프레임워크: LamRA의 중심 개념은 LoRA 모듈을 LMM에 통합하여 모델의 검색 및 재정렬 능력을 향상시키는 것입니다. 이 LoRA 모듈은 경량화되어 있으며, 많은 추가 자원 없이도 모델의 효율성을 높일 수 있습니다.
• LamRA-Ret (검색): 검색 프로세스를 개선하는 부분입니다. 이 부분은 두 단계 훈련 과정을 사용합니다:
  1. 언어 전용 사전 훈련: 이 단계에서는 모델을 언어 데이터만 사용하여 훈련시켜, 초기 검색 성능을 높입니다.
  2. 멀티모달 지침 튜닝: 두 번째 단계에서는 텍스트, 이미지 등 다양한 모달리티의 검색 작업에 맞춰 모델을 튜닝합니다.
• LamRA-Rank (재정렬): 검색 후, 모델은 재정렬을 통해 검색된 후보 리스트를 더욱 정교하게 다듬습니다. LamRA-Rank는 두 가지 방식의 재정렬을 지원합니다:
  • 포인트와이즈 재정렬(Pointwise reranking): 개별 후보를 재정렬합니다.
  • 리스트와이즈 재정렬(Listwise reranking): 전체 후보 집합을 함께 재정렬하여, 더 전체적인 최적화 방식을 제공합니다.
• 성능 비교: 그림은 LamRA가 다양한 검색 작업을 처리할 수 있는 능력과 기존의 다른 시스템들과 비교했을 때 우수한 성능을 보여주는 성능 비교를 나타냅니다. LamRA는 **감독 학습(supervised learning)**과 제로 샷 학습(zero-shot learning) 설정에서 모두 뛰어난 성능을 발휘하며, 훈련 중에 보지 못한 작업에도 잘 적용되는 능력을 보입니다.

이 그림은 LamRA가 다양한 검색 작업을 효율적으로 처리하고, 기존의 방법들과 비교했을 때 성능이 우수하다는 점을 강조합니다.

Figure 2: LamRA 프레임워크 개요

Figure 2는 LamRA 프레임워크의 구조를 보여주는 다이어그램입니다. 이 그림은 LamRA의 두 주요 구성 요소인 LamRA-Ret(검색)과 LamRA-Rank(재정렬)에 대해 설명하고 있습니다.

• LamRA-Ret (검색):
  • 이 부분은 LamRA의 검색 기능을 담당합니다.
  • 두 단계 훈련을 통해 검색 성능을 점진적으로 향상시킵니다:
    1. 언어 전용 사전 훈련(Language-only pre-training): 이 단계에서는 언어 데이터를 사용하여 모델이 기본적인 검색 기능을 수행할 수 있도록 합니다.
    2. 멀티모달 지침 튜닝(Multimodal instruction tuning): 다양한 검색 작업에 맞는 지침을 추가하여 모델을 튜닝합니다. 이를 통해 여러 가지 모달리티(텍스트, 이미지 등)를 처리할 수 있는 능력을 향상시킵니다.
• LamRA-Rank (재정렬):
  • 이 부분은 검색 결과를 재정렬하는 기능을 담당합니다.
  • 두 가지 재정렬 방식을 지원합니다:
    1. 포인트와이즈 재정렬(Pointwise reranking): 각 후보에 대해 재정렬을 수행하여 가장 관련성이 높은 항목을 선택합니다.
    2. 리스트와이즈 재정렬(Listwise reranking): 여러 후보를 함께 재정렬하여, 전체적으로 더 관련성이 높은 항목을 선택합니다.
• LoRA 모듈: LamRA는 경량화된 LoRA(Low-Rank Adaptation) 모듈을 통해 LMM(대형 멀티모달 모델)을 확장하여 효율적으로 검색 및 재정렬 기능을 추가합니다. LoRA 모듈은 성능을 극대화하면서도 모델의 크기를 크게 늘리지 않고 효율성을 높입니다.

Method: LamRA 방법론

LamRA의 방법론은 두 가지 주요 단계로 나뉩니다: **검색 (LamRA-Ret)**과 **재정렬 (LamRA-Rank)**입니다.

1. LamRA-Ret (검색)

LamRA의 검색 기능은 두 단계 훈련 방식으로 이루어집니다:

• 언어 전용 사전 훈련 (Stage I):
  • 모델은 먼저 언어 전용 사전 훈련을 통해 언어만을 사용하여 검색 기능을 개선합니다. 이를 통해 텍스트 데이터에 대한 기본적인 검색 성능을 향상시킵니다.
• 멀티모달 지침 튜닝 (Stage II):
  • 이후에는 다양한 멀티모달 검색 작업을 다룰 수 있도록 지침 튜닝을 적용합니다. 예를 들어, 이미지와 텍스트를 함께 사용하는 검색 작업에 대해 학습합니다.

이 과정에서 사용되는 훈련 목표는 대조 학습(contrastive learning)입니다. 모델은 쿼리와 해당하는 관련된 후보 간의 유사도를 측정하여 최적의 검색 성능을 얻습니다.

2. LamRA-Rank (재정렬)

검색 후에는 재정렬을 통해 후보들 간의 순위를 다시 매깁니다. LamRA는 포인트와이즈와 리스트와이즈 재정렬 방식을 제공합니다:

• 포인트와이즈 재정렬: 각 후보를 개별적으로 평가하여 관련성을 높입니다.
• 리스트와이즈 재정렬: 후보들을 그룹으로 묶어서 전체적인 관련성을 고려하여 순위를 매깁니다.

이 과정에서도 LoRA 모듈을 사용하여 모델의 효율성을 유지하면서도 성능을 극대화합니다.

3. 모델 훈련

LamRA는 LoRA 모듈을 통해 모델의 파라미터 수를 늘리지 않으면서도 검색과 재정렬 성능을 향상시킬 수 있습니다. 훈련 과정에서 모델은 대형 멀티모달 모델을 기반으로 텍스트, 이미지, 또는 텍스트-이미지 혼합 형식의 쿼리와 후보들에 대해 유사도를 계산하여 관련성 높은 결과를 도출합니다.

요약

• LamRA-Ret은 검색 기능을 강화하며, 두 단계 훈련을 통해 점진적으로 성능을 향상시킵니다.
• LamRA-Rank는 재정렬 기능을 강화하며, 포인트와이즈와 리스트와이즈 두 가지 방식으로 순위를 매깁니다.
• LoRA 모듈은 경량화된 확장 모듈로, 효율성을 높이고 모델의 성능을 개선합니다.

이 방법론을 통해 LamRA는 다양한 검색 작업을 추가 학습 없이 처리할 수 있으며, 재정렬을 통해 더욱 정확한 검색 결과를 제공합니다.