ReWind: Understanding Long Videos with Instructed Learnable Memory

ReWind는 긴 비디오를 효율적으로 이해하면서 시간적 일관성을 유지할 수 있도록 설계된 메모리 기반 비전-언어 모델(VLM)입니다. 주요 내용은 다음과 같습니다.

Motivation (동기)

ReWind의 주된 동기는 긴 비디오를 처리하는 기존 비전-언어 모델(VLMs)의 한계를 극복하는 것입니다. 기존 모델들은 다음과 같은 문제를 겪습니다:

• 계산 비효율성: 긴 비디오는 self-attention 메커니즘이 토큰 수에 따라 제곱 비례로 메모리를 요구하여 처리에 비효율적입니다.
• 메모리 제한: 긴 비디오는 많은 시각적 정보를 담고 있어 중요한 세부 정보를 장기적으로 기억하고 호출하는 데 어려움이 있습니다.
• 시간적 이해 부족: 긴 비디오에서 일관된 시간적 이해를 유지하는 데 어려움이 있습니다.

ReWind는 동적 학습 가능한 메모리를 도입하여 이러한 문제를 해결하고 시간적 일관성을 유지하면서 효율적으로 긴 비디오를 처리할 수 있게 합니다.

Methodology (방법론)

ReWind는 두 단계 프레임워크를 사용합니다:

1. Stage-1: Read-Perceive-Write Cycle:
   • Read Operation: 학습 가능한 쿼리를 사용해 메모리 뱅크에서 관련된 컨텍스트를 추출합니다.
   • Perceive Operation: Perceiver block는 시각적 정보와 텍스트 입력을 연결하여 현재 비디오 프레임을 처리하는 데 사용됩니다.
   • Write Operation: 처리된 프레임을 메모리 뱅크에 효율적으로 저장합니다.
2. Stage-2: Dynamic Frame Selection (DFS):
   • 이 단계는 메모리를 사용하여 중요한 순간을 선택합니다. 이 선택 메커니즘은 모든 프레임을 처리하는 대신 사용자 지시에 맞는 핵심 순간에 집중할 수 있게 합니다.
   • 프레임 선택 과정: 두 가지 하위 단계 지시 기반 선택(사용자 쿼리에 맞는 프레임 선택)과 클러스터링(핵심 순간을 식별)으로 구성됩니다.

예시: 요리 비디오를 처리하는 경우

1. 비디오 쪼개기:
   • 예를 들어, 요리하는 과정을 보여주는 10분짜리 비디오가 있다고 합시다.
   • ReWind는 이 10분짜리 비디오를 여러 개의 서브 클립으로 나눕니다. 예를 들어, 각 서브 클립은 1분씩 나뉠 수 있습니다.
   • 즉, 비디오는 10개의 서브 클립(각각 1분씩)으로 분할됩니다.
2. 프레임 처리:
   • 각 서브 클립에서 프레임을 하나씩 분석합니다. 예를 들어, 첫 번째 서브 클립에서는 1분 분량의 비디오에서 30개의 프레임을 뽑아서 처리합니다.
   • 이 각 프레임에서 시각적 특징을 추출하고, 이를 토큰 형태로 변환하여 메모리에 저장합니다.
3. 메모리 모듈:
   • 예를 들어, 첫 번째 서브 클립에서 프라이팬에 기름을 두르고, 고기를 굽는 장면이 나온다고 합시다.
   • ReWind는 이 중요한 순간들을 메모리 뱅크에 저장하고, 이 정보를 다음 서브 클립에서도 활용할 수 있도록 합니다.
   • 이렇게 저장된 정보는 시간적 일관성을 유지하면서 점진적으로 업데이트됩니다.
4. 동적 프레임 선택 (DFS):
   • 중요한 순간(예: 고기를 굽는 장면)을 선택적으로 처리합니다. 예를 들어, 고기가 구워지는 장면은 중요하므로 이 장면의 프레임을 선택하여 고해상도로 저장합니다.
   • 나머지 덜 중요한 장면(예: 재료 준비 과정)은 상대적으로 낮은 해상도로 저장하거나, 아예 저장하지 않을 수도 있습니다.
5. 대형 언어 모델(LLM) 입력:
   • 사용자가 "고기는 언제 구워지나요?"라고 물어보면, ReWind는 메모리 모듈과 선택된 프레임을 기반으로 정확한 시간대(예: "고기가 구워지는 장면은 2분 30초부터 3분까지 발생합니다.")를 언어 모델에 전달하고, 이를 통해 답변을 생성합니다.

이런 방식으로 ReWind는 효율적으로 비디오를 이해하고, 필요한 정보만을 선택적으로 처리하여 답변을 생성하는 방식입니다.

 

Novel Read-Perceive-Write Cycle은 ReWind 모델의 핵심적인 기능으로, 긴 비디오를 처리할 때 효율적이고 일관된 정보를 저장하고 업데이트할 수 있도록 설계된 메모리 관리 방식입니다. 이 사이클은 다음과 같은 3단계로 구성됩니다:

1. Read (읽기)

• 목적: 이미 저장된 메모리에서 이전의 정보를 읽어옵니다.
• 예시: 비디오에서 이전에 발생한 이벤트(예: "고기를 굽기 시작한 시간")에 대한 정보를 불러옵니다.
• 작동 방식: ReWind는 학습 가능한 쿼리를 사용하여 메모리에서 중요한 과거의 정보를 읽어옵니다. 이 과정에서 메모리 뱅크에 저장된 이전의 시간적 정보와 비주얼 특징을 가져옵니다.

2. Perceive (인식)

• 목적: 새로 들어온 비디오 프레임을 처리하여 과거의 정보와 현재 정보를 결합합니다.
• 예시: 새로운 고기 굽기 장면을 처리하면서, 과거에 고기를 굽기 시작한 시간을 메모리에서 읽어온 정보와 연결합니다.
• 작동 방식: ReWind는 Perceiver block을 사용하여 시각적 특징과 텍스트 지시사항을 결합하여 새로운 입력을 처리합니다. 이 단계에서 과거의 정보(예: 고기가 굽히기 시작한 시간)와 현재 프레임을 결합하여 시간적 일관성을 유지합니다.

3. Write (쓰기)

• 목적: 새로 처리한 정보를 메모리에 저장하여 이후에 사용할 수 있도록 합니다.
• 예시: "고기가 구워지는 장면"에 대한 시간적 정보와 시각적 특징을 메모리에 기록하여, 이후 질문이 들어왔을 때 정확한 답변을 제공할 수 있게 합니다.
• 작동 방식: ReWind는 학습 가능한 쓰기 쿼리를 사용하여 처리된 정보를 메모리에 저장합니다. 이 정보는 시간적 일관성을 유지하면서 점진적으로 업데이트됩니다.

 

Results (결과)

ReWind는 긴 비디오에 대한 벤치마크에서 뛰어난 성과를 보입니다:

• Visual Question Answering (VQA): MovieChat-1K 데이터셋에서 ReWind는 정확도에서 +13%, 점수에서 +12% 향상되었습니다.
• Temporal Grounding: Charades-STA 데이터셋에서 +8% mIoU 향상되었습니다.

이 결과는 ReWind가 긴 비디오를 처리하는 데 있어 시간적 관계와 콘텐츠 이해를 효율적으로 유지하면서 다른 모델들보다 뛰어난 성능을 발휘함을 보여줍니다.

Conclusion (결론)

ReWind의 두 단계 프레임워크와 혁신적인 메모리 모듈은 기존 VLM 접근 방식의 한계를 극복하며, 긴 비디오를 효과적으로 처리할 수 있게 해줍니다. 특히 시간적 일관성을 유지하고 사용자 지시에 맞는 중요한 정보를 집중적으로 처리할 수 있어 VQA와 temporal grounding와 같은 작업에서 높은 성능을 자랑합니다.