Meaningful

Meaningful

Greeting :)

[논문리뷰]Knowledge-based Visual Question Answering with Multimodal Processing, Retrieval and Filtering (NeurIPS, 2025)

Date:     Updated:

카테고리:

Yuyang Hong, Jiaqi Gu, Qi Yang, Lubin Fan, Yue Wu, Ying Wang, Kun Ding, Shiming Xiang, and Jieping Ye. 2026. Knowledge-based Visual Question Answer with Multimodal Processing, Retrieval and Filtering. In The Thirty-ninth Annual Conference on Neural Information Processing Systems.

1. Problem Statement

1

Wiki-PRF는 외부 Wikipedia knowledge base (KB)를 사용하는 KB-VQA task를 해결하는 방법론을 제안하며, 구체적으로 질문과 관련된 시각 단서를 더 정확히 추출하고 검색 결과의 irrelevant information을 줄여 최종 answer quality를 높이는 문제를 다룬다.

  • 입력: reference image \(I\), question \(Q\), 그리고 entity article과 image set으로 구성된 knowledge base \(KB \in \{(a_1, I_1), ..., (a_n, I_n)\}\)이다.
  • 출력: question에 대한 최종 answer \(A\)이다.

논문은 외부 지식을 사용하며, 단순히 image 전체로 article을 검색하는 기존 multimodal RAG보다, VLM-PRF가 tool을 호출해 query를 가공하고, Wikipedia article-level retrieval 이후 section-level textual unit을 선별하며, 마지막으로 retrieved information을 question-specific하게 filtering하여 answer generator에 제공하는 것을 목표로 한다.



2. Limitations of Existing Works

[Coarse Retrieval] 기존 retrieval-augmented KB-VQA 방법들은 주어진 image 또는 question을 그대로 사용하거나 full-image visual features에 의존해 knowledge를 검색한다. 이 방식은 information-rich image에서 질문이 요구하는 작은 대상보다 더 큰 시각 요소가 retrieval을 지배할 수 있다. KB-VQA에서는 answer가 특정 visual entity와 외부 factual knowledge의 결합에 의존하므로, fine-grained target을 놓치면 이후 reranking과 generation이 올바른 evidence를 받기 어렵다.

[Noise Evidence] 기존 방법들은 retrieval 이후 paragraph reranking 또는 article/section-level reranking으로 더 관련 있는 passage를 선택하려고 한다. 그러나 검색된 결과에서는 irrelevant 또는 low-quality content가 많이 포함되며, paragraph-level reranking만으로는 answer에 필요한 핵심 정보만 남기기 어렵다.



3. Methodology

1

Wiki-PRF는 Processing Stage, Multimodal Retrieval Stage, Filtering Stage로 구성된 three-stage multimodal RAG framework이다. Processing Stage는 VLM-PRF가 tool을 선택해 retrieval query Query를 만들고, Retrieval Stage는 original image와 tool outputs로 Wikipedia article 및 section-level textual unit을 검색하며, Filtering Stage는 retrieved information을 question-specific하게 압축해 task-oriented knowledge F를 생성한다.

3.1. Processing Stage

Processing Stage는 raw image와 question을 retrieval-friendly multimodal query로 바꾸는 단계이다. 입력은 I와 Q이고, 출력은 caption query, cropped image, flipped image 등 tool outputs를 포함하는 Query이다. VLM-PRF는 <think> 안에서 tool 사용 전략을 추론하고, <tool> 안에 captioning, grounding, flipping의 호출 순서를 출력한다.

  • Captioning: image를 question 맥락에 맞는 textual query로 바꾸는 tool이다. VLM-PRF가 만든 initial caption을 VLM-base가 보완해 retrieval에 사용할 final caption을 생성한다.
  • Grounding: question과 관련된 핵심 visual subject를 찾아 image 내 region of interest를 좁히는 tool이다. VLM-PRF가 지정한 object의 위치를 VLM-base가 찾고, 해당 영역을 crop해 retrieval input으로 만든다.
  • Flipping: reference image를 left-right inversion하여 image orientation 변화가 retrieval에 주는 영향을 줄이는 tool이다. 생성된 flipped image는 다른 tool output들과 함께 Query로 모여 refined retrieval에 사용된다

Captioning tool은 다음 수식으로 정의된다.

$$C_{query} = \mathrm{VLM}_\text{captioning}(C_{init}, Q) \tag{1} $$

여기서 \(C_{init}\)은 VLM-PRF가 생성한 initial caption이고, VLM_captioning은 VLM-base가 수행하는 captioning tool이며, \(C_{query}\)는 retrieval에 사용되는 final caption이다. 이는 기존 image의 임베딩만으로는 부족한 retrieval signal을 추가하기 위해 사용된다. Grounding tool은 다음 수식으로 정의된다.

$$ I_\text{grounding} = \text{Crop}(I, \mathrm{VLM}_\text{grounding}(\text{object})) \tag{2} $$

여기서 object는 VLM-PRF가 지정한 question-relevant subject이고, \(VLM_\text{grounding}\)은 해당 object의 positional information을 반환한다. Crop은 이 위치 정보를 기준으로 \(I\)를 잘라 \(I_\text{grounding}\)을 생성한다. \(I_\text{grounding}\)은 이후 visual retrieval input으로 사용되어 작은 대상이나 distractor가 있는 image에서 retrieval focus를 좁힌다.

3.2. Multimodal Retrieval Stage

1

전체 검색 과정을 High-level로 설명하면

  1. [Query augmentation] VLM-PRF는 image와 question을 보고 captioning, grounding, flipping 중 필요한 tool을 선택한다. 이 단계의 목적은 raw image만으로 검색하는 대신, question-relevant한 visual/textual retrieval query를 만드는 것이다.
  2. [Direct image retrieval] 원본 image 자체로도 먼저 Wikipedia KB에서 관련 article을 검색한다. 이 결과는 이후 tool-based retrieval 결과와 함께 filtering stage에 전달되는 base retrieval information이다.
    • [Grounding-based retrieval] Grounding은 question과 관련된 핵심 object 또는 region을 찾고, 해당 영역을 crop한 image를 retrieval query로 사용한다. 이 cropped image를 기반으로 visual vector index에서 유사한 KB image와 연결된 Wikipedia article을 검색한다.
    • [Captioning-based retrieval] Captioning은 question 맥락에 맞게 image를 textual description으로 바꾼다. 이 caption query를 사용해 visual-textual retrieval을 수행하고, 관련 KB image 및 연결된 Wikipedia article을 검색한다.
    • [Article-to-section selection] Tool별로 검색된 Wikipedia articles는 article 전체를 그대로 쓰지 않고, 내부 section-level textual unit으로 나뉜다. 이후 query와 더 관련 있는 sections를 선택해 tool search result로 구성한다.
    • [Concatenation of tool results] Grounding, captioning, flipping 등 각 tool에서 얻은 section-level results를 합쳐 하나의 search result로 만든다. 이 결과는 direct image retrieval 결과와 함께 다음 filtering stage의 입력이 된다.
    • [Filtering into task-oriented knowledge] VLM-PRF는 direct retrieval 결과와 tool-based section results를 읽고, question에 답하는 데 필요한 정보만 남긴다. 이 단계는 최종 \(k\)개 문서를 선택하는 것이 아니라, retrieved information을 compact한 task-oriented knowledge로 압축하는 단계이다.

Multimodal Retrieval Stage는 original image와 tool-generated Query를 사용해 KB에서 relevant article과 section-level textual unit을 찾는 단계이다. 먼저 \(I\)로 가장 관련 있는 article을 검색하여 base retrieval information \(D\)를 만든다. 이후 Query를 EVA-CLIP feature extractor \(\Phi\)로 임베딩하고, KB 내 image 임베딩과 유사도를 계산해 top-\(k_D\) article-image pairs를 검색한다.

Multimodal Retrieval Stage

는 original image retrieval과 tool-based retrieval을 결합해 KB에서 relevant information을 찾는 단계이다. 먼저 original image \(I\)로 검색하여 base retrieval information \(D\)를 얻는다. 이후 VLM-PRF가 생성한 tool-based Query, 즉 caption query, grounded image, flipped image 등을 EVA-CLIP feature extractor \(\Phi\)로 임베딩하고, KB image embeddings와 유사도를 계산해 top-\(k_D\) article-image pairs를 검색한다. 이렇게 얻은 tool-retrieved articles는 section-level textual unit으로 나뉘고, query와의 유사도를 기준으로 relevant sections가 선택되어 \(S_\text{search}\)를 구성한다. 마지막으로 \(D\)와 \(S_\text{search}\)는 Filtering Stage에 전달된다.

\[S^D_\text{tool} = \max_k \left\{ \left\langle \frac{T}{\|T\|} \cdot \frac{V_i}{\|V_i\|} \right\rangle, \; i = 1, \ldots, n \right\} \tag{3}\] \[(A, I)_\text{tool} = \{(A_i, I_i),\; i \in S^D_{tool}\} \tag{4}\] \[T= \Phi(Query), \quad V_i = \Phi(I_i) \tag{5}\]

이 수식은 tool output Query의 임베딩 \(T\)와 KB image 임베딩 \(V_i\) 사이의 유사도를 계산해 top-\(k_D\) article 후보를 선택한다.

Retrieval granularity는 먼저 Wikipedia entry/article 단위이고, 이후 검색된 article \(A\)를 section으로 분할한다. 여기서 section은 Wikipedia article 내부의 section-level textual unit이다. Section-level selection은 검색된 article에서 파생된 후보 section들를 다시 선택하는 단계이다. Captioning의 경우 Query와 section 사이 유사도를 계산하고, grounding의 경우 question embedding \(T^′\)와 section embedding 사이 유사도를 계산한다.

\[A_i = \{s^i_1, s^i_2, \ldots, s^i_m\}, \quad i = 1, \ldots, k_s \tag{6}\] \[S^s_\text{tool} = \max_{k_s} \left\{ \left\langle \frac{T'}{\|T'\|} \cdot \frac{\Phi(s^j_i)}{\|\Phi(s^j_i)\|} \right\rangle \;\middle|\; i = 1, \ldots, m; \; j = 1, \ldots, k_s \right\} \tag{7}\]

여기서 \(s_i^j\)는 \(i\)-th article의 \(j\)-th section을 의미한다. \(S_\text{tool}\)은 해당 tool이 반환한 top-\(k_s\) sections이고, 여러 tool의 \(S_\text{tool}\)을 concat하여 \(S_\text{search}\)를 만든다. \(S_\text{search}\)는 direct image 검색 결과 \(D\)와 함께 Filtering Stage의 입력으로 전달된다.

3.3. Filtering Stage

Filtering Stage는 retrieved information에서 answer generation에 필요한 task-oriented knowledge만 남기는 단계이다. 입력은 \(D, S_\text{search}, Q\)이고, 출력은 filtered knowledge \(F\)이다. VLM-PRF는 \(D\)와 \(S_\text{search}\)를 읽고 <think> 안에서 reasoning한 뒤, <answer> 안에 filtered knowledge \(F\)를 생성한다. 이후 VLM은 \(F\)와 \(Q\)를 사용해 최종 answer \(A\)를 생성한다.

$$ \begin{aligned} F &= \mathrm{VLM\text{-}PRF}(D, S_{search}) \\ A &= \mathrm{VLM}(F, Q) \end{aligned} \tag{8--9} $$

이 단계는 article-level 또는 section-level reranking 이후에도 남는 irrelevant information을 question-specific하게 줄이기 위한 learned filtering module이다.

3.4. Training Objective

논문은 GRPO를 사용하되 KL divergence constraint를 제거한다. Objective는 \(G\)개의 responses와 각 response의 token positions에 대해 clipped policy ratio objective를 평균내는 방식이다.

$$ \begin{aligned} J(\theta) = \mathbb{E}_{q \sim P(Q), \{o_i\}_{i=1}^{G} \sim \pi_{\theta old}(O|q)} \Bigg[ \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min \Big( & r_{i,t}(\theta)\hat{A}_{i,t}, \\ & clip(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_{i,t} \Big) \Bigg] \end{aligned} \tag{10} $$
$$ r_{i,t}(\theta) \frac{ \pi_{\theta}(o_{i,t} \mid q, o_{i,<t}; R(q)) }{ \pi_{\theta old}(o_{i,t} \mid q, o_{i,<t}; R(q)) } \tag{11} $$
  • \(o_i\)는 question q에 대해 old policy가 생성한 \(i\)-th response
  • $$ o_i $$는 response length
  • \(r_i,t(\theta)\)는 current policy와 old policy의 token probability ratio
  • \(R(q)\)는 retrieved information

Reward function은 answer accuracy와 format consistency를 함께 반영한다.

$$ r_{\phi}(x,y) = \alpha EM(a_\text{pred}, a_\text{gt}) + \beta M(a_\text{tool}, t_\text{tool}) + \gamma M(a_\text{filter}, t_\text{filter}) $$
$$ M(x,y) = \begin{cases} 1, & \text{if match} \\ 0, & \text{if unmatch} \end{cases} \tag{13} $$

EM은 predicted answer \(a_\text{pred}\)와 ground truth \(a_\text{gt}\)의 exact matching 기반 answer reward이고, \(M\)은 regular expression matching으로 format compliance를 확인하는 함수이다. \(a_\text{tool}\)과 \(a_\text{filter}\)는 각각 processing stage와 filtering stage의 model outputs이고, \(t_\text{tool}\)과 \(t_\text{filter}\)는 tool usage와 filtering templates이다. 이 reward는 <think>, <tool>, <answer> 형식 유지와 answer correctness를 동시에 강화한다.



4. Experiments

4.1. Main Results

1

VQA Results는 Wiki-PRF가 KB-VQA answer quality를 높인다는 핵심 결과를 보여준다. VLM-PRF (Ours) Qwen-2.5VL-7B는 E-VQA All에서 36.0, InfoSeek All에서 42.8을 기록해 ReflectiVA와 MMKB-RAG보다 높은 결과를 보인다. VLM-PRF (w/o RL) 7B의 InfoSeek All 39.5가 RL 후 42.8로 상승하므로, 성능 향상이 three-stage pipeline뿐 아니라 RL로 학습된 tool use와 filtering에서 나온다는 해석을 뒷받침한다.

4.2. Ablation Study

1

Modules and Tools ablation은 Processing, Retrieval, Filtering과 개별 tools의 기여를 분리한다. Full Multi-Tools 설정은 39.48로 가장 높고, filtering을 추가하면 36.76에서 39.48로 상승한다. Tool ablation에서는 Captioning 단독이 38.18로 Grounding 단독 37.22보다 높지만, Multi-Tools가 가장 높다. 이는 captioning이 강한 retrieval signal을 제공하되, 최종 성능은 multiple tools와 filtering을 결합할 때 가장 좋다는 결론으로 연결된다.

  • [Modules Ablation] Processing을 제외한 것이 Filtering을 제거했을 때보다 성능이 더 많이 감소함
  • [Tools Ablation] Tool에서 Grounding만 사용한 것, 즉 Captioning을 사용하지 않을 경우 성능이 가장 감소함

4.3. Latency Analysis

1

Table 11에서는 VLM-PRF-7B의 total inference time이 8.77s이고, Processing & Retrieval 및 Filtering이 Answering보다 오래 걸려 tool invocation과 long-text processing이 cost가 크다는 사실을 보여준다.



5. Conclusion

Contribution

  • [Processing-Retrieval-Filtering framework] Wiki-PRF는 KB-VQA를 위한 three-stage RAG framework이다. Processing Stage에서 visual tools로 raw image와 question을 retrieval-friendly query로 바꾸고, Retrieval Stage에서 article-level retrieval과 section-level selection을 수행하며, Filtering Stage에서 retrieved knowledge를 task-oriented하게 압축한다.
  • [VLM-PRF with reinforcement learning] 논문은 VLM-PRF를 reinforcement learning으로 학습해 reasoning, tool invocation, retrieved information filtering을 강화한다.

Limitations

  • [Limited tools] 저자들이 Conclusion에서 명시한 한계는 본 연구가 captioning, grounding, flipping의 세 가지 retrieval tools에 제한되어 있다는 점이다.
  • [Inference overhead] Table 11의 Inference Time 분석에서 Processing & Retrieval과 Filtering은 Answering보다 더 많은 시간을 사용한다.

NR 카테고리 내 다른 글 보러가기

댓글 남기기

최근 글 10 개 :)