[논문리뷰]Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs (arXiv, 2026)

Kaiser Sun, Xiaochuang Yuan, Hongjun Liu, Chen Zhao, Cheng Zhang, Mark Dredze, and Fan Bai. 2026. Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs. arXiv:2603.09095 [cs.CL]

1. Problem Statement

이 논문이 해결하려는 핵심 문제는 MLLMs가 동일한 textual content를 textual tokens로 받을 때와 image pixels로 받을 때 서로 다른, 대체로 더 낮은 성능을 보이는 “modality gap”을 진단하고 이를 줄이는 문제이다.

2. Limitations of Existing Works

[진단 없는 gap 측정 및 우회적 시스템 구축] 기존 연구는 text-versus-image gap이 존재한다는 사실을 보여주거나, screenshot language models, vision-centric tokenization처럼 visual text를 더 잘 처리하는 새 시스템을 구축하는 데 집중한다. 그러나 이러한 접근은 현재 MLLM에서 왜 gap이 발생하는지, visual input이 언제 도움이 되고 언제 방해가 되는지, 그리고 minimal intervention으로 gap을 어떻게 줄일 수 있는지를 체계적으로 설명하지 못한다.

[랜더링된 텍스트 이미지 중심 평가의 혼돈] 기존 visual text 평가는 거의 대부분 랜더링된 텍스트 이미지에 의존하며, 이것이 rendering artifacts를 genuine perceptual deficits로 오인하게 만들 수 있다고 지적한다. 즉 기존 평가는 텍스트를 이미지로 만든 뒤 성능 저하를 측정하지만, 그 이미지가 실제 문서, 웹페이지, PDF와 같은 real-world visual text distribution을 반영하는지 충분히 검증하지 않는다.

3. Methodology

논문에서는 동일한 input context를 다섯 개의 Input modality (Pure Text , Pure Image , Instr. + Image , OCR-1P , OCR-2P )로 변환해 MLLM의 text-image modality gap을 진단하고, error analysis로 원인을 식별한다. 이후 self-distillation으로 image-mode reasoning을 복원하는 diagnostic-and-repair 파이프라인을 제안한다.

• 입력: 각 벤치마크의 원래 textual task instance이고,
• 출력: 벤치마크별 prediction이다.

3.1. Input Modality Construction

Input Modality Construction은 동일한 문제 내용을 다섯 input modes로 변환해, 성능 차이가 content 차이가 아니라 modality 차이에서 발생하도록 통제하는 단계이다.

• 입력은 question, answer options, passages, function signatures, document context와 같은 원래 textual content
• 출력은 Pure Text, Pure Image, Instr.+Image, OCR-1P, OCR-2P 형태의 model query

이 단계는 deterministic 또는 dataset-specific preprocessing이며, 생성된 query는 이후 MLLMs에 그대로 입력된다.

• Pure Text는 기준 modality이다. 모델은 원래 textual content만 입력으로 받으며, 필요한 경우 task instruction이 앞에 붙는다.
• Pure Image는 Pure Text와 동일한 textual content를 image pixels로 변환하는 modality이다. 이 단계의 출력은 image-only input이며, 모델은 text token으로 된 문제 본문을 직접 받지 않고 image 내부의 visual text를 읽어 task를 수행해야 한다.
• Instr.+Image는 task instruction과 example content의 modality를 분리하는 setting이다. 입력은 text로 제공된 instruction과 image로 제공된 example content이고, 출력은 일반 task prediction이다.
• OCR-1P는 one-pass setting이다. 모델은 image를 입력받고, instruction에 따라 먼저 image 내부의 모든 text를 extract한 뒤 같은 inference pass 안에서 task를 풀어야 한다.이 setting은 reading과 reasoning이 한 출력 안에서 결합되어 있으므로, explicit OCR prompting이 downstream task performance를 개선하는지 확인하는 역할을 한다.
• OCR-2P는 two-pass setting이다. 첫 번째 pass에서 모델은 image를 입력받고 text extraction만 수행한다. 두 번째 pass에서는 첫 번째 pass의 extracted text를 새 Pure Text query로 모델에 다시 입력해 task를 해결한다. 이 setting의 목적은 vision-based text extraction과 downstream reasoning을 분리하는 것이다.

3.3. Experiment Setting

입력은 앞 단계에서 생성된 Pure Text, Pure Image, Instr.+Image, OCR-1P, OCR-2P query이며, 출력은 accuracy 또는 pass@1 같은 benchmark score이다. 평가 모델은 Qwen2.5-VL 7B/32B, Qwen3-VL-8B, InternVL3-8B, InternVL3.5-8B, Pixtral-12B, GPT-5.2이다. open-source models는 ViT-based visual encoder가 image를 visual tokens로 변환하고 autoregressive LLM decoder로 전달하는 구조를 사용한다.

4. Experiments

4.1. Modality Gap on Synthetic and Natural Images

Synthetic-image datasets에서는 **modality gap이 task에 따라 크게 달라지며, GSM8K에서 가장 크게 나타난다.

• MMLU와 GPQA는 대부분의 모델이 Pure Text에서 가장 높고 Pure Image는 대체로 1–8 points 낮다.
• ARC는 gap이 작아 Qwen2.5-VL-7B가 Pure Image 89.42%를 기록하고 InternVL3.5-8B는 text baseline과 동일하다.
• 반면 GSM8K에서는 Qwen3-VL-8B가 Pure Text 93.56에서 Pure Image 30.71로 크게 하락해, multi-step math reasoning에서 image input의 영향이 가장 크다는 점을 보여준다.

• QASPER는 거의 모든 모델이 Pure Text보다 Pure Image 또는 Instr.+Image에서 높고, GPT-5.2는 51.92에서 77.25로 상승한다. 저자는 이를 real PDF images가 document-heavy pretraining data와 더 잘 맞기 때문일 가능성으로 설명한다.
• SQuAD v2는 model-dependent하며, Qwen2.5-VL-7B는 image input에서 이득을 보지만 GPT-5.2는 큰 하락을 보인다.
• 저자는 QASPER와 SQuAD를 synthetic rendering으로 바꾸면 natural images보다 낮아진다는 sanity check를 통해, gain이 image modality 자체가 아니라 realistic visual distribution에서 온다고 해석한다.

4.2. Image Recognition Cannot Fully Explain the Modality Gap

OCR settings는 modality gap이 단순 recognition failure가 아님을 보여준다. OCR-1P는 많은 model과 dataset에서 catastrophic failure를 보이지만, OCR-2P는 일부 task에서 성능을 회복한다. 예를 들어 InternVL3-8B는 GSM8K에서 Pure Image 42.53에서 OCR-2P 87.87로 상승한다. 그러나 OCR-2P는 code generation에서 indentation, alignment, whitespace 같은 structural cues를 제거해 성능을 망칠 수 있으므로, 전체 OCR quality보다 task-critical structure가 중요하다.

OCR quality와 task accuracy의 약한 상관도 같은 결론을 뒷받침한다. 저자는 OCR-2P의 WER와 Pure Image accuracy 사이 correlation을 0.238로 보고하며, 이는 OCR error가 일부 영향을 주지만, modality gap은 recognition만으로 결정되지 않는다는 의미이다.

4.3. Rendering Choices Confound Visual Evaluation

[Figure 3] Font choice는 visual text evaluation의 강한 confound이다. 저자는 default, inverted colors, monospaced, handwriting rendering을 비교하며, font만으로 accuracy가 최대 47 percentage points까지 달라질 수 있음을 보인다. 특히 handwriting은 가장 큰 degradation을 만들며, 이는 out-of-distribution visual style이 성능을 크게 흔들 수 있음을 의미한다.

[Figure 4] Resolution도 성능을 크게 바꾼다. 대부분의 모델은 0.50×–1.0× resolution에서는 안정적이지만 그보다 낮아지면 sharply degrade된다. InternVL3.5는 Visual Resolution Router 덕분에 resolution-invariant한 모습을 보이며, 저자는 font, color, resolution을 benchmark 결과와 함께 보고해야 한다고 결론낸다.

5. Analysis

Error Analysis는 accuracy drop의 원인을 error type으로 설명하기 위한 grounded-theory 분석이다. 저자는 Pure Text, Pure Image, Instr.+Image에서 발생한 errors를 open coding, constant comparison, axial coding으로 분류하고, 총 4,195 errors across 33 model–dataset pairs를 분석한다.

5.1. Error Taxonomy and Findings

[Figure 6a] 핵심 결과는 image mode가 reasoning capability를 없애기보다 reasoning chain을 덜 유발한다는 점이다. Qwen3-VL-8B는 text mode에서 평균 618 characters를 생성하지만 image mode에서는 32 characters만 생성한다. 동시에 Calculation / Mathematical Error는 text mode 11.1%에서 image mode 16.7%로 증가하고, Format Error도 5.9%에서 8.0%로 증가한다. 이는 image input이 knowledge나 logic 자체보다 step-by-step reasoning process를 suppress한다는 해석으로 이어진다.

[Figure 6b] Dataset별 error profile은 task 요구에 따라 다르다. GSM8K는 calculation failures가 지배적이어서 reasoning collapse의 영향이 가장 직접적으로 나타난다. ARC, GPQA, MMLU는 knowledge-intensive task라 Conceptual / Factual Recall Error가 많고, HumanEval은 incomplete response와 format error가 두드러져 code generation이 truncation과 formatting에 민감함을 보여준다.

5.2. Bridging the Modality Gap via Self-Distillation

Self-distillation은 image input에서도 text-mode reasoning traces를 생성하도록 학습시키는 방법이다. 저자는 GSM8K와 MMLU에서 Pure Text mode의 correct reasoning traces를 수집하고, 이를 corresponding Pure Image input과 pair로 만들어 LoRA fine-tuning한다. 학습은 language model에만 적용하고 vision encoder는 freeze한다.

Self-distillation은 modality gap을 크게 줄인다. Qwen3-VL-8B + GSM8K에서 image-mode accuracy는 30.71에서 92.72로 상승하고,

∆

는 62.85에서 1.37로 감소한다. InternVL3-8B도 GSM8K에서 42.53에서 90.14로 상승해, text-mode reasoning traces가 image-mode reasoning을 복원할 수 있음을 보여준다.

Held-out benchmark 결과는 self-distillation이 task-specific shortcut만 학습한 것이 아님을 시사한다. InternVL3-8B를 GSM8K로 학습하면 MMLU image-mode accuracy가 33.93에서 68.00으로 상승한다. 또한 MMMU-Pro 성능이 largely stable하게 유지되어, 저자는 catastrophic forgetting 없이 general visual-text alignment가 개선된다고 해석한다.

Ablation은 LM-only adaptation이 핵심임을 보여준다. Qwen3-VL-8B + GSM8K에서 LM-only는 image accuracy 92.72로 ViT+LM 92.57과 거의 같고, ViT-only 85.29보다 높다. filtered traces와 unfiltered traces의 차이는 작아, 저자는 perfect correctness보다 reasoning structure가 중요할 수 있다고 해석한다.

6. Conclusion

Contribution

• [Comprehensive Evaluation] seven models, seven benchmarks, five input modes로 modality gap을 평가하고, gap이 task와 data distribution 및 rendering choices에 크게 좌우됨을 보인다.
• [Reasoning Collapse Diagnosis] 4,000개 이상의 errors를 분석해 image mode의 핵심 문제가 perception failure가 아니라 step-by-step reasoning을 덜 유발하는 현상임을 보인다.
• [Self-distillation Remedy] text-mode reasoning traces를 image inputs와 pair로 학습하는 lightweight self-distillation으로 architectural changes나 external data 없이 gap을 줄인다.

Limitations

• Scope Limitation 평가는 일부 MLLMs와 reasoning-intensive benchmarks에 한정되므로, 다른 architecture나 visual grounding, multi-image reasoning으로 일반화되는지는 별도 검증이 필요하다.

NR 카테고리 내 다른 글 보러가기