[논문리뷰]Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models (CVPR, 2026)

Shojiro Yamabe, Futa Waseda, Daiki Shiono, and Tsubasa Takahashi. 2025. Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models. arXiv:2512.03463 [cs.CV]

1. Problem Statement

이 논문은 real image가 없는 text-centric training setting에서 LVLM을 VQA task에 효과적으로 fine-tuning하는 문제를 다룬다.

입력은 textual description \(t\), query \(q\), response \(r\)로 구성된 \(D_{\text{txt}}\)이며, 목표는 real image-text pair 없이도 inference 시 image-query input에 대해 올바른 응답을 생성하도록 LVLM을 학습하는 것이다.

이 논문은 KG/Retrieval/KB를 사용하는 방식이 아니라, textual description을 visual pathway로 전달하는 Text-Printed Image (TPI)를 제안하여 raw text training의 image-text modality gap과 T2I synthetic image의 semantic fidelity 문제를 동시에 줄이려 한다.

2. Limitations of Existing Works

[Image-text instruction data construction cost] 기존 LVLM fine-tuning은 task-specific image-text instruction data를 대량으로 요구하며, web image scraping과 text pairing 같은 자동 구축 방식도 제안되었지만 specialized or niche domains에서는 privacy, scarcity, availability 문제로 적용성이 제한된다.

[Image-text modality gap in Text-only training] Text-only training은 주어진 textual description을 그대로 language input으로 사용하므로 image collection 없이 학습할 수 있지만, learned text representations와 inference 시 필요한 visual representations가 latent space에서 다른 분포에 놓인다. 이 mismatch 때문에 training loss가 감소하더라도 model이 visual input을 처리하는 방식으로 일반화되지 않아 VQA 성능 향상이 제한된다.

[Low semantic fidelity and cost of T2I-generated images] Text-to-Image (T2I) 방식은 textual description에서 diffusion model 등으로 synthetic image를 만들어 modality gap을 줄이려 하지만, 생성 이미지가 주어진 description, query, response의 의미를 충실히 반영하지 못하는 경우가 많다. 이 경우 QA pair와 충돌하는 noisy visual supervision이 생기며, 이를 줄이려면 extensive sampling과 manual verification이 필요해 text-centric training의 low-cost 장점이 약해진다.

3. Methodology

이 논문의 방법은 textual description을 plain white canvas 위에 직접 rendering한 image로 변환한 뒤, 이를 기존 LVLM의 image encoder 경로에 넣어 학습하는 Text-Printed Image (TPI)이다. Figure 1은 raw text는 modality gap을 만들고 T2I는 Q&A fidelity를 잃는 반면 TPI는 textual content를 visual pathway에 넣어 modality gap을 줄인다는 구조를 보여준다.

3.1. Problem Formulation

일반적인 LVLM은 vision encoder, projector, LLM으로 구성되며, image-query pair \((i,q)\)를 입력으로 받는다. image processor \(p_\theta(\cdot)\)는 vision encoder와 projector를 포함하며, image \(i\)를 patch 단위로 처리해 image feature \(v\)로 변환한다.

$$v = p_\theta(i)$$

이 image feature는 query qqq와 함께 LLM \(f_\phi(\cdot)\))에 입력되고, model은 response rrr에 대한 conditional distribution을 다음처럼 계산한다.

$$f_\phi\!\left(r \mid p_\theta(i), q\right).\tag{1}$$

식 (1)은 image가 있을 때 LVLM이 response rrr을 생성하는 기본 inference/training 형태이다. 여기서 \(i\)는 image, \(q\)는 query, \(r\)은 response, \(p_\theta (i)\)는 image processor가 만든 visual feature, \(f_\phi\)는 response distribution을 출력하는 LLM이다.

Text-centric training은 image \(i\)가 없고 textual description \(t\)만 있는 상황에서 LVLM을 학습하는 설정이다. 논문은 training dataset을 triplet \((t, q, r)\)로 이루어진 Dtxt\mathcal{D}_{\text{txt}}Dtxt로 정의하고, text에서 feature를 합성하는 transformation TTT를 도입한다. objective는 다음의 negative log-likelihood minimization이다.

$$\mathcal{L}(\theta,\phi) = \mathbb{E}_{(t,q,r)\sim \mathcal{D}_{\text{txt}}} \left[ -\log f_\phi\!\left(r \mid T(t), q\right) \right] \tag{2}$$

식 (2)는 textual description \(t\)를 \(T(t)\)로 변환한 뒤, query 조건에서 정답 response의 likelihood를 높이도록 학습하는 SFT objective이다.

• \(T\)가 LLM의 text encoder이면 raw Text-only training이고
• \(T(t)=p_\theta(G(t))\)이면 T2I generator \(G\)가 생성한 synthetic image를 image processor로 처리하는 Text-to-Image baseline이다.

3.2. Difficulty and Requirements

논문에서 말하는 핵심 문제는 \(T(t)\)가 textual semantics를 보존하면서도 visual representation space에 맞는 feature를 만들어야 한다는 점이다. 저자는 image-text modality gap을 textual representation과 visual representation의 latent distribution mismatch로 정의하며, raw text만으로 학습하면 inference 시 image input에 잘 일반화되지 않는다고 설명한다. 따라서 synthesized feature \(s=T(t)\)는 textual description \(t\)를 시각적으로 표현하는 hypothetical image \(i_t\)의 image feature \(v_t=f_\theta(i_t)\)와 align되는 것이 바람직하다고 둔다.

$$ s = T(t), \qquad v_t = f_\theta(i_t) $$

이 조건을 만족하기 위해 transformation \(T\)는 세 가지 요구사항을 가져야 한다.

• (R1) Compatibility with pretrained LVLMs는 특정 architecture나 visual encoding pipeline 가정 없이 기존 LVLM에 적용 가능해야 한다는 조건이다.
• (R2) Preservation of text semantics는 \(s=T(t)\)가 주어진 text \(t\)의 의미를 faithful하게 보존해야 한다는 조건이다.
• (R3) Efficiency and scalability는 text-centric training의 low-cost 장점을 유지하기 위해 \(T\)가 추가 학습이나 비싼 image synthesis pipeline에 의존하지 않아야 한다는 조건이다.

3.3. Text-Printed Images

Text-Printed Image (TPI)는 textual description을 plain white canvas에 직접 rendering하여 visual pathway로 넣는 transformation이다. 입력은 textual content \(c_i\)와 layout parameters \(\psi\)이고, deterministic renderer \(R(\cdot;\psi)\)가 이를 RGB image로 만든다. 이후 기존 image processor \(p_\theta\)가 rendered image를 visual feature로 변환한다.

$$ T_{\text{print}}(c_i) = p_\theta\!\left(R(c_i;\psi)\right). \tag{3} $$

식 (3)에서 \(R(c_i;\psi)\)는 text \(c_i\)를 font size, image size 같은 layout parameters \(\psi\)에 따라 RGB image로 rendering한 결과이고, \(p_\theta(\cdot)\)는 기존 LVLM의 image encoder와 projector로 구성된 image processor이다. 출력 \(T_{\text{print}}(c_i)\)는 LLM \(f_\phi\)에 query와 함께 입력되어 response을 생성하는 데 사용된다.

TPI의 핵심은 text를 language input으로 넣지 않고 image encoder가 처리하도록 routing하는 것이며, 이 때문에 raw Text-only training보다 image-text modality gap을 줄일 수 있다고 주장한다. 동시에 image 안에는 원문 text가 직접 들어 있으므로 T2I보다 Q&A pair에 필요한 semantics를 더 잘 보존하는 구조이다.

TPI renderer 자체는 학습되는 모듈이 아니라 deterministic, training-free module이다. TPI는 기존 visual pathway를 그대로 사용하므로 architecture-agnostic한 drop-in replacement로 제시되며, Table 1에서 Text-only, CLIP-based, Text-to-Image와 비교했을 때 Modality Gap Reduction, Compatibility, Semantic fidelity, Efficiency를 모두 만족하는 유일한 방법으로 정리된다. 실험 설정상 fine-tuning은 LoRA로 수행되며, Appendix A.2는 visual encoder를 frozen으로 두고 LLM parameters만 update한다고 서술한다.

4. Experiments

4.1. Main Results

TPI는 대부분의 모델과 task에서 Text-only와 Text-to-Image보다 높은 평균 성능을 보이며, 일부 설정에서는 GT-Image에 근접한다. 가장 큰 차이는 LLaMA Vision에서 나타나며, average score가 Text-only 58.50, Text-to-Image 60.36에서 TPI 72.27로 상승하고 GT-Image 74.43에 가까워진다. 이는 TPI가 raw text의 image-text modality gap을 줄이면서, T2I-generated image보다 Q&A에 맞는 semantic supervision을 더 안정적으로 제공한다는 결론을 뒷받침한다.

Text VQA에서는 T2I의 semantic fidelity 문제가 특히 크게 드러나며, TPI가 이 약점을 보완한다. 예를 들어 LLaMA Vision의 ChartQA score는 Text-to-Image 39.04에서 TPI 73.28로 크게 상승한다. 저자는 chart, document, infographic처럼 정확한 text rendering이 필요한 task에서 diffusion-based T2I가 주어진 description을 faithful하게 생성하지 못하기 때문에 성능이 제한된다고 해석한다.

4.2. Analysis of Representation Drift

TPI는 Text-only training이 유발하는 intermediate representation drift를 줄인다. 저자는 last token hidden state에 대해 layer-wise Centered Kernel Aalignment (CKA)를 계산하며, Text-only는 GT-Image 대비 representation shift가 크지만 TPI는 hidden state의 geometric structure를 더 잘 유지한다고 설명한다. 특히 Qwen VL처럼 score만 보면 Text-only가 강해 보이는 경우에도 internal representation drift는 크게 나타나, accuracy만으로는 modality gap의 영향을 충분히 설명하지 못한다고 본다.

4.3. Modlaity Gap Analysis

TPI는 latent feature space에서 Text-only보다 GT-Image feature에 더 가깝게 위치한다. ScienceQA에서 intermediate representation을 t-SNE로 시각화한 결과, Text-only cluster는 image feature와 분리되지만 TPI cluster는 GT-Image cluster 근처에 형성된다. 이는 TPI가 text를 visual pathway로 통과시켜 image-text modality gap을 줄인다는 주장의 qualitative evidence이다.

4.4. Relevance Beteween Question and Answer

TPI는 T2I보다 paired question-answer와의 relevance가 높다. Relevance Score는 image가 paired query와 response에 relevant한지를 Pr("Yes" | image, prompt)로 측정하며, 평균 score는 T2I 32.45에서 TPI 63.61로 상승한다. 이는 T2I-generated image가 textual description을 faithful하게 반영하지 못해 QA와 충돌할 수 있는 반면, TPI는 원문 description을 image 안에 직접 포함해 semantic fidelity를 유지한다는 결론을 지지한다.

5. Concluision

Contribution

• [Text-Printed Image (TPI)] TPI는 textual description을 plain white canvas에 rendering하여 기존 LVLM의 visual pathway로 넣는 light-weight, architecture-agnostic text-centric training 방법이다. 이 방식은 별도 architecture 변경 없이 image encoder를 사용하므로 modality gap을 줄이면서 text semantics를 보존한다.
• [Systematic evaluation across LVLMs and VQA tasks] 저자는 네 개 LVLM과 일곱 개 benchmark에서 TPI를 Text-only, Text-to-Image, GT-Image (Oracle)과 비교한다. 실험은 TPI가 benchmark score, output distribution, intermediate representation, relevance, generation cost 측면에서 Text-only와 T2I보다 효과적임을 보인다.

Limitations

• [Dependence on pretrained visual understanding] TPI는 shape, color 같은 visual properties를 text로만 제공하므로, model이 해당 visual concepts를 foundation model 단계에서 이미 어느 정도 학습했다고 가정한다. 따라서 TPI는 entirely new visual concepts를 scratch부터 가르치는 방법이 아니라, broad visual knowledge를 가진 LVLM을 task-specific capability로 specialize하는 방법이다.
• [Need for minimum OCR ability] TPI는 image 안에 들어간 text를 읽어야 하므로 최소 수준의 OCR ability가 필요하다. 저자는 OCR capability와 TPI effectiveness가 관련된다고 분석하며, TPI의 효과는 backbone이 text-in-image를 처리하는 능력에 영향을 받는다고 본다

NR 카테고리 내 다른 글 보러가기