[논문리뷰]Retrieval-Augmented Machine Translation with Unstructured Knowledge (EMNLP findings, 2025)

Jiaan Wang, Fandong Meng, Yingxue Zhang, and Jie Zhou. 2025. Retrieval-Augmented Machine Translation with Unstructured Knowledge. In Findings of the Association for Computational Linguistics: EMNLP 2025, Christos Christodoulopoulos, Tanmoy Chakraborty, Carolyn Rose, and Violet Peng (Eds.). Association for Computational Linguistics, Suzhou, China, 5858–5871.

1. Problem Statement

이 논문은 multilingual unstructured documents를 활용하는 retrieval-augmented MT를 다룬다. 구체적으로, English source sentence를 Chinese 또는 German으로 번역할 때 source/target language뿐 아니라 third language로 작성된 Wikipedia document도 활용할 수 있는 LLM을 학습하고 평가한다. 이를 위해 저자들은 벤치마크 데이터셋 (RAGtrans)을 구축하고, LLM이 multilingual document의 정보를 추출하고 관련성을 판단하도록 학습하는 multi-task training을 제안한다.

RAGtrans 벤치마크의 목적은 LLM이 relevant multilingual knowledge를 번역에 반영하면서도 irrelevant 또는 noisy document에 의해 번역 품질이 훼손되지 않도록 retrieval-augmented MT (machine translation) ability를 학습하는 것이다.

2. Limtations of Existing Works

[비정형 지식 배제] 기존 RAG기반 기계 번역 (MT, Machine Translation)은 주로 bilingual문장쌍에서 유사한 번역 예시를 검색하거나, 지식 그래프에서 관련 트리플을 가져와 번역에 활용한다. 그러나 실제 세계 지식의 상당 부분은 이러한 형태가 아니라 비정형 문서에 기록되어 있다. 또한 같은 지식이 모든 언어에 존재하지 않고 언어별 문서 내용도 서로 다를 수 있으므로, 기존 방식은 원문이나 번역문 언어 밖에 존재하는 유용한 정보를 활용하기 어렵다. 이는 추가 지식이 필요한 문장의 정확한 번역을 제한한다.

[벤치마크 부재] 기존 데이터셋은 원문과 다국어 비정형 문서를 함께 입력받아 번역하는 능력을 학습하고 평가하도록 구성되어 있지 않다. 따라서 모델이 관련 문서의 정보를 실제로 번역에 반영할 수 있는지, 다른 언어로 작성된 지식도 활용할 수 있는지를 체계적으로 검증하기 어렵다.

3. Construct RAGtrans Benchmark Dataset

RAGtrans는 Wikipedia page의 lead paragraph를 knowledge-intensive source sentence로 사용하고, 동일 page 또는 parallel-language page의 후속 paragraphs를 relevant document로 구성한다. English Wikipedia document는 다음과 같이 정의된다.

$$D^{en} = \Big\{ p_1^{en}, p_2^{en}, \dots, p_{|D|}^{en} \Big\}$$

여기서 \(p_i^{en}\)는 문서 \(D^{en}\)의 \(i\)번째 paragraph이다. \(p_1^{en}\)을 source sentence \(s\)로 사용하며, 나머지 문서들 \(\{ p_2^{en}, \dots, p_{\vert D \vert} \}\)에서 English relevant 문서를 선택한다. 중국어, 독일어, 프랑스어, 체코어에서도 동일한 Wikipedia 페이지의 동일 문단에 대해서도 relevant 문서로 사용한다. 일부 샘플에서는 전체 Wikipedia문서에서 무작위로 선택한 noise 문서도 추가한다.

$$(s, d^l, t)$$

Training 및 Validation set의 sample은 트리플로 표현된다. 여기서 \(l\)은 언어의 종류 (e.g., 영어, 독일어, 중국어, 프랑스어, 체코어)를 의미한다.

$$(s, d^{en}, d^{zh}, d^{de}, t)$$

Test set의 sample은 relevant document의 언어별 효과를 평가하기 위해 퀀터플 형태로 표현된다.

Training과 validation translation은 GPT-4o가 생성한다. GPT-4o는 먼저 \(s\)와 \(d^l\)의 relevance를 설명하고 1–5 score를 부여한 뒤 CoT 방식으로 \(t\)를 생성한다. Test reference는 professional human translators가 source sentence를 번역하여 구축한다. 최종 dataset은 79K En⇒Zh와 90K En⇒De sample, 총 169K sample을 포함한다.

Benchmark는 다음 세 조건을 구분한다.

• Golden Evaluation: \(s\)와 \(d^{en}\), \(d^{zh}\), 또는 \(d^{de}\)중 하나를 제공한다.
• Robustness Evaluation: \(s\)와 Wikipedia에서 무작위로 선택한 irrelevant document를 제공한다.
• Full Wiki Evaluation: retriever가 전체 Wikipedia에서 relevant text를 검색한 뒤 \(s\)와 함께 LLM에 입력한다.

Training

• CLIC: 여러 언어의 문서를 보고 잘린 요약을 완성한다.
• SKET: source sentence와 관련된 지식을 먼저 생성하고, 그 지식을 조건으로 번역한다.
• CLRD: 서로 다른 언어의 두 문서가 관련 있는지 분류한다.

4. Example of RAGtrans

Input Prompt

You are a professional translator, and your task is to translate a given input sentence from Korean to Chinese.
In addition to the input sentence, you will be provided with a document that may contain relevant information to
aid in the translation. However, be aware that some documents may contain irrelevant or noisy information.

The document is provided as follows:

<document>
훈민정음 해례본은 훈민정음의 창제 원리와 문자 사용법을 설명한 문헌이다.
이 문헌은 1446년에 간행되었으며, 중국어에서는 제목을 일반적으로
《训民正音解例》로 표기한다.
</document>

The sentence that needs to be translated is provided as follows:

<input sentence>
The Hunminjeongeum Haerye, published in 1446, explains the principles behind the creation and use of Hunminjeongeum.
</input sentence>

Please respond in the following JSON format:

{
  "is_helpful": {
    "reason": str,
    "score": int
  },
  "translation": str
}

Please carefully read the explanation of these keys:

- "is_helpful": Dict type. Whether the given document is helpful for translating the sentence.
- "reason": Str type. The reason why the given document is or is not helpful.
- "score": Int type. A score from 1 to 5.
  1 indicates that the given document is completely irrelevant to the sentence.
  3 indicates that the document is relevant to the sentence but is not necessary for translation,
  since the translation can still be produced without seeing the document.
  5 indicates that the document is highly useful for translation,
  and translation mistakes may occur without seeing the document.
- "translation": Str type. The translated result.

GPT-4o Response

{
  "is_helpful": {
    "reason": "The Korean document provides the publication year, the function of the text, and the 
               conventional Chinese title 《训民正音解例》. In particular, the Chinese title helps 
               avoid an inaccurate transliteration of the named document.",
    "score": 5
  },
  "translation": "《训民正音解例》刊行于1446年，阐释了训民正音的创制原理及其使用方法。"
}

NR 카테고리 내 다른 글 보러가기