GNN-RAG: Graph Neural Retrieval for LargeLanguage Model Reasoning

논문 원문: https://paperswithcode.com/paper/gnn-rag-graph-neural-retrieval-for-large

Papers with Code - GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

코드: https://github.com/cmavro/GNN-RAG

Abstract

본 논문에서는 대규모 언어 모델(Large Language Models, LLM)의 추론 능력을 향상시키기 위한 새로운 프레임워크인 GNN-RAG를 제안한다. 지식 그래프(Knowledge Graph, KG)는 머리, 관계, 꼬리의 삼중항을 통해 사실적 지식을 구조화된 방식으로 표현하며, 이는 질의응답(QA)과 같은 다양한 작업에 활용된다. 특히 지식 그래프 기반 질의응답(KGQA) 작업에서는 KG에 저장된 관계와 사실을 바탕으로 자연어 질문에 대한 답변을 도출한다. 현재 QA 작업에서 주력 모델로 사용되는 LLM은 뛰어난 자연어 처리 능력을 보유하고 있으나, KG의 복잡한 그래프 구조를 처리하는 데 어려움을 겪는다. 이러한 한계를 극복하기 위해 본 연구에서는 그래프 신경망(GNN)을 도입하여 KG의 복잡한 정보를 효과적으로 처리하고자 한다. 제안된 GNN-RAG 프레임워크에서는 GNN이 먼저 KG의 조밀한 하위 그래프를 분석하여 잠재적 답변 후보를 검색하고, 질문 엔티티와 이러한 후보들을 연결하는 최단 경로를 추출한다. 이후 추출된 경로는 언어화되어 LLM의 최종 답변 생성을 위한 입력으로 사용된다. 실험 결과, GNN-RAG는 널리 사용되는 두 가지 KGQA 벤치마크에서 최첨단 성능을 달성했으며, 특히 복잡한 멀티 홉 질문에서 GPT-4와 같은 고급 모델의 성능을 능가하거나 대등한 수준을 보여주었다.

Introduction

GNN-RAG: 대규모 언어 모델 추론을 위한 그래프 신경 검색 논문의 서론 부분에서는 연구의 핵심 동기와 기여점을 명확하게 제시하고 있다. 저자들은 대규모 언어 모델(LLM)이 자연어 처리 분야에서 보여준 놀라운 성과에도 불구하고, 새로운 지식 습득과 특정 도메인 적응에 있어 한계가 있음을 지적한다. 특히 방대한 사전 학습 리소스가 필요한 LLM의 특성상, 부정확한 정보 생성(환각) 문제가 발생할 수 있다는 점을 강조한다.

이러한 문제를 해결하기 위한 대안으로 지식 그래프(KG)를 제시하는데, <Entity → Relation → Entity> 형태로 구조화된 이 데이터베이스는 복잡한 관계 정보를 효과적으로 저장하고 갱신할 수 있다는 장점이 있다. 하지만 KGQA(Knowledge Graph Question Answering) 시스템 구현에 있어 수백만 개에 달하는 사실 정보에서 관련 정보를 효과적으로 검색해야 하는 과제가 존재한다. 특히 기존의 LLM 기반 검색 방식은 멀티홉 질문이나 복잡한 그래프 구조를 처리하는 데 어려움을 겪는다는 한계가 있다.

이에 저자들은 그래프 신경망(GNN)을 활용한 새로운 프레임워크인 GNN-RAG를 제안한다. 이 프레임워크는 GNN의 그래프 구조 처리 능력을 활용하여 KG의 밀도 높은 하위 그래프를 분석하고 답안 후보를 검색한다. 더불어 질문과 답변을 연결하는 추론 경로를 추출하고 이를 자연어로 변환하여 LLM이 처리할 수 있게 한다.

결론적으로 이 연구는 GNN과 LLM의 장점을 결합하여 KGQA 성능을 크게 향상시켰다는 점에서 의미가 있다. 특히 복잡한 질의에 대한 추론 능력을 개선했다는 점은 주목할 만한 성과로 평가된다.

Related Work

논문의 Related Work 부분에서는 지식 그래프 질문 답변(KGQA) 시스템의 두 가지 주요 접근 방식을 중점적으로 다루고 있다. 먼저 시맨틱 파싱(Semantic Parsing, SP) 방법은 자연어 질문을 SPARQL과 같은 논리적 쿼리로 변환하여 지식 그래프에서 답변을 검색하는 방식을 취한다. 그러나 이 방법은 학습을 위한 실측 논리적 쿼리가 필요하며, 이는 시간 소모적이고 구문 또는 의미 오류로 인한 실행 실패 가능성이 있어 실제 응용에서 활용이 제한적이다.

반면 정보 검색(Information Retrieval, IR) 방법은 질문-답변 쌍만을 사용하는 약한 지도 학습 환경에서 동작한다. 이 접근법은 관련된 지식 그래프 정보(예: 하위 그래프)를 검색하여 추론에 활용하는 것을 목표로 한다. 광범위한 주석이 필요하지 않아 유연성이 높고 다양한 응용이 가능하다는 장점이 있지만, 지식 그래프의 구조화된 정보를 충분히 활용하지 못할 수 있다는 한계가 있다.

저자들은 이러한 기존 방법들의 분석을 통해 GNN과 LLM의 장점을 결합한 새로운 프레임워크의 필요성을 제기한다. 이는 GNN-RAG가 제안된 이론적 배경이 되며, KGQA 시스템의 성능 향상을 위한 새로운 방향을 제시한다는 점에서 의의가 있다.

Problem Statement & Background

저자들은 Problem Statement & Background 섹션에서 KGQA(Knowledge Graph Question Answering) 시스템의 핵심 구성 요소와 도전 과제를 체계적으로 설명한다. 우선 지식 그래프(KG)는 (헤드 엔티티, 관계, 테일 엔티티)의 삼중항 구조로 사실적 지식을 표현하며, 여기서 엔티티는 노드로, 관계는 간선으로 표현되는 그래프 구조를 형성한다.

KGQA의 주요 목표는 자연어 질문에 대해 KG에서 적절한 답변 엔티티들을 찾아내는 것이다. 이 과정에서 가장 큰 도전 과제는 방대한 규모의 KG를 효율적으로 처리하는 것인데, 수백만 개의 사실과 노드를 포함하는 전체 그래프를 모든 질문에 대해 분석하는 것은 현실적으로 불가능하기 때문이다. 이를 해결하기 위해 질문별 하위 그래프(G_q)를 검색하는 방식이 사용되며, 이상적으로는 이 하위 그래프가 질문에 대한 모든 정답을 포함해야 한다.

검색된 하위 그래프는 그래프 신경망(GNN)이나 대규모 언어 모델(LLM)과 같은 추론 모델에 의해 처리되어 최종 답변이 도출된다. 그러나 학습 과정에서 중요한 문제점이 발생하는데, 일반적인 학습 데이터는 질문-답변 쌍만을 제공할 뿐 답변으로 이어지는 실제 추론 경로는 포함하지 않는다. 이러한 명시적 경로 정보의 부재는 모델이 KG를 통해 효과적으로 추론하는 능력을 학습하는 데 큰 어려움을 초래한다.

이러한 문제 정의를 통해 저자들은 KGQA 시스템이 직면한 핵심 과제들, 특히 효율적인 하위 그래프 검색과 명시적 추론 경로 없이의 학습 문제를 명확히 제시하고 있다.

4. GNN-RAG

GNN-RAG 프레임워크는 그래프 신경망(GNN)과 대규모 언어 모델(LLM)의 장점을 결합한 혁신적인 접근 방식을 제시한다. 이 프레임워크는 검색 증강 생성(RAG) 방식을 활용하여 지식 그래프 질의응답(KGQA) 시스템의 성능을 향상시키는 것을 목표로 한다.

프레임워크의 핵심은 GNN의 그래프 구조 처리 능력과 LLM의 자연어 이해 능력의 시너지에 있다. 검색 과정에서 GNN은 지식 그래프의 밀집된 하위 그래프를 분석하여 잠재적 답변 후보를 식별한다. 이는 방대한 지식 그래프에서 관련성 높은 정보를 효율적으로 추출하는 데 핵심적인 역할을 한다.

특히 주목할 만한 점은 경로 추출 단계로, GNN이 질문 엔티티와 답변 후보를 연결하는 최단 경로를 찾아낸다. 이렇게 추출된 경로는 추론의 근거가 되며, 자연어로 변환되어 LLM의 입력으로 사용된다. 이러한 과정을 통해 모델은 더욱 정확하고 설명 가능한 답변을 생성할 수 있다.

성능 측면에서 GNN-RAG는 기존의 RAG 기반 시스템들을 크게 앞서는 것으로 나타났다. 특히 멀티 홉 추론이 필요한 복잡한 질문이나 다중 엔티티가 관련된 질의에서 두드러진 성능 향상을 보였다. 실제로 널리 사용되는 KGQA 벤치마크에서 GPT-4와 같은 최신 모델과 대등하거나 더 나은 성능을 보여주었다.

이러한 결과는 GNN-RAG가 GNN의 구조적 추론 능력과 LLM의 언어 처리 능력을 효과적으로 통합하여, KGQA 시스템의 성능을 한 단계 발전시켰음을 보여준다.

Experimental Setup

GNN-RAG 프레임워크는 그래프 신경망(GNN)과 대규모 언어 모델(LLM)의 장점을 결합한 혁신적인 접근 방식을 제시한다. 이 프레임워크는 검색 증강 생성(RAG) 방식을 활용하여 지식 그래프 질의응답(KGQA) 시스템의 성능을 향상시키는 것을 목표로 한다.

프레임워크의 핵심은 GNN의 그래프 구조 처리 능력과 LLM의 자연어 이해 능력의 시너지에 있다. 검색 과정에서 GNN은 지식 그래프의 밀집된 하위 그래프를 분석하여 잠재적 답변 후보를 식별한다. 이는 방대한 지식 그래프에서 관련성 높은 정보를 효율적으로 추출하는 데 핵심적인 역할을 한다.

특히 주목할 만한 점은 경로 추출 단계로, GNN이 질문 엔티티와 답변 후보를 연결하는 최단 경로를 찾아낸다. 이렇게 추출된 경로는 추론의 근거가 되며, 자연어로 변환되어 LLM의 입력으로 사용된다. 이러한 과정을 통해 모델은 더욱 정확하고 설명 가능한 답변을 생성할 수 있다.

성능 측면에서 GNN-RAG는 기존의 RAG 기반 시스템들을 크게 앞서는 것으로 나타났다. 특히 멀티 홉 추론이 필요한 복잡한 질문이나 다중 엔티티가 관련된 질의에서 두드러진 성능 향상을 보였다. 실제로 널리 사용되는 KGQA 벤치마크에서 GPT-4와 같은 최신 모델과 대등하거나 더 나은 성능을 보여주었다.

이러한 결과는 GNN-RAG가 GNN의 구조적 추론 능력과 LLM의 언어 처리 능력을 효과적으로 통합하여, KGQA 시스템의 성능을 한 단계 발전시켰음을 보여준다.

Results

GNN-RAG의 실험 결과는 지식 그래프 질의응답(KGQA) 시스템의 여러 측면에서 주목할 만한 성과를 보여준다. 우선 두 가지 주요 KGQA 벤치마크에서 최첨단 성능을 달성하여 기존 방법론들을 크게 앞섰다. 특히 검색 증강(RA)을 적용한 GNN-RAG+RA는 그래프 기반 검색(RoG) 방법 대비 히트 지표에서 5.0-6.1%p 향상된 결과를 보였다.

시스템의 실용성 측면에서도 중요한 진전이 있었는데, 단일 24GB GPU로 구동이 가능하여 GPT-4를 활용하는 시스템 대비 운영 비용을 대폭 절감할 수 있다는 점이 확인되었다. 특히 복잡한 쿼리 처리 능력이 돋보이는데, WebQSP 데이터셋의 멀티홉 질문에서 F1 스코어가 RoG 대비 6.5-17.2%p, CWQ 데이터셋에서는 8.5-8.9%p 향상되었다.

또한 GNN과 LLM이 생성한 추론 경로를 함께 활용하는 검색 증강 기법이 특히 복잡한 질의에서 효과적임이 입증되었다. 주목할 만한 점은 Alpaca-7B나 Flan-T5-XL과 같은 상대적으로 작은 규모의 LLM에서도 RoG 대비 최대 13.2%p의 성능 향상을 달성했다는 것이다. 이는 재학습 없이도 다양한 규모의 LLM 성능을 개선할 수 있음을 시사한다.

이러한 실험 결과들은 GNN-RAG가 성능, 효율성, 실용성 측면에서 KGQA 시스템의 새로운 지평을 열었음을 종합적으로 보여준다.

 

Conclusion

GNN-RAG 논문의 결론은 연구의 성과와 향후 전망을 효과적으로 제시한다. 저자들은 그래프 신경망(GNN)과 대규모 언어 모델(LLM)의 성공적인 통합을 통해 지식 그래프(KG) 기반 질의응답 시스템의 새로운 가능성을 보여주었다. 이 프레임워크는 기존 방법론들과 비교하여 현저한 성능 향상을 달성했으며, 특히 널리 사용되는 벤치마크에서 최신 성능을 기록했다.

주목할 만한 점은 검색 효율성의 획기적인 개선이다. GNN을 활용한 지식 그래프 정보의 필터링과 추출 과정이 효율적으로 이루어져, 광범위한 후처리 없이도 정확한 답변 도출이 가능해졌다. 특히 멀티홉 추론이 필요한 복잡한 질의에서 탁월한 성능을 보여, 기존 시스템의 한계를 극복했다는 점이 주목된다.

연구의 의의는 단순한 성능 향상을 넘어선다. GNN과 LLM의 통합에 대한 새로운 연구 방향을 제시함으로써, 지식 기반 질의응답 시스템의 미래 발전 가능성을 열었다. 실제 응용 측면에서도 챗봇, 가상 비서 등 구조화된 지식을 기반으로 하는 다양한 시스템에 직접적인 적용이 가능하다는 점에서 실용적 가치가 높다.

결론적으로 GNN-RAG는 GNN과 LLM의 장점을 효과적으로 결합하여 KGQA 분야에 혁신적인 접근 방식을 제시했으며, 이는 관련 분야의 미래 발전을 위한 중요한 이정표가 될 것으로 기대된다.