Retrieval-Augmented Generation with Knowledge Graphs forCustomer Service Question Answering

원문: https://arxiv.org/html/2404.17723v1

Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question Answering

이 연구는 고객 서비스 분야에서 질문 응답 시스템의 효율성을 향상시키기 위한 방법을 제안합니다. 전통적인 방식의 한계를 극복하기 위해 지식 그래프(Knowledge Graph)를 활용하여 고객 문의와 관련된 과거 이슈를 효과적으로 검색할 수 있는 새로운 접근 방식을 소개합니다. 이 시스템은 고객의 문의에 대해 더 높은 정확도로 응답을 생성하며, 실제로 LinkedIn의 고객 서비스팀에 배포되어 문제 해결 시간을 약 28.6% 단축했습니다. 이러한 성과는 고객 만족도를 높이며, 기술 지원의 중요성을 강조합니다. 정보를 빠르고 정확하게 검색하고 응답하는 과정에서 구조적 데이터의 활용이 핵심이라는 점을 보여줍니다.

 

1. 서론: 고객 서비스 기술 지원의 중요성

• 고객 서비스 기술 지원에서 신속하고 정확하게 관련된 과거 이슈를 검색하는 것은 효율적인 문제 해결에 중요하다 . 

2. RAG 방법의 한계와 새로운 방법론의 필요성

• 기존의 수집 증강 생성(RAG) 방법은 대형 언어 모델에서 과거 문제 추적 티켓을 일반적인 평문으로 처리한다 . 
• 평문의 처리는 정보 검색에 제약을 가져오며, 문제 해결의 비효율성으로 이어질 수 있다 . 
• 그러므로 RAG 방법은 구조적 데이터에 대한 인식 부족으로 인한 문제점을 안고 있다 . 
• 이러한 한계를 극복하기 위해 새로운 방법론의 제시가 필요하다 . 

3. 향상된 고객 서비스 질문 응답 시스템

• 새로운 방법은 질문 응답 시스템과 지식 그래프를 결합하여 효율성을 높이고 있다 . 
• 지식 그래프는 과거 이슈의 구조와 문맥을 유지하여, 관련된 서브 그래프를 검색해 정확한 답변을 생성한다 . 
• 실험적 평가 결과, 제안된 방법은 77.6%와 0.32로 각각 MRR과 BLEU 점수에서 기존 방식보다 우월한 성과를 보였다 . 
• LinkedIn의 고객 서비스팀에 배포된 후, 이 시스템은 이슈 해결 시간을 28.6% 단축시켰다 . 
• 이 방법은 MRR, Recall@K, 그리고 BLEU 등의 다양한 평가 지표에서 일관된 향상을 보여준다 . 

3.1. 고객 서비스 질의 응답 시스템의 혁신적 접근

• 기존의 방법에서는 과거 문제 추적 티켓을 단순히 텍스트로 처리하여 성능을 제한했으나, 지식 그래프(KG)를 통합한 새로운 질의 응답 방법을 제안한다 . 
• 이 새로운 방법은 과거 문제로부터 지식 그래프를 구성하여, 이슈 내 구조와 이슈 간 관계를 유지하는 데 중점을 둔다 . 
• 고객 문의를 분석하고 이와 관련된 하위 그래프를 KG에서 검색하여 답변을 생성하는 방식으로, 검색 정확도와 응답 품질을 향상시킨다 . 
• 평가 결과, 이 방법은 기존 방식보다 77.6% 더 높은 MRR을 보였으며, BLEU에서도 0.32 개선되었다 . 
• 이 시스템은 LinkedIn의 고객 서비스팀에서 약 6개월간 사용되었으며, 이슈 해결 시간을 28.6% 단축했다 . 

3.2. 고객 서비스의 질문 응답 시스템 제한 및 개선 방법

• 대형 언어 모델과 검색-증강 생성(RAG) 기법은 고객 서비스의 기술 지원에서 검색 성능과 질문 응답 능력을 크게 향상시켰다 . 
• 전통적인 방법은 텍스트 세분화를 통해 정보를 검색하지만, 중요한 구조적 정보의 손실로 검색 정확도가 저하된다 . 
• 세분화는 관련된 내용을 분리해, 응답의 불완전성을 초래할 수 있다 . 
• 그래프 기반 파싱 방법을 통해 문제 티켓의 논리적 일관성을 보존하여, 완전하고 높은 품질의 응답을 보장한다 . 
• 지식 그래프를 활용한 질문 응답 기술은 검색 기반, 템플릿 기반, 의미 체계 분석 기반으로 분류되며, 각각의 방식에는 한계가 있다 . 

3.3. 지식 그래프 기반 고객 서비스 질의응답 시스템의 구성

• LLM과 지식 그래프(KG)의 결합이 정보 검색및 추론 작업의 효율성을 높이는 데 기여한다는 점을 강조하고 있다 .
• 고객 서비스질의응답 시스템은 RAG(Retrieval-Augmented Generation)을 지식 그래프와 통합하여 구성되며, 두 가지 주요 단계로 이루어진다 . 
• 지식 그래프 구축 단계에서는 과거 고객 서비스이슈 티켓들을 종합적인 트리 구조로 표현하고 관계적 문맥을 기반으로 상호 연결한다 .
• 질의응답 단계에서는 소비자 쿼리를 분석하여 명명된 개체와 의도를 식별하고, KG 내에서 관련 서브 그래프를 찾아 답변을 생성한다 .
• 그래프 구조에서는 각 이슈 티켓을 트리 구조로 표현하여, 명시적 및 암시적 관계를 정의하며 코사인 유사성을 활용해 암시적 연결을 수행한다 . 

3.4. 임베딩 기반 검색 및 응답 생성

• 임시 연결은 티켓 제목 간의 텍스트-의미 유사성을 통해 추론하며, 임베딩 기법과 임계값 기반 메커니즘을 사용하여 각 문제 티켓이 가장 관련 있는 티켓을 식별한다 .
• 그래프 노드의 임베딩은 BERT 및 E5와 같은 사전 훈련된 텍스트 임베딩 모델을 사용하여 생성하며, 특히 "문제 요약", "문제 설명", "재현 단계"와 같은 텍스트가 풍부한 섹션을 타겟으로 한다 . 
• 이 임베딩은 벡터 데이터베이스에 저장되고, 긴 텍스트는 동일한 섹션에 포함되어 있어 품질을 유지하면서 더 작은 청크로 나누어 개별 임베딩한다 . 
• 질문 쿼리는 그래프 데이터베이스 언어로 변환되어 임베딩 기반의 검색 및 응답 생성을 향상한다 . 

3.5. 제안된 방법의 성능 평가 및 전통적 접근법과의 비교

• LLM이 주도하는 쿼리 공식화는 지식 그래프내 다양한 트리에서 정보를 검색할 수 있는 충분한 유연성을 지닌다 . 
• 질문에 대한 답변은 초기 쿼리와 검색된 데이터를 상관하여 생성되며, 쿼리 실행 중 문제가 발생할 경우 기본 텍스트 기반 검색 방법으로 복귀하는 백업 메커니즘을 가진다 . 
• 실험 평가는 전통적인 텍스트 기반과 연구 내의 방법론을 사용하는 집단으로 나누어져 수행되었다 . 
• 검색 효율성은 MRR, recall@K, NDCG@K와 같은 지표를 통해 측정되며, 질문 응답 성능은 생성된 응답과 "golden" 솔루션을 비교하여 BLEU, ROUGE, METEOR 점수를 사용해 평가되었다 .

4.  LinkedIn 고객 서비스 팀에서의 시스템 적용 결과

• 연구팀은 LinkedIn의 고객 서비스팀에 제안된 방법을 배포하여 다양한 상품 라인을 담당했다 . 
• 팀은 무작위로 두 그룹으로 나눠졌으며, 한 그룹은 새로운 시스템을, 다른 그룹은 기존의 수동 방법을 사용했다 . 
• 새로운 시스템을 사용한 그룹은 이슈당 평균 해결 시간을 28.6% 단축하며, 고객 서비스효율성을 크게 향상시켰다 . 
• 제안된 시스템은 고객 서비스의 문제 해결 시간을 감소시켰으며, 이는 고객 서비스의 효율성 증대로 나타났다 . 

5. 결론 : 연구 결론과 향후 연구 방향

• 이번 연구는 고객 서비스를 위한 자동화된 질문 응답 시스템을 크게 발전시켰다. 
• 지식 그래프(Knowledge Graph)와 결합된 Retrieval-Augmented Generation(RAG)이 검색 및 응답 지표와 서비스의 전반적인 효과성을 향상시켰다. 
• 향후 연구는 그래프 템플릿을 자동으로 추출하는 메커니즘 개발과 시스템 적응성 강화에 초점을 맞추겠다. 
• 또한 실시간 응답성을 개선하기 위해 사용자 질의에 기반한 지식 그래프의 동적 업데이트를 연구할 계획이다. 
• 이 시스템의 고객 서비스 외의 다른 맥락에서의 적용 가능성도 탐구할 예정이다.