본문 바로가기
반응형

전체 글321

KAG: Boosting LLMs in Professional Domains viaKnowledge Augmented Generation 원문: https://arxiv.org/pdf/2409.13731v3 1. KAG의 필요성과 성능최근 개발된 RAG(이중 난수 추출) 기술이 분야 특화 애플리케이션의 효율적 구축을 가능하게 하지만, 벡터 유사성과 지식 논리의 민감성 부족 등 한계가 존재한다.KAG(Knowledge Augmented Generation)은 이러한 한계를 극복하고 지식 그래프(KG)와 대규모 언어 모델(LLM)을 상호 강화하여 생성 및 추론 성능을 개선하는 것을 목적으로 한다. KAG는 다섯 가지 핵심 측면을 통해 LLM과 KG를 양방향으로 강화한다. KAG는 기존 RAG방법을 다중 연쇄 질의응답에서 능가하며, 특정 Q&A 과제에 적용해 전문성 향상효과를 입증했다. KAG는 곧 오픈소스 KG 엔진 OpenSPG를 통해 개발.. 2024. 12. 15.
Vector Database Management Techniques and Systems 원문: https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD24_VecDB_Tutorial.pdf 벡터 데이터베이스 관리 기술에 대한 포괄적인 개요를 제공하는 논문.벡터 쿼리 처리, 저장 및 인덱싱, 그리고 최적화 및 실행의 다양한 기법들을 다루며, 이를 통해 효율적인 데이터 검색의 중요성을 강조하고 있다. 또한, 기존의 전통적인 데이터 관리 시스템들이 벡터의 복잡성에 대응하지 못하는 문제와 이에 대한 해결책을 제시한다.벡터 데이터베이스 시스템(VDBMS)의 최신 기술이 산업에서 어떻게 응용되는지를 알 수 있는 논문이다. 벡터 데이터베이스 관리의 필요성과 발전기존의 전통적인 데이터베이스 관리 시스템은 특징 벡터의 고유한 특성을 처리하는데 부적합하다 . 벡터 데이터.. 2024. 12. 8.
Retrieval-Augmented Generation with Knowledge Graphs forCustomer Service Question Answering 원문: https://arxiv.org/html/2404.17723v1 Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question AnsweringIn defining the knowledge graph structure for historical issue representation, we employ a dual-level architecture that segregates intra-issue and inter-issue relations, as illustrated in Figure 1. The Intra-issue Tree 𝒯i⁢(𝒩,ℰ,ℛ)subscript𝒯arxiv.org이 연구는 고객 서비스 분야.. 2024. 12. 1.
[나는 리뷰어다] 밑바닥부터 시작하는 딥러닝 5 "한빛미디어  활동을 위해서 책을 제공받아 작성된 서평입니다."  『밑바닥부터 시작하는 딥러닝』 시리즈의 새로운 책 등장!딥러닝 공부하면서 한 번쯤은 봤을 '밑시딥' 시리즈가 이번에는 생성 모델을 다룹니다. 밑시딥 시리즈로 스터디를 꾸준히 진행하고 있었는데요. (https://aiheroes.ai/community/104) 곧 밑시딥4 스터디를 시작하려는 참에 밑시딥5를 먼저 접하게 되었습니다. 밑시딥5에서는 특히 요즘 핫한 이미지 생성 AI 모델 Stable Diffusion의 핵심 기술인 확산 모델을 상세히 파헤치고 있습니다. 시리즈를 쓴 사이토 고키 교수의 특유의 친절한 설명이 이번에도 빛을 발합니다.기초부터 차근차근, 하지만 제대로책의 매력은 뭐니뭐니해도 탄탄한 구성입니다. 정규 분포와 MLE 같.. 2024. 11. 27.
HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 원문: https://arxiv.org/pdf/2408.04948v1 1. 하이브리드 RAG의 필요성과 금융 정보 추출금융 애플리케이션에서 비정형 텍스트 데이터의 복잡한 정보를 추출하고 해석하는 것은 LLMs에게 여전히 큰 도전 과제이다 . 도메인별 용어와 복잡한 문서 형식으로 인해 전통적인 Vector RAG기법은 금융 문서에서 정보 추출에 한계가 있다 . 하이브리드 RAG는 Knowledge Graphs 기반의 Graph RAG와 Vector RAG기법을 결합하여 정확하고 맥락에 맞는 답변을 생성하는 새로운 접근 방식이다 . 실험 결과, 하이브리드 RAG는 전통적인 Vector RAG와 Graph RAG보다 정보 검색 정확성과 답변 생성에서 더 뛰어나다 . 제안된 기술은 금융 분야를 넘어 다양한 영역.. 2024. 11. 24.
The Surprising Effectiveness ofTest-Time Training for Abstract Reasoning 원문: https://arxiv.org/pdf/2411.07279Abstract언어 모델은 훈련 데이터 내의 작업에서는 뛰어난 성능을 보이지만, 복잡한 추론이 필요한 새로운 문제에서는 종종 어려움을 겪습니다. 우리는 테스트 시점 학습(Test-Time Training, TTT)을 사용하여 모델의 추론 능력을 향상시키는 방법을 연구했습니다. TTT란 추론(모델 예측)을 수행하는 동안 입력 데이터를 기반으로 한 손실(loss)을 이용해 모델의 파라미터를 임시로 업데이트하는 기법입니다. 이 연구에서는 추상적 추론 데이터셋(ARC, Abstraction and Reasoning Corpus)을 벤치마크로 사용하여 TTT의 효과를 평가했습니다. 실험을 통해 TTT를 성공적으로 적용하기 위해 필요한 세 가지 중요한.. 2024. 11. 17.
GNN-RAG: Graph Neural Retrieval for LargeLanguage Model Reasoning 논문 원문: https://paperswithcode.com/paper/gnn-rag-graph-neural-retrieval-for-large Papers with Code - GNN-RAG: Graph Neural Retrieval for Large Language Model ReasoningImplemented in one code library.paperswithcode.com코드: https://github.com/cmavro/GNN-RAGAbstract본 논문에서는 대규모 언어 모델(Large Language Models, LLM)의 추론 능력을 향상시키기 위한 새로운 프레임워크인 GNN-RAG를 제안한다. 지식 그래프(Knowledge Graph, KG)는 머리, 관계, 꼬리의 삼중항을 통해.. 2024. 11. 10.
G-Retriever: Retrieval-Augmented Generation forTextual Graph Understanding andQuestion Answering 원문: https://arxiv.org/pdf/2402.07630Abstract연구의 핵심은 사람들이 그래프와 '대화'를 할 수 있게 만드는 것입니다. 더 자세히 말하면, 사용자가 그래프에 대해 질문을 하면 -> 시스템이 텍스트로 답변을 하고 -> 그래프에서 관련된 부분을 하이라이트해서 보여줍니다.기존 연구와의 차이점- 기존 연구들은 주로 단순한 그래프나 작은 그래프만 다뤘습니다- 이 연구는 실제 세상의 복잡한 그래프를 다룰 수 있습니다- 다양한 분야(장면 이해, 상식 추론, 지식 그래프 등)에 적용 가능합니다해결 방법 (G-Retriever)- 대규모 언어 모델(LLM)을 사용합니다- 그래프가 너무 커서 한 번에 처리하기 어려울 때를 대비해 '검색 증강 생성(RAG)' 방식을 도입했습니다- 특히 'Pr.. 2024. 11. 3.
반응형

티스토리툴바