반응형 ML & DL/논문리뷰26 TALK LIKE A GRAPH: ENCODING GRAPHS FORLARGE LANGUAGE MODELS 원문: https://arxiv.org/pdf/2310.04560v1 ABSTRACT래프는 소셜 네트워크, 추천 시스템, 금융 계산 등 실제 세계의 복잡한 관계를 표현하고 분석하는 데 매우 유용한 도구입니다. 그래프를 활용한 추론은 복잡한 시스템에서 엔티티 간의 관계를 이해하고 숨겨진 패턴과 트렌드를 발견하는 데 필수적입니다.자연어를 사용한 자동 추론 기술이 많이 발전했지만, 대형 언어 모델(LLM)을 사용하여 그래프에서 추론하는 문제는 아직 잘 연구되지 않았습니다. 이 연구에서는 그래프 구조 데이터를 텍스트로 변환해 LLM이 처리하도록 하는 방법에 대해 처음으로 포괄적으로 분석했습니다.연구 결과, LLM의 그래프 추론 성능은 다음 세 가지 주요 요인에 따라 달라진다는 점을 밝혔습니다:그래프를 텍스트로 .. 2025. 1. 12. A Generalization of Transformer Networks to Graphs 원문: https://arxiv.org/pdf/2012.09699 ## 1. 연구 배경 및 목적이 연구는 자연어 처리(NLP)에서 큰 성공을 거둔 트랜스포머 네트워크를 그래프 데이터에 적용하기 위한 혁신적인 방법을 제안합니다. 기존의 트랜스포머는 텍스트 데이터와 같은 순차적 데이터를 처리하는 데 탁월했지만, 복잡한 그래프 구조를 다루는 데는 한계가 있었습니다. 연구진은 이러한 한계를 극복하고 그래프의 구조적 특성을 효과적으로 활용할 수 있는 새로운 아키텍처를 개발했습니다.## 2. 주요 혁신점### 2.1 위치 인코딩의 혁신### 라플라시안 행렬(Laplacian Matrix)- 그래프의 구조적 특성을 수학적으로 표현하는 행렬- 차수 행렬(Degree Matrix)에서 인접 행렬(Adjacency Mat.. 2025. 1. 5. KAG: Boosting LLMs in Professional Domains viaKnowledge Augmented Generation 원문: https://arxiv.org/pdf/2409.13731v3 1. KAG의 필요성과 성능최근 개발된 RAG(이중 난수 추출) 기술이 분야 특화 애플리케이션의 효율적 구축을 가능하게 하지만, 벡터 유사성과 지식 논리의 민감성 부족 등 한계가 존재한다.KAG(Knowledge Augmented Generation)은 이러한 한계를 극복하고 지식 그래프(KG)와 대규모 언어 모델(LLM)을 상호 강화하여 생성 및 추론 성능을 개선하는 것을 목적으로 한다. KAG는 다섯 가지 핵심 측면을 통해 LLM과 KG를 양방향으로 강화한다. KAG는 기존 RAG방법을 다중 연쇄 질의응답에서 능가하며, 특정 Q&A 과제에 적용해 전문성 향상효과를 입증했다. KAG는 곧 오픈소스 KG 엔진 OpenSPG를 통해 개발.. 2024. 12. 15. Vector Database Management Techniques and Systems 원문: https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD24_VecDB_Tutorial.pdf 벡터 데이터베이스 관리 기술에 대한 포괄적인 개요를 제공하는 논문.벡터 쿼리 처리, 저장 및 인덱싱, 그리고 최적화 및 실행의 다양한 기법들을 다루며, 이를 통해 효율적인 데이터 검색의 중요성을 강조하고 있다. 또한, 기존의 전통적인 데이터 관리 시스템들이 벡터의 복잡성에 대응하지 못하는 문제와 이에 대한 해결책을 제시한다.벡터 데이터베이스 시스템(VDBMS)의 최신 기술이 산업에서 어떻게 응용되는지를 알 수 있는 논문이다. 벡터 데이터베이스 관리의 필요성과 발전기존의 전통적인 데이터베이스 관리 시스템은 특징 벡터의 고유한 특성을 처리하는데 부적합하다 . 벡터 데이터.. 2024. 12. 8. 이전 1 2 3 4 ··· 7 다음 반응형
