반응형 ML & DL60 TALK LIKE A GRAPH: ENCODING GRAPHS FORLARGE LANGUAGE MODELS 원문: https://arxiv.org/pdf/2310.04560v1 ABSTRACT래프는 소셜 네트워크, 추천 시스템, 금융 계산 등 실제 세계의 복잡한 관계를 표현하고 분석하는 데 매우 유용한 도구입니다. 그래프를 활용한 추론은 복잡한 시스템에서 엔티티 간의 관계를 이해하고 숨겨진 패턴과 트렌드를 발견하는 데 필수적입니다.자연어를 사용한 자동 추론 기술이 많이 발전했지만, 대형 언어 모델(LLM)을 사용하여 그래프에서 추론하는 문제는 아직 잘 연구되지 않았습니다. 이 연구에서는 그래프 구조 데이터를 텍스트로 변환해 LLM이 처리하도록 하는 방법에 대해 처음으로 포괄적으로 분석했습니다.연구 결과, LLM의 그래프 추론 성능은 다음 세 가지 주요 요인에 따라 달라진다는 점을 밝혔습니다:그래프를 텍스트로 .. 2025. 1. 12. A Generalization of Transformer Networks to Graphs 원문: https://arxiv.org/pdf/2012.09699 ## 1. 연구 배경 및 목적이 연구는 자연어 처리(NLP)에서 큰 성공을 거둔 트랜스포머 네트워크를 그래프 데이터에 적용하기 위한 혁신적인 방법을 제안합니다. 기존의 트랜스포머는 텍스트 데이터와 같은 순차적 데이터를 처리하는 데 탁월했지만, 복잡한 그래프 구조를 다루는 데는 한계가 있었습니다. 연구진은 이러한 한계를 극복하고 그래프의 구조적 특성을 효과적으로 활용할 수 있는 새로운 아키텍처를 개발했습니다.## 2. 주요 혁신점### 2.1 위치 인코딩의 혁신### 라플라시안 행렬(Laplacian Matrix)- 그래프의 구조적 특성을 수학적으로 표현하는 행렬- 차수 행렬(Degree Matrix)에서 인접 행렬(Adjacency Mat.. 2025. 1. 5. [나는 리뷰어다] 파이썬으로 배우는 통계학 교과서 2판 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다."총평: '교과서'라는 말이 참 잘어울리는 책. 스터디 및 수업 교재로 사용해도 좋을 것 같습니다. 책의 전반적인 구성이 책은 통계학의 기초부터 머신러닝까지 10개의 장으로 구성되어 있으며, 각 장은 체계적이고 단계적인 학습이 가능하도록 구성되어 있습니다. 특히 통계 이론과 파이썬 실습이 균형적으로 배치되어 있어서, 책을 따라가면서 개념을 이해하고 즉시 실습해볼 수 있다는 점이 특히 좋습니다. 탄탄한 기초 다지기 (1-2장)- 1장에서는 기술통계와 추론통계의 개념을 명확히 구분하여 설명하고, 왜 이러한 구분이 필요한지 실제 사례를 통해 설명합니다.- 2장에서는 파이썬과 주피터 노트북의 기초부터 시작하여, NumPy와 Pandas까지 다루며 데이.. 2024. 12. 29. KAG: Boosting LLMs in Professional Domains viaKnowledge Augmented Generation 원문: https://arxiv.org/pdf/2409.13731v3 1. KAG의 필요성과 성능최근 개발된 RAG(이중 난수 추출) 기술이 분야 특화 애플리케이션의 효율적 구축을 가능하게 하지만, 벡터 유사성과 지식 논리의 민감성 부족 등 한계가 존재한다.KAG(Knowledge Augmented Generation)은 이러한 한계를 극복하고 지식 그래프(KG)와 대규모 언어 모델(LLM)을 상호 강화하여 생성 및 추론 성능을 개선하는 것을 목적으로 한다. KAG는 다섯 가지 핵심 측면을 통해 LLM과 KG를 양방향으로 강화한다. KAG는 기존 RAG방법을 다중 연쇄 질의응답에서 능가하며, 특정 Q&A 과제에 적용해 전문성 향상효과를 입증했다. KAG는 곧 오픈소스 KG 엔진 OpenSPG를 통해 개발.. 2024. 12. 15. 이전 1 2 3 4 ··· 15 다음 반응형
