반응형 ML & DL/논문리뷰35 From Local to Global: A Graph RAG Approach to Query-Focused Summarization 원문: https://arxiv.org/abs/2404.16130Abstract이 연구에서는 외부 지식 소스를 활용해 관련 정보를 검색하는 Retrieval-Augmented Generation (RAG)을 사용하여 대형 언어 모델(LLM)이 비공개 또는 이전에 보지 못한 문서 모음에서 질문에 답변하는 방법을 설명합니다. 그러나 RAG는 "데이터셋의 주요 주제는 무엇인가?"와 같은 전체 텍스트에 대한 질문에는 적합하지 않은데, 이는 이러한 질문이 명시적인 검색이 아니라 질문 중심 요약(QFS) 작업이기 때문입니다. 기존 QFS 방법은 RAG 시스템이 다루는 대규모 텍스트를 처리하는 데 한계가 있습니다.이 문제를 해결하기 위해, 우리는 사용자 질문의 범용성과 소스 텍스트의 양 모두에 대응할 수 있는 'Gr.. 2024. 10. 6. QWEN2 TECHNICAL REPORT ABSTRACT알리바바의 Qwen 팀이 새로운 인공지능 모델 시리즈인 'Qwen2'를 발표했습니다. 이 모델은 기존의 큰 언어 모델과 다양한 형태의 정보를 처리할 수 있는 멀티모달 모델을 개선한 최신 버전이라고 합니다.Qwen2의 주요 특징은 다음과 같습니다.1. 다양한 크기의 모델 Qwen2는 작은 모델부터 큰 모델까지 다양하게 제공합니다. 가장 작은 모델은 5억 개의 매개변수를, 가장 큰 모델은 720억 개의 매개변수를 가지고 있습니다. 이렇게 다양한 크기의 모델을 제공하는 이유는 사용자의 필요와 환경에 맞게 선택할 수 있도록 하기 위해서인듯 합니다.2. 뛰어난 성능 Qwen2는 이전 모델인 Qwen1.5보다 더 좋은 성능을 보여주고 있습니다. 심지어 일부 비공개 모델들과 비교해도 꽤 좋은 성.. 2024. 9. 15. Graph-Aware Language Model Pre-Training on a Large GraphCorpus Can Help Multiple Graph Applications 논문 원문: https://arxiv.org/pdf/2306.02592ABSTRACT대규모 텍스트 말뭉치에 대한 모델 사전 학습이 NLP 분야의 다양한 하위 응용 프로그램에 효과적임이 입증되었습니다. 그래프 마이닝 분야에서도 유사한 유추를 통해 대규모 그래프에서 그래프 모델을 사전 학습하여 하위 그래프 응용 프로그램에 도움이 되기를 기대할 수 있으며, 이는 최근 여러 연구에서도 탐구되었습니다. 그러나 풍부한 텍스트 정보를 가진 대규모 이종 그래프(일명 대규모 그래프 말뭉치)에서 텍스트와 그래프 모델을 함께 사전 학습한 후, 서로 다른 그래프 스키마를 가진 다양한 관련 하위 응용 프로그램에 대해 모델을 미세 조정하는 연구는 아직 없었습니다. 이 문제를 해결하기 위해, 우리는 대규모 그래프 말뭉치에 대한 그.. 2024. 9. 8. CHAIN-OF-VERIFICATION REDUCES HALLUCINATIONIN LARGE LANGUAGE MODELS 원문: https://arxiv.org/pdf/2309.11495 ABSTRACT대규모 언어 모델에는 '할루시네이션'이라고 부르는 문제가 있습니다. 이는 그럴듯하지만 사실은 틀린 정보를 만들어내는 현상을 말합니다. 연구자들은 이 문제를 해결하기 위해 'Chain-of-Verification(COVE)' 방법을 개발했습니다.COVE 방법은 다음과 같은 4단계로 이루어집니다.1. AI가 먼저 초안 답변을 작성합니다.2. 그 초안의 사실 여부를 확인하기 위한 질문들을 계획합니다.3. 다른 답변들에 영향을 받지 않도록 독립적으로 그 질문들에 답합니다.4. 마지막으로 검증된 최종 답변을 생성합니다.연구자들은 이 방법을 여러 종류의 태스크에 적용해 보았습니다. 예를 들어, Wikidata에서 가져온 목록 기반 질문.. 2024. 9. 1. 이전 1 ··· 3 4 5 6 7 8 9 다음 반응형
