반응형 전체 글282 G-Retriever: Retrieval-Augmented Generation forTextual Graph Understanding andQuestion Answering 원문: https://arxiv.org/pdf/2402.07630Abstract연구의 핵심은 사람들이 그래프와 '대화'를 할 수 있게 만드는 것입니다. 더 자세히 말하면, 사용자가 그래프에 대해 질문을 하면 -> 시스템이 텍스트로 답변을 하고 -> 그래프에서 관련된 부분을 하이라이트해서 보여줍니다.기존 연구와의 차이점- 기존 연구들은 주로 단순한 그래프나 작은 그래프만 다뤘습니다- 이 연구는 실제 세상의 복잡한 그래프를 다룰 수 있습니다- 다양한 분야(장면 이해, 상식 추론, 지식 그래프 등)에 적용 가능합니다해결 방법 (G-Retriever)- 대규모 언어 모델(LLM)을 사용합니다- 그래프가 너무 커서 한 번에 처리하기 어려울 때를 대비해 '검색 증강 생성(RAG)' 방식을 도입했습니다- 특히 'Pr.. 2024. 11. 3. [나는 리뷰어다] 오픈: 비즈니스 패권의 열쇠 "한빛미디어 나는리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."전략적 무기가 된 오픈소스, 그 이면의 진실글로벌 오픈소스 생태계의 중심에서 경험을 쌓은 저자는 이 책을 통해 우리가 흔히 알고 있는 '오픈소스'에 대한 고정관념을 완전히 뒤집습니다. "오픈소스는 순수하지 않다"라는 도발적인 주장으로 시작하는 이 책은, 겉으로 보이는 공유와 협업이라는 가치 뒤에 숨겨진 치열한 비즈니스 전략과 글로벌 패권 경쟁의 실체를 낱낱이 파헤치고 있습니다.오픈소스를 바라보는 새로운 시각저자는 오픈소스를 단순히 기술적 영역이나 개발자들의 공유 문화로 한정짓지 않습니다. 대신 현대 비즈니스 환경에서 핵심 경쟁력을 좌우하는 전략적 도구로 재해석합니다. 특히 주목할 만한 점은 "오픈은 평등하지만 공평하지는 않다"라는.. 2024. 10. 27. LLM Internal States Reveal Hallucination Risk Faced With a Query 원문: https://ar5iv.labs.arxiv.org/html/2407.03282 LLM Internal States Reveal Hallucination Risk Faced With a QueryThe hallucination problem of Large Language Models (LLMs) significantly limits their reliability and trustworthiness. Humans have a self-awareness process that allows us to recognize what we don’t know when faced with …ar5iv.labs.arxiv.orgAbstractLLM의 환각 문제는 신뢰성을 크게 떨어뜨립니다. 해당 논문에서 연구.. 2024. 10. 20. LLMS KNOW MORE THAN THEY SHOW: ON THE INTRINSIC REPRESENTATION OF LLM HALLUCINATIONS 원문: https://arxiv.org/pdf/2410.02707코드: https://github.com/technion-cs-nlp/LLMsKnowABSTRACT대규모 언어 모델(LLM)은 종종 사실과 다른 정보를 생성하거나 편향된 결과를 내놓는 등의 오류를 범합니다. 이를 "환각" 또는 "할루시네이션"이라고 부릅니다. 이 연구에서는 LLM의 내부 상태가 자신이 생성한 답변의 정확성에 대한 정보를 담고 있다는 것을 밝혀냈습니다. 이 정보는 생각했던 것보다 더 많고 다양합니다. 주요 발견 사항은 다음과 같습니다.1. 정확성에 대한 정보가 특정 토큰(단어나 구)에 집중되어 있습니다. 이를 활용하면 오류 탐지 성능을 크게 높일 수 있습니다.2. 하지만 이런 오류 탐지 방법은 다른 데이터셋에 적용하면 잘 작동.. 2024. 10. 13. From Local to Global: A Graph RAG Approach to Query-Focused Summarization 원문: https://arxiv.org/abs/2404.16130Abstract이 연구에서는 외부 지식 소스를 활용해 관련 정보를 검색하는 Retrieval-Augmented Generation (RAG)을 사용하여 대형 언어 모델(LLM)이 비공개 또는 이전에 보지 못한 문서 모음에서 질문에 답변하는 방법을 설명합니다. 그러나 RAG는 "데이터셋의 주요 주제는 무엇인가?"와 같은 전체 텍스트에 대한 질문에는 적합하지 않은데, 이는 이러한 질문이 명시적인 검색이 아니라 질문 중심 요약(QFS) 작업이기 때문입니다. 기존 QFS 방법은 RAG 시스템이 다루는 대규모 텍스트를 처리하는 데 한계가 있습니다.이 문제를 해결하기 위해, 우리는 사용자 질문의 범용성과 소스 텍스트의 양 모두에 대응할 수 있는 'Gr.. 2024. 10. 6. [나는 리뷰어다] AI를 위한 필수 수학 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 책 'AI를 위한 필수 수학'은 인공지능을 이해하고 활용하기 위해 꼭 알아야 할 수학적 개념들을 체계적으로 설명한 책입니다. 인공지능의 발전이 가속화되면서 수학이 그 핵심 역할을 담당하고 있음을 강조하며, 독자에게 이러한 개념들을 친절하게 안내하고 있습니다. 각 장의 내용을 간략히 살펴보면 다음과 같습니다.1장: 인공지능 수학을 왜 배워야 할까?첫 장에서는 왜 인공지능을 이해하려면 수학이 필수적인지 설명하고 있습니다. 인공지능 기술은 이미 우리 생활 곳곳에 자리 잡았으며, 그 영향력은 계속해서 커지고 있습니다. 저자는 인공지능에 대한 깊은 이해가 필요하다고 강조하며, 수학이 그 이해를 돕는 중요한 도구임을 역설합니다. 특히 "허구와 현실 사.. 2024. 9. 29. QWEN2 TECHNICAL REPORT ABSTRACT알리바바의 Qwen 팀이 새로운 인공지능 모델 시리즈인 'Qwen2'를 발표했습니다. 이 모델은 기존의 큰 언어 모델과 다양한 형태의 정보를 처리할 수 있는 멀티모달 모델을 개선한 최신 버전이라고 합니다.Qwen2의 주요 특징은 다음과 같습니다.1. 다양한 크기의 모델 Qwen2는 작은 모델부터 큰 모델까지 다양하게 제공합니다. 가장 작은 모델은 5억 개의 매개변수를, 가장 큰 모델은 720억 개의 매개변수를 가지고 있습니다. 이렇게 다양한 크기의 모델을 제공하는 이유는 사용자의 필요와 환경에 맞게 선택할 수 있도록 하기 위해서인듯 합니다.2. 뛰어난 성능 Qwen2는 이전 모델인 Qwen1.5보다 더 좋은 성능을 보여주고 있습니다. 심지어 일부 비공개 모델들과 비교해도 꽤 좋은 성.. 2024. 9. 15. Graph-Aware Language Model Pre-Training on a Large GraphCorpus Can Help Multiple Graph Applications 논문 원문: https://arxiv.org/pdf/2306.02592ABSTRACT대규모 텍스트 말뭉치에 대한 모델 사전 학습이 NLP 분야의 다양한 하위 응용 프로그램에 효과적임이 입증되었습니다. 그래프 마이닝 분야에서도 유사한 유추를 통해 대규모 그래프에서 그래프 모델을 사전 학습하여 하위 그래프 응용 프로그램에 도움이 되기를 기대할 수 있으며, 이는 최근 여러 연구에서도 탐구되었습니다. 그러나 풍부한 텍스트 정보를 가진 대규모 이종 그래프(일명 대규모 그래프 말뭉치)에서 텍스트와 그래프 모델을 함께 사전 학습한 후, 서로 다른 그래프 스키마를 가진 다양한 관련 하위 응용 프로그램에 대해 모델을 미세 조정하는 연구는 아직 없었습니다. 이 문제를 해결하기 위해, 우리는 대규모 그래프 말뭉치에 대한 그.. 2024. 9. 8. 이전 1 2 3 4 ··· 36 다음 반응형
