반응형 ML & DL62 RAPTOR: RECURSIVE ABSTRACTIVE PROCESSINGFOR TREE-ORGANIZED RETRIEVAL ABSTRACTRetrieval-augmented language models(탐색 증강 언어 모델)은 세계 상태의 변화에 더 잘 적응하고, 다양한 지식을 통합할 수 있습니다. 하지만 대부분의 기존 방법은 탐색할 때 단편적인 짧은 텍스트 조각들만 사용하여 문서 전체의 맥락을 이해하는 데 한계가 있습니다.우리는 새로운 접근 방식을 소개합니다. 이 방법은 텍스트 조각들을 반복적으로 임베딩(embedding), 군집화(clustering), 요약하여, 아래에서 위로 요약 수준이 다른 트리를 구성합니다. 추론 시점에는 RAPTOR 모델이 이 트리에서 탐색하여, 긴 문서의 정보를 다양한 추상화 수준에서 통합합니다. 실험 결과, 반복적인 요약을 통한 탐색은 전통적인 탐색 증강 언어 모델보다 여러 작업에서 유의미한 .. 2024. 6. 1. RAPTOR: RECURSIVE ABSTRACTIVE PROCESSINGFOR TREE-ORGANIZED RETRIEVAL ABSTRACT스탠포드 대학교의 연구팀이 개발한 RAPTOR 모델은 언어 모델이 정보를 더 잘 검색하고 이해할 수 있도록 돕기 위한 새로운 접근 방식입니다. 연구 목적일반적으로, 검색을 보강한 언어 모델은 세상에서 일어나는 변화를 더 잘 반영하고, 드문 지식을 통합하는 데 도움이 됩니다. 하지만, 대부분의 기존 방법들은 검색할 때 문서의 짧고 연속된 부분만을 가져오므로 문서 전체의 맥락을 이해하는 데 한계가 있습니다. RAPTOR 모델의 주요 아이디어 1. 재귀적 임베딩, 클러스터링, 요약 • 문서의 작은 부분(청크)을 재귀적으로 임베딩하고, 클러스터링하며, 요약합니다. • 이렇게 하면 문서의 요약 수준이 다른 여러 단계로 구성된 트리를 만들 수 있습니다. 2. 트리 구조를 활용한 검색 • 추론 시, R.. 2024. 5. 26. Generative Representational Instruction Tuning Abstract자연어 처리에서 생성(generation)과 임베딩(embedding) 작업을 모두 다룰 수 있는 새로운 방법인 GRIT(Generative Representational Instruction Tuning)에 대해 설명하고 있습니다.기존의 언어 모델들은 주로 생성이나 임베딩 중 한 가지 작업에서만 좋은 성능을 보였습니다. 하지만 GRIT은 명령어(instruction)를 통해 생성과 임베딩 작업을 구분함으로써, 하나의 대형 언어 모델로 두 가지 작업을 모두 처리할 수 있게 합니다.GRIT을 적용한 GRITLM 7B 모델은 MTEB(Massive Text Embedding Benchmark)에서 새로운 최고 성능을 달성했고, 다양한 생성 작업에서도 같은 크기의 다른 모델들을 능가했습니다. 더.. 2024. 5. 19. 읽으면 AI에 대해 가장 빠르게 똑똑해지는 글 27개 OpenAI의 공동 창립자인 일리아 수츠케버가, 둠의 창시자이자 프로그래밍의 전설인 존 카맥에게 AI에 대해 매우 빨리 똑똑해지고 싶으면 읽으라고 말한 27개의 글을 가져왔습니다. (출처: Matt Wolfe)하나 하나 열어보며 세 줄 요약을 진행했습니다. LLM쪽은 따로 정리해서 진행해야겠지만, 전반적으로 파악하지 매우 좋은 퀄리티들의 글이니 하나하나 집중해서 읽어봐야겠습니다. :) 1. The Annotated TransformerStanford 대학교의 CS231n 강의에 대한 코스 웹사이트. CNN에 대한 기본 및 심화 학습 가능세줄요약이미지 분류, 선형 분류, 최적화, 역전파, 신경망 아키텍처 등 신경망의 기본 개념 학습합성곱 신경망의 구조, 시각화, 전이학습 등 CNN의 심화 내용 다룸3개의 .. 2024. 5. 12. 이전 1 ··· 6 7 8 9 10 11 12 ··· 16 다음 반응형
