본문 바로가기
반응형

전체 글321

Designing a Dashboard forTransparency and Control of Conversational AI 논문 원문: https://arxiv.org/pdf/2406.07882Abstract대화형 언어 모델(Conversational LLMs)은 블랙박스 시스템으로 작동하여 사용자에게 왜 특정 출력이 나오는지 추측하게 만듭니다. 이러한 투명성 부족은 편향성과 진실성에 대한 우려를 증가시키며, 이는 잠재적으로 문제가 될 수 있습니다. 이러한 문제를 해결하기 위해 우리는 해석 가능성 기법과 사용자 경험 디자인을 연결하여 챗봇을 보다 투명하게 만드는 엔드 투 엔드 프로토타입을 제시합니다.우선, 저명한 오픈 소스 언어 모델이 "사용자 모델"을 가지고 있다는 증거를 보여줍니다. 시스템의 내부 상태를 조사하여 사용자의 나이, 성별, 교육 수준, 사회경제적 상태와 관련된 데이터를 추출할 수 있음을 확인했습니다. 다음으로.. 2024. 7. 7.
Using Machine Learning and Smartphone and Smartwatch Data to Detect Emotional States and Transitions: Exploratory Study 논문 원문: https://mhealth.jmir.org/2020/9/e17818/ Using Machine Learning and Smartphone and Smartwatch Data to Detect Emotional States and Transitions: Exploratory StudyIntroduction The emotional states of individuals may change frequently over time. Research has demonstrated the potential of recording daily emotional states and moods in health and well-being, including the early diagnosis of menta.. 2024. 6. 30.
[나는 리뷰어다] 러닝 깃허브 액션 "한빛미디어  활동을 위해서 책을 제공받아 작성된 서평입니다." 여러 프로젝트를 경험하면서 어떤 시스템을 구축하는 것 또한 중요하지만, 구축 후에 시스템을 유지보수하고, 운영해 나가는 게 더 중요하다는 것을 뼈저리게 느끼게 되죠. 아마 현업에 있는 모든 분이 공감하실 텐데요.특히 코드의 변경이 있는 경우 문서관리나 CI/CD 쪽은 여간 복잡하고 귀찮은 일이 아니어서 지금까지 많은 툴과 방법론들이 개발되어 온 것으로 알고 있습니다. 여전히 발전할 가능성이 아주 많은 분야인 듯합니다.그러나 깃헙의 액션 기능이 생기면서 그래도 훨씬 더 편리하게 CI/CD를 진행할 수 있을 것 같습니다. 솔직히 Github에 있던 정체 모를 action 아이콘에 대해 궁금하긴 했었지만 깊이 공부해 볼 생각이 없었거든요.그런데 .. 2024. 6. 23.
Mastering Customer Segmentation with LLM 원본 링크: https://towardsdatascience.com/mastering-customer-segmentation-with-llm-3d9008235f41#3a33 Mastering Customer Segmentation with LLMUnlock advanced customer segmentation techniques using LLMs, and improve your clustering models with advanced techniquestowardsdatascience.comIntro고객 세분화 태스크는 여러 가지 방법으로 접근할 수 있습니다. 이 글에서는 클러스터를 정의하는 것뿐만 아니라 결과를 분석하는 고급 기법을 알려드리겠습니다. 이를 통해 클러스터링 문제를 해결할 수 있는 여러.. 2024. 6. 16.
Seven Failure Points When Engineering a Retrieval AugmentedGeneration System 원문: https://arxiv.org/pdf/2401.05856ABSTRACTRAG(검색 증강 생성) 시스템은 검색과 생성 기능을 결합한 것으로, 소프트웨어 엔지니어들이 애플리케이션에 의미적 검색 기능을 추가하는 전략입니다. 이 시스템은 질문에 맞는 문서를 찾고, 그 문서를 ChatGPT 같은 대형 언어 모델(LLM)에 전달해 올바른 답을 추출하는 방식입니다. RAG 시스템의 목표!1. LLM의 환각 응답 문제를 줄이기2. 생성된 응답에 출처/참조를 연결하기3. 문서에 메타데이터를 주석 달 필요를 없애기하지만, RAG 시스템은 정보 검색 시스템과 LLM에 의존하는 한계가 있습니다. 이 논문에서는 연구, 교육, 생의학 세 가지 도메인에서 RAG 시스템의 실패 사례를 통해 얻은 경험을 공유하고, 설계 시 .. 2024. 6. 9.
RAPTOR: RECURSIVE ABSTRACTIVE PROCESSINGFOR TREE-ORGANIZED RETRIEVAL ABSTRACTRetrieval-augmented language models(탐색 증강 언어 모델)은 세계 상태의 변화에 더 잘 적응하고, 다양한 지식을 통합할 수 있습니다. 하지만 대부분의 기존 방법은 탐색할 때 단편적인 짧은 텍스트 조각들만 사용하여 문서 전체의 맥락을 이해하는 데 한계가 있습니다.우리는 새로운 접근 방식을 소개합니다. 이 방법은 텍스트 조각들을 반복적으로 임베딩(embedding), 군집화(clustering), 요약하여, 아래에서 위로 요약 수준이 다른 트리를 구성합니다. 추론 시점에는 RAPTOR 모델이 이 트리에서 탐색하여, 긴 문서의 정보를 다양한 추상화 수준에서 통합합니다. 실험 결과, 반복적인 요약을 통한 탐색은 전통적인 탐색 증강 언어 모델보다 여러 작업에서 유의미한 .. 2024. 6. 1.
RAPTOR: RECURSIVE ABSTRACTIVE PROCESSINGFOR TREE-ORGANIZED RETRIEVAL ABSTRACT스탠포드 대학교의 연구팀이 개발한 RAPTOR 모델은 언어 모델이 정보를 더 잘 검색하고 이해할 수 있도록 돕기 위한 새로운 접근 방식입니다. 연구 목적일반적으로, 검색을 보강한 언어 모델은 세상에서 일어나는 변화를 더 잘 반영하고, 드문 지식을 통합하는 데 도움이 됩니다. 하지만, 대부분의 기존 방법들은 검색할 때 문서의 짧고 연속된 부분만을 가져오므로 문서 전체의 맥락을 이해하는 데 한계가 있습니다. RAPTOR 모델의 주요 아이디어 1. 재귀적 임베딩, 클러스터링, 요약 • 문서의 작은 부분(청크)을 재귀적으로 임베딩하고, 클러스터링하며, 요약합니다. • 이렇게 하면 문서의 요약 수준이 다른 여러 단계로 구성된 트리를 만들 수 있습니다. 2. 트리 구조를 활용한 검색 • 추론 시, R.. 2024. 5. 26.
Generative Representational Instruction Tuning Abstract자연어 처리에서 생성(generation)과 임베딩(embedding) 작업을 모두 다룰 수 있는 새로운 방법인 GRIT(Generative Representational Instruction Tuning)에 대해 설명하고 있습니다.기존의 언어 모델들은 주로 생성이나 임베딩 중 한 가지 작업에서만 좋은 성능을 보였습니다. 하지만 GRIT은 명령어(instruction)를 통해 생성과 임베딩 작업을 구분함으로써, 하나의 대형 언어 모델로 두 가지 작업을 모두 처리할 수 있게 합니다.GRIT을 적용한 GRITLM 7B 모델은 MTEB(Massive Text Embedding Benchmark)에서 새로운 최고 성능을 달성했고, 다양한 생성 작업에서도 같은 크기의 다른 모델들을 능가했습니다. 더.. 2024. 5. 19.
반응형

티스토리툴바