반응형 ML & DL83 Fast Inference from Transformers via Speculative Decoding 원문: https://arxiv.org/pdf/2211.17192Abstract이 논문은 큰 언어모델(LLM)의 텍스트 생성 속도를 높이는 "추측 디코딩(speculative decoding)" 기법을 소개하고 있다.기존 문제점큰 언어모델은 한 번에 하나씩만 단어를 생성할 수 있어서 느림K개의 토큰을 만들려면 모델을 K번 연속으로 실행해야 함핵심 아이디어작은 모델로 먼저 추측하기: 빠르지만 작은 모델이 여러 개의 단어를 미리 예측큰 모델로 검증하기: 큰 모델이 이 예측들을 한 번에 병렬로 검토해서 맞는지 확인맞으면 채택, 틀리면 수정: 예측이 맞으면 그대로 사용하고, 틀리면 큰 모델이 올바른 답 제시비유로 설명하면 학생(작은 모델)이 시험 문제 여러 개를 먼저 풀어보고, 선생님(큰 모델)이 한 번에 여러.. 2025. 6. 15. From Natural Language to SQL: Review ofLLM-based Text-to-SQL Systems 원문: https://arxiv.org/pdf/2410.01066 ABSTRACT이 논문은 대형 언어 모델(LLM)을 사용해서 사용자가 일상적으로 쓰는 자연어 질문(예: "올해 가장 많이 팔린 상품은?")을 SQL이라는 데이터베이스 언어로 정확히 변환하는 기술에 대한 것입니다.특히, 이 논문에서는 RAG(Retrieval Augmented Generation) 기술을 함께 사용했을 때 변환 성능이 더 좋아진다는 점을 강조합니다. 이 RAG 기술은 외부에서 필요한 정보를 찾아서 모델이 더 정확한 SQL을 만들 수 있게 도와주는 방식입니다.또한 논문에서는이 분야가 어떻게 발전해왔는지 초기 규칙기반 모델에서 최근 LLM과 RAG를 결합한 최신 모델까지 정리합니다.각종 평가방법과 성능 측정을 위한 기준들(벤치마.. 2025. 6. 8. [나는 리뷰어다] 윌 라슨의 엔지니어링 리더십 "한빛미디어 서평단 활동을 위해서 책을 협찬받아 작성된 서평입니다."🖋 한줄평테크 리더로 성장하고 싶은 엔지니어에게 실무에서 바로 적용 가능한 전략과 통찰을 제공하는 필독서 ✔ 책의 구성이 책은 총 24개의 챕터와 에필로그, 그리고 다양한 부록으로 이루어져 있으며, 크게 다음과 같은 체계로 구성되어 있습니다.리더십 입문과 초기 적응 (Chapter 1~2)임원직을 향한 여정, 첫 90일 로드맵 등 새로운 리더가 조직에 빠르게 녹아들기 위한 가이드를 제시합니다.전략과 조직 운영 (Chapter 3~7)엔지니어링 전략 수립, 가치 창출, 조직 평가, 인수합병 참여 등 중장기 관점에서 조직을 운영하고 성장시키는 방법을 다룹니다.리더십 스타일 및 커뮤니케이션 (Chapter 8~11)다양한 리더십 스타일, .. 2025. 6. 1. LLaDA-V: Large Language Diffusion Models withVisual Instruction Tuning 원문: https://www.arxiv.org/pdf/2505.16933코드: https://github.com/ML-GSAI/LLaDA-V (작성 시점 아직 공개 안됨) Abstract 논문의 핵심: LLADA(https://arxiv.org/pdf/2502.09992) 팀에서 새로운 멀티모달 모델인 LLaDA-V 제안함.기존 방식 (순서대로 글자 맞추는 방식, autoregressive)과 다르게, 확산(diffusion) 방식 씀.확산 방식은 이미지나 글 전체를 한번에 채워넣듯 생성하는 방식임.모델 구조:텍스트 전용 확산 모델 LLaDA를 기반으로 만듦.이미지 정보 이해할 수 있게 비전 인코더 추가.이미지랑 텍스트 이어주는 MLP 커넥터 붙임.실험 결과:글만 놓고 보면 LLaDA-V 성능이 유명한 .. 2025. 5. 25. 이전 1 2 3 4 5 ··· 21 다음 반응형
