본문 바로가기
반응형

-327

Slim attention: cut your context memory in half withoutloss of accuracy — K-cache is all you need for MHA 원문: https://arxiv.org/pdf/2503.05840 이 논문에서는 Transformer 모델의 Slim attention이라는 새로운 attention 메커니즘을 제안한다. Slim attention은 Multi-Head Attention (MHA)에서 context memory 크기를 절반으로 줄여 inference 속도를 향상시킨다. 핵심 아이디어는 value (V) projection을 key (K) projection으로부터 계산하여 KV-cache 크기를 줄이는 것이다. 이 방법은 수학적으로 동일하므로 모델 정확도를 손상시키지 않으며, 특히 긴 context를 처리하는 데 효율적이다. 또한, Slim attention은 encoder-decoder 구조에서 context memor.. 2025. 3. 16.
TinyTroupe 라이브러리 실험 TinyTroupe 세 줄 요약github: https://github.com/microsoft/TinyTroupeTinyTroupe는 AI 기반의 다중 에이전트 시뮬레이션 라이브러리로, 사용자가 특정 개인성과 목표를 가진 인공 에이전트인 `TinyPerson`을 생성하여 다양한 비즈니스 시나리오를 실험할 수 있도록 돕는다. 이 도구는 상상력 향상과 소비자 행동 이해를 목표로 하며, 광고 평가, 소프트웨어 테스트, 제품 관리 등 여러 분야에서 활용될 수 있다. TinyTroupe는 연구 및 실험 목적으로 개발되었으며, 사용자 피드백을 통해 지속적으로 발전할 예정이다. TinyTroupe 개요- TinyTroupe는 특정 성격, 관심사, 목표를 가진 사람들을 시뮬레이션할 수 있는 실험적인 Python 라이.. 2025. 3. 9.
[나는 리뷰어다] 로우코드 AI "한빛미디어 서평단 활동을 위해서 책을 협찬받아 작성된 서평입니다."🖋 한줄평복잡한 코드와 수학적 개념에 장벽을 느끼는 초보자들에게 장벽을 허물고 문을 찾아주는 책✔ 코딩 없이도 AI를 적용할 수 있나요?'로우코드AI'는 "코딩 없이도 AI를 적용할 수 있나요?"라는 질문을 하는 사람에게 확실하게 '네!'라고 답하면서 건넬 수 있는 책인 것 같습니다. 이 책의 가장 큰 강점은 AI와 머신러닝을 비전공자도 이해하고 활용할 수 있도록 실용적인 관점에서 접근한다는 점입니다. AutoML, BigQuery ML, Vertex AI 등 로우코드/노코드 툴들을 중심으로 설명하면서, 코딩에 대한 두려움이나 이론적 배경 없이도 AI 모델을 개발할 수 있는 방법을 소개하고 있습니다.✔ 책의 구성1장에서는 머신러닝의 .. 2025. 2. 28.
MLGym: A New Framework and Benchmarkfor Advancing AI Research Agents 원문: https://arxiv.org/pdf/2502.14499 이 논문에서는 MLGym와 MLGym-Bench라는 새로운 프레임워크를 소개하며 인공지능 에이전트의 성능을 평가하고 발전시키기 위한 기준을 제공합니다. MLGym-bench는 컴퓨터 비전, 자연어 처리, 강화 학습, 게임 이론 등 다양한 분야에서 13개의 다채롭고 개방형인 AI 연구 과제로 구성됩니다. 이러한 과제들을 해결하기 위해서는 새로운 아이디어와 가설의 생성, 데이터 생성 및 처리, ML 기법 구현, 모델 학습, 실험 수행, 결과 분석, 그리고 반복적인 개선과정 등 실제 AI 연구에서 요구되는 다양한 역량이 필요합니다.논문에서는 Claude-3.5-Sonnet, Llama-3.1 405B, GPT-4o, o1-preview, Gem.. 2025. 2. 23.
반응형

티스토리툴바