반응형 전체 글333 EGGROLL: Evolution Strategies at the Hyperscale 원문: https://arxiv.org/pdf/2511.16652 코드: https://eshyperscale.github.io/Abstract이 논문은 수십억 개의 파라미터를 가진 거대 모델을 학습시킬 때, 기존의 역전파(Backpropagation) 방식이 아닌 진화 전략(Evolution Strategies, ES)을 효과적으로 적용할 수 있는 새로운 방법론인 EGGROLL을 제안합니다.기존의 ES는 모델의 모든 파라미터 크기만큼의 거대한 노이즈 행렬을 생성해야 했기 때문에, 메모리와 연산 비용 문제로 거대 모델에 적용하기 불가능했습니다. 이 논문은 이 거대한 노이즈 행렬을 두 개의 작은 저랭크(Low-rank) 행렬의 곱으로 대체하는 획기적인 아이디어를 제시합니다.놀랍게도 이론적 분석 결과, 이러.. 2025. 12. 7. [나는 리뷰어다] 바이브 코딩 너머 개발자 생존법 한빛미디어 서평단 활동을 위해서 책을 협찬받아 작성된 서평입니다.코딩의 종말인가, 진화인가? NLP 엔지니어가 분석한 '바이브 코딩 너머 개발자 생존법'들어가며: 프롬프트가 코드가 되는 시대2025년 현재, 개발자 커뮤니티의 공기는 미묘합니다. 한쪽에서는 "이제 개발자는 끝났다"라는 비관론이, 다른 한쪽에서는 "생산성이 10배가 되었다"라는 낙관론이 팽팽하게 맞서고 있습니다. 대규모 언어 모델(LLM)을 미세 조정(Fine-tuning)하고 서빙하는 NLP 엔지니어로서, 저는 이 현상을 '프로그래밍 언어의 추상화 레벨이 자연어(Natural Language)까지 도달한 순간'이라고 정의합니다.오늘 심층 리뷰할 책 은 이 혼란스러운 과도기에 명확한 이정표를 제시합니다. 저자는 단순히 AI 툴 사용법을 나.. 2025. 11. 30. 밑바닥부터 만들면서 배우는 LLM ※ 도서 협찬: 본 글은 길벗 출판사로부터 '밑바닥부터 만들면서 배우는 LLM' 도서를 제공받아 제작되었습니다. 밑바닥부터 완성하는 나만의 LLM: 데이터 준비부터 분류기, 챗봇 구현까지최근 AI 기술의 발전으로 누구나 쉽게 거대 언어 모델(LLM)을 접할 수 있게 되었습니다. 하지만 API 사용을 넘어 보안, 커스터마이징, 온디바이스 구동 등의 요구사항을 충족하기 위해서는 LLM을 직접 구축하고 이해하는 것이 필수적입니다.도서 은 이러한 요구에 맞춰 LLM 구축의 전 과정을 상세히 안내합니다. 이 글에서는 책에서 제시하는 LLM 구축의 전체 파이프라인을 제공된 이미지의 상세 흐름도와 함께 깊이 있게 분석해 보겠습니다.전체 과정은 크게 세 단계로 나뉩니다.1단계: 기반 마련 (LLM 만들기)2단계: 지식.. 2025. 11. 23. ORAK: A FOUNDATIONAL BENCHMARK FOR TRAINING AND EVALUATING LLM AGENTS ON DIVERSE VIDEO GAMES 원문: https://arxiv.org/pdf/2506.03610코드: https://github.com/krafton-ai/OrakTL;DR문제: 기존 게임 LLM 벤치마크는 간단한 텍스트 게임 위주로, 실제 복잡한 의사결정 능력을 제대로 평가하지 못함해결: 12개 인기 비디오 게임(스트리트 파이터, 마인크래프트, 포켓몬 등)으로 LLM의 다양한 능력을 종합 평가핵심 발견:상용 AI(GPT-4o, Gemini)가 오픈소스 대비 압도적 우위작은 모델은 복잡한 전략이 오히려 독이미지 입력이 항상 도움되는 건 아님게임 학습이 수학·쇼핑 같은 다른 영역도 향상시킴 ABSTRACT ORAK: 게임 캐릭터를 똑똑하게 만드는 AI(LLM) 벤치마크기존 벤치마크 문제점- 다양한 게임 장르에서 AI 성능을 제대로 평가.. 2025. 11. 16. [나는 리뷰어다] AI 프로덕트 기획과 운영 한빛미디어 서평단 활동을 위해서 책을 협찬받아 작성된 서평입니다.AI 엔지니어 겸 PM이 읽는 'AI 프로덕트 기획과 운영': 두 세계를 연결하는 법오전에는 모델 아키텍처를 설계하고, 오후에는 PRD(Product Requirements Document)를 작성합니다. 코드를 짜다가 사용자 인터뷰 일정을 확인하고, 모델 성능을 측정하다가 비즈니스 지표를 고민하죠. AI 엔지니어이면서 동시에 PM인 저는, 매일 두 개의 뇌를 번갈아 쓰는 것 같은 피로함을 느끼곤 합니다."이 모델의 정확도를 95%까지 올렸는데, 사용자는 왜 여전히 불만족할까?""사용자가 원하는 기능을 정확히 알겠는데, 기술적으로 어떻게 구현할지 막막하다."혹시 이런 고민, 여러분도 해보셨나요? 'AI 프로덕트 기획과 운영'은 바로 이 두.. 2025. 10. 26. From human experts to machines: An LLMsupported approach to ontology and knowledgegraph construction 원문: https://arxiv.org/pdf/2403.08345Abstract기존의 온톨로지 및 지식 그래프(KG) 구축 과정은 인간 도메인 전문가에게 크게 의존하여 개체와 관계 유형을 정의하고, 계층 구조를 수립하며, 도메인과의 관련성을 유지하고, ABox를 채우고(또는 인스턴스로 채움), 데이터 품질(정확성과 완전성 등 포함)을 보장합니다. 한편, 대규모 언어 모델(LLM)은 최근 인간과 유사한 자연어를 이해하고 생성하는 능력으로 주목받으며, 이 과정의 일부를 자동화할 수 있는 유망한 방법을 제공합니다. 본 연구는 오픈소스 LLM을 활용한 지식 그래프의 (반)자동 구축을 탐구합니다. 논문의 파이프라인은 역량 질문([[CQ]]) 작성, 이러한 [[CQ]]를 기반으로 온톨로지([[TBox]]) 개발, .. 2025. 10. 19. VCRL: VARIANCE-BASED CURRICULUM REINFORCEMENT LEARNING FOR LARGE LANGUAGE MODELS AI가 수학 문제를 더 잘 풀 수 있도록 학습시키는 새로운 방법에 관한 것입니다. 기존 방법들의 문제점은 AI에게 쉬운 문제부터 어려운 문제까지 순서 없이 무작위로 가르쳤다는 점인데, 이는 사람이 기초부터 고급까지 단계적으로 수학을 배우는 방식과 다릅니다.연구진은 흥미로운 발견을 했습니다. AI가 같은 문제를 여러 번 풀 때 나오는 답들의 일관성을 보면 그 문제의 난이도를 알 수 있다는 것입니다. 너무 쉬운 문제는 항상 맞혀서 답이 일관되고, 너무 어려운 문제는 항상 틀려서 역시 답이 일관됩니다. 반면 적당한 난이도의 문제는 때로 맞고 때로 틀려서 답이 다양하게 나옵니다.이를 바탕으로 개발한 VCRL 방법은 이런 '답의 일관성'을 측정해서 문제 난이도를 파악하고, AI에게 적당한 난이도의 문제를 우선적으.. 2025. 10. 12. [나는 리뷰어다] 정지훈의 양자 컴퓨터 강의 한빛미디어 서평단 활동을 위해서 책을 협찬받아 작성된 서평입니다. 막연한 호기심에서 구체적인 이해로양자 컴퓨팅은 늘 궁금하면서도 막연한 존재였습니다. 머리로는 이해하고 있었지만 정작 양자 컴퓨팅이 제가 하는 일에 어떤 영향을 미칠지, 그리고 언제쯤 실용화될지에 대해서는 명확한 그림을 그리지 못하고 있었습니다. 그런 상황에서 만난 '정지훈의 양자 컴퓨터 강의'는 양자 기술에 대한 체계적이고 현실적인 이해를 제공하는 훌륭한 입문서였습니다.기술적 깊이와 현실적 관점의 조화이 책의 가장 큰 장점은 기술적 깊이와 실용적 관점을 균형 있게 다룬다는 점입니다. 1장에서 양자 컴퓨팅의 기본 개념을 설명할 때도 단순히 이론적 설명에 그치지 않고 IBM, 구글 등 실제 기업들의 경쟁 상황을 함께 제시하여 현재 이 기술이.. 2025. 9. 28. 이전 1 2 3 4 ··· 42 다음 반응형
