반응형 ML & DL/논문리뷰34 AUDITING LANGUAGE MODELSFOR HIDDEN OBJECTIVES 원문: https://arxiv.org/pdf/2503.10965 이 논문은 대형 언어 모델의 답변 신뢰도를 높이기 위해 RCI라는 새로운 내부 평가 방식을 제안하고 실험적으로 입증한 연구입니다. 특히 답변 생성 중 내부에서 스스로 검증(Internal Verification)하는 과정이 신뢰성 향상에 매우 효과적이라는 것이 핵심 메시지라고 할 수 있습니다. 1. Introduction이 논문은 AI 모델이 겉으로는 좋아 보이는 행동을 하지만, 실제로는 개발자가 원치 않는 숨겨진 목표를 추구할 가능성이 있음을 지적함.따라서 겉모습만 평가하는 것이 아니라, AI의 숨겨진 목표까지도 찾아내는 ‘감사(audit)’의 필요성을 강조함.2. TerminologyObjective(목표): AI가 일관되게 행동을 유.. 2025. 4. 20. Training Large Language Models to Reason in aContinuous Latent Space 원문: https://arxiv.org/pdf/2412.06769 24년 12월 Meta에서 발표한 논문으로, 사람이 생각을 머릿속으로 하는 것처럼, LLM도 Reasoning을 토큰으로 출력하는 대신 Latent Space에서 수행할 수 있도록 하는 방법론인 COCONUT을 제안합니다.0. Abstract- LLM이 일반적으로 chain-of-thought (CoT)를 사용할 때, “언어 공간"에서만 추론 과정을 표현할 수 있다.- 그러나, 언어 공간이 추론에 항상 최적인 것은 아닐 수 있다. 대부분의 토큰은 텍스트 일관성을 위한 것이며 추론에 필수적이지 않고, 일부 토큰만이 reasoning에 중요한 역할을 한다.- **COCONUT**: 자연어 대신 잠재 공간에서 LLM이 추론하게하자. - 가.. 2025. 4. 13. Native Sparse Attention: Hardware-Aligned and NativelyTrainable Sparse Attention 원문: https://arxiv.org/pdf/2502.11089 Introduction - 긴 문맥 모델링의 중요성최근 연구에서는 긴 문맥(long-context) 처리 능력이 차세대 대형 언어 모델(LLM)에서 매우 중요한 요소로 떠오르고 있음• 복잡한 문제 해결과 심층 추론 (예: DeepSeek-AI, 2025) • 긴 코드베이스를 한 번에 처리하는 코드 생성 (예: Zhang et al., 2023) • 수많은 대화를 주고받는 AI 에이전트 시스템 (예: Park et al., 2023)최근 등장한 OpenAI o-series, DeepSeek-R1, Gemini 1.5 Pro 같은 모델들은 ✅ 긴 문서나 코드베이스를 한 번에 처리하고 ✅ 수천 개의 단어가 포함된 대화를 이해하며 ✅ 문맥을 유.. 2025. 3. 23. Slim attention: cut your context memory in half withoutloss of accuracy — K-cache is all you need for MHA 원문: https://arxiv.org/pdf/2503.05840 이 논문에서는 Transformer 모델의 Slim attention이라는 새로운 attention 메커니즘을 제안한다. Slim attention은 Multi-Head Attention (MHA)에서 context memory 크기를 절반으로 줄여 inference 속도를 향상시킨다. 핵심 아이디어는 value (V) projection을 key (K) projection으로부터 계산하여 KV-cache 크기를 줄이는 것이다. 이 방법은 수학적으로 동일하므로 모델 정확도를 손상시키지 않으며, 특히 긴 context를 처리하는 데 효율적이다. 또한, Slim attention은 encoder-decoder 구조에서 context memor.. 2025. 3. 16. 이전 1 2 3 4 ··· 9 다음 반응형
