반응형 전체 글257 읽으면 AI에 대해 가장 빠르게 똑똑해지는 글 27개 OpenAI의 공동 창립자인 일리아 수츠케버가, 둠의 창시자이자 프로그래밍의 전설인 존 카맥에게 AI에 대해 매우 빨리 똑똑해지고 싶으면 읽으라고 말한 27개의 글을 가져왔습니다. (출처: Matt Wolfe)하나 하나 열어보며 세 줄 요약을 진행했습니다. LLM쪽은 따로 정리해서 진행해야겠지만, 전반적으로 파악하지 매우 좋은 퀄리티들의 글이니 하나하나 집중해서 읽어봐야겠습니다. :) 1. The Annotated TransformerStanford 대학교의 CS231n 강의에 대한 코스 웹사이트. CNN에 대한 기본 및 심화 학습 가능세줄요약이미지 분류, 선형 분류, 최적화, 역전파, 신경망 아키텍처 등 신경망의 기본 개념 학습합성곱 신경망의 구조, 시각화, 전이학습 등 CNN의 심화 내용 다룸3개의 .. 2024. 5. 12. [PPO] Proximal Policy Optimization Algorithms Abstract프록시말 정책 최적화(Proximal Policy Optimization, PPO)는 강화학습을 위한 새로운 정책 경사 방법입니다. 이 방법은 환경과의 상호작용을 통해 데이터를 샘플링하고, 확률적 경사 상승법을 사용하여 "대리" 목적 함수를 최적화하는 과정을 번갈아 수행합니다.기존의 정책 경사 방법은 데이터 샘플 하나당 한 번의 경사 업데이트를 수행하는 반면, PPO는 미니배치 업데이트를 여러 번 수행할 수 있는 새로운 목적 함수를 제안합니다. 이는 트러스트 영역 정책 최적화(Trust Region Policy Optimization, TRPO)의 장점을 가지면서도, 구현이 훨씬 간단하고 더 일반적이며, 실험적으로 더 나은 샘플 복잡도를 보입니다.PPO는 시뮬레이션 로봇 이동과 아타리 게임.. 2024. 5. 5. [나는 리뷰어다] 인사이드 머신러닝 인터뷰 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 이 책을 저의 학습 데이터셋에 바칩니다.데이터셋이 없었다면아무것도 알 수 없었을 것입니다.첫 페이지에 보이는 글입니다. 이것만 봐도 저자가 '찐' 이라는 것이 느껴졌습니다. 제목에서 보이다시피 면접대비를 위한 책이지만, 면접을 준비하는 사람 뿐 아니라 머신러닝을 현업으로 하고 있는 모든 분들께도 분명 도움이 되는 내용들이 많습니다. ML 기본 지식, 시스템 설계, 인프라 설계 등 실무를 한다면 한번쯤 겪게 되는 문제들이 예상질문으로 나와있습니다.ML 분야의 면접은 특히 자료가 많이 없어서 준비할 때 막연했던 느낌이 듭니다. 정보의 불균형이 심해서 여러 커뮤니티에서 질문들을 하며 스스로 정리를 잘 했어야 했는데요. 이 책이 더 일찍 나왔다면 .. 2024. 4. 28. [GPT-2] Language Models are Unsupervised Multitask Learners Abstract 이 논문은 대량의 웹 데이터로 학습시킨 언어 모델이 명시적인 지도 학습 없이 다양한 작업을 수행할 수 있음을 보여줍니다. 주요 내용은 다음과 같습니다: 1. 40GB의 웹 텍스트 데이터로 GPT-2라는 대규모 언어 모델을 학습시켰습니다. 2. 이 모델은 언어 모델링, 질의응답, 기계번역, 요약 등 다양한 자연어처리 작업에서 지도 학습 없이도 준수한 성능을 보였습니다. 3. 모델 크기를 키울수록 제로샷 성능이 크게 향상되었고, 이는 대규모 언어 모델이 자연어 이해 능력을 습득할 수 있음을 시사합니다. 4. 웹 데이터를 활용한 비지도 다중 작업 학습이 강력한 언어 모델 학습에 효과적임을 입증했습니다. 5. 다만 이 방식의 한계점과 부작용에 대해서도 논의하였습니다. 즉, 양질의 대규모 텍스트만.. 2024. 4. 18. [BERT] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract BERT는 복잡하게 들릴 수 있는데, 실제로는 언어를 이해하는 데 큰 도움이 되는 간단한 아이디어에 기반을 두고 있습니다. BERT는 기본적으로 대량의 텍스트 데이터를 사용하여 컴퓨터가 언어의 구조를 학습할 수 있게 해주는 모델입니다. 이 모델의 핵심은 양방향성을 가진다는 것입니다. 즉, BERT는 문장을 처리할 때, 단어 앞뒤의 문맥을 모두 고려합니다. 이전의 많은 모델들은 문장을 한 방향(왼쪽에서 오른쪽 또는 그 반대)으로만 처리했기 때문에, BERT가 가져온 큰 변화 중 하나 입니다. 이런 방식 덕분에, BERT는 문장 안에서 단어의 의미를 더 정확하게 파악할 수 있게 되고, 이는 다양한 언어 처리 작업에서 더 좋은 성능을 낼 수 있게 해주게 됩니다. 예를 들어, 사람이 질문에 답하.. 2024. 4. 11. [GPT-1]Improving Language Understandingby Generative Pre-Training Abstract 자연어 이해는 텍스트 속에 숨겨진 의미를 파악하고 질문에 대답하는 등 다양한 작업을 포함하는 분야입니다. 이러한 작업을 위해서는 대량의 텍스트 데이터가 필요한데, 레이블이 붙어 있는 데이터는 부족한 상황입니다. 이 연구에서는 레이블이 없는 텍스트를 활용하여 언어 모델을 사전 학습시키고, 이를 각 작업에 맞게 파인 튜닝하는 방법을 제안합니다. 이 방법은 기존 방식과 달리 모델 구조를 크게 변경하지 않고도 효과적으로 적용할 수 있습니다. 실험 결과, 이 방법으로 학습한 모델이 각 작업에 특화된 모델보다 더 우수한 성능을 보였습니다. 구체적으로 상식 추론, 질의응답, 텍스트 함의 등 다양한 자연어 이해 작업에서 SOTA 대비 큰 성능 향상을 달성했습니다. 즉, 대량의 텍스트 데이터를 활용한 사.. 2024. 4. 4. [나는 리뷰어다] 실무로 통하는 인과추론 with 파이썬 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 데이터 사이언스라고 하면 머신러닝이 먼저 떠오르지만, 사실 데이터 분석의 꽃은 바로 '인과관계'를 밝혀내는 일이라고 합니다. 성공적인 테크 기업들은 모두 제품 개발과 직원 성과 측정에 이 인과관계 분석을 활용하고 있죠. 그런데 이게 말처럼 쉽진 않다고 합니다. 어떤 데이터를 어떻게 모을지, 어떤 방법으로 분석할지 등을 꼼꼼히 따져봐야 해요. 제품마다 인과관계 분석 방법도 조금씩 달라지고요. 책에서는 인과추론이 왜 어려운지 설명하고, 인과추론을 위한 기초 개념부터 A/B 테스트부터 통제집단합성법까지 실무에서 쓰이는 다양한 분석 기법을 설명합니다. 그리고 이론 뿐 아니라 파이썬 코드도 함께 제공하기 때문에 실제 실무에서도 적용할 수 있도록 합니다.. 2024. 3. 24. [나는 리뷰어다] 밑바닥부터 시작하는 딥러닝 4 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 밑시딥 시리즈 1,2,3권 스터디를 모두 마치고 기고문을 작성하던 때, 밑시딥 4권이 곧 나온다는 소식을 듣고 기다리고 있었는데요. 감사하게도 한빛미디어 활동을 하게 되면서 책을 읽게 되었습니다. '밑바닥부터 시작하는 딥러닝4'는 강화학습에 대해 바닥부터 다루는 책입니다. 마음에 들었던 점은 각 개념의 정의와 용어를 명확하게 정리하여 배경지식이 많지 않은 사람들도 쉽게 접근할 수 있다는 점이었습니다. 또한, 수학적 개념들을 매우 쉬운 설명으로 풀어내고 있습니다. 기초적인 확률, 예를 들어 기댓값부터 시작해 큰 수의 법칙과 확률의 배경까지 세세하게 설명합니다. 왜 수학적 개념들이 필요한지 배경까지 설명해주니까 자연스럽게 이해할 수 있게 되었습니.. 2024. 2. 25. 이전 1 2 3 4 ··· 33 다음 반응형
