반응형 ML & DL/책 & 강의36 [나는 리뷰어다] 밑바닥부터 시작하는 딥러닝 4 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 밑시딥 시리즈 1,2,3권 스터디를 모두 마치고 기고문을 작성하던 때, 밑시딥 4권이 곧 나온다는 소식을 듣고 기다리고 있었는데요. 감사하게도 한빛미디어 활동을 하게 되면서 책을 읽게 되었습니다. '밑바닥부터 시작하는 딥러닝4'는 강화학습에 대해 바닥부터 다루는 책입니다. 마음에 들었던 점은 각 개념의 정의와 용어를 명확하게 정리하여 배경지식이 많지 않은 사람들도 쉽게 접근할 수 있다는 점이었습니다. 또한, 수학적 개념들을 매우 쉬운 설명으로 풀어내고 있습니다. 기초적인 확률, 예를 들어 기댓값부터 시작해 큰 수의 법칙과 확률의 배경까지 세세하게 설명합니다. 왜 수학적 개념들이 필요한지 배경까지 설명해주니까 자연스럽게 이해할 수 있게 되었습니.. 2024. 2. 25. [밑시딥2] CHAPTER 5 순환 신경망(RNN) 지금까지 살펴본 신경망은 feed forward 신경망이었다. 흐름이 단방향인 신경망을 의미한다. 이러한 feed forward신경망은 구성이 단순하여 구조를 이해하기 쉽고, 그래서 많은 문제에 응용할 수 있지만 시계열 데이터를 잘 다루지 못한다는 단점이 있다. 더 정확히 feed forward 신경망에서는 시계열 데이터의 패턴을 충분히 학습할 수 없다. 따라서 순환 신경망(Recurrent Neural Network, RNN)이 등장하게 된다. 5.1 확률과 언어 모델 RNN 이야기를 시작하기 전, word2vec을 복습해보자. 5.1.1 word2vec을 확률 관점에서 바라보다 word2vec의 CBOW모델을 복습해보자. 그리고 맥락이 주어졌을 때 타깃이 해당 중심 단어가 될 확률은 아래와 같다. 지.. 2023. 7. 21. [밑시딥2] CHAPTER 3 word2vec 3.1 추론 기반 기법과 신경망 3.1.1 통계 기반 기법의 문제점 2장에서 다뤘던 통계 기반 기법은 대규모 말뭉치를 다룰 때 문제가 발생한다. 현업에서 다루는 말뭉치의 어휘 수는 어마어마하다. 영어의 어휘 수는 100만이 넘는데, 이를 통계 기반 기법을 적용하면 100만x100만이라는 거대한 행렬이 만들어진다. 통계 기반 기법은 말뭉치 전체의 통계를 이용해 단 1회의 처리 만에 단어의 분산 표현을 얻는다. 한편 추론 기반 기법에서는 특히 신셩망을 이용하는 경우 미니배치로 학습하는 것이 일반적이다. 추론 기반 기법은 여러 머신과 여러 GPU를 이용한 병렬 계산도 가능해져서 학습 속도를 높일 수 있다. 3.1.2 추론 기반 기법 개요 우리는 이 모델로 신경망을 사용한다. 모델은 맥락 정보를 입력받아 각 단.. 2023. 7. 12. [밑시딥2] CHAPTER 2 자연어와 단어의 분산 2.1 자연어 처리란 자연어: 한국어와 영어 등 우리가 평소에 쓰는 말 (부드러운 언어) 인공어: 프로그래밍 언어, 마크업 언어 등 (딱딱한 언어) 자연어 처리: ‘자연어를 처리하는 분야’ = 우리의 말을 컴퓨터에게 이해시키기 위한 기술 2.1.1 단어의 의미 단어는 의미를 가지는 말의 최소 단위이다. 따라서 자연어를 컴퓨터에게 이해시키는 첫 단계는 ‘단어의 의미’를 이해시키는 것이다. 세 가지 기법 시소러스를 활용한 기법: 시소러스(유의어 사전)을 이용 통계 기반 기법: 통계 정보로부터 단어를 표현 추론 기반 기법: 구체적으로는 word2vec (3장) 2.2 시소러스 이렇게 모든 단어에 대한 유의어 집합을 만든 다음, 단어들의 관계를 그래프로 표현하여 단어 사이의 연결을 정의한다. 이 ‘단어 네트워크.. 2023. 7. 5. 이전 1 2 3 4 5 6 7 8 9 다음 반응형
