반응형 ML & DL/책 & 강의37 [밑시딥2] Chapter 8. 어텐션 8.1 어텐션의 구조어텐션 메커니즘을 사용하여 seq2seq에서 필요한 정보에만 '주목'할 수 있게 된다.또한, seq2seq가 가지고 있던 문제도 해결할 수 있게 된다.8.1.1 seq2seq의 문제점seq2seq에서는 Encoder가 시계열 데이터를 인코딩하고, 이 인코딩된 정보를 Decoder로 전달한다.이때 Encoder의 출력은 '고정 길이 벡터'였는데, 이 부분에 큰 문제점이 있다.고정 길이 벡터는 입력 데이터(문장)의 길이에 관계없이, 항상 같은 길이의 벡터로 변환한다.그렇기 때문에, 필요한 정보가 벡터에 다 담기지 못한다.8.1.2 Encoder 개선Encoder 출력의 길이를 입력 문장의 길이에 맞추어서 바꿔준다.이제 마지막 은닉 상태뿐 아니라 각 시각(각 단어)의 은닉 상태 벡터를 모두.. 2024. 8. 12. [C언어로 쉽게 풀어 쓴 자료구조] 1 자료구조와 알고리즘 1.1 자료구조와 알고리즘자료구조란?프로그램에서 자료들을 정리하여 보관하는 여러 가지 구조. 일상생활에서도 사용한다. 스택: 그릇을 쌓아서 보관하는 것큐: 마트 계산대의 줄리스트: 버킷 리스트사전: 영어사전그래프: 지도트리: 컴퓨터 디렉토리 구조 프로그램 = 자료구조 + 알고리즘 알고리즘이란?컴퓨터로 문제를 풀기 위한 단계적인 절차문제와 컴퓨터가 주어진 상태에서 문제를 해결하는 방법을 정밀하게 장치가 이해할 수 있는 언어로 기술한 것정의 1.1 알고리즘- 입력: 0개 이상의 입력이 존재하여야 한다.- 출력: 1개 이상의 출력이 존재하여야 한다.- 명백성: 각 명령어의 의미는 모호하지 않고 명확해야 한다.- 유한성: 한정된 수의 단계 후에는 반드시 종료되어야 한다.- 유효성: 각 명령어들은 종이와 연필, .. 2024. 8. 11. [밑시딥2] CHAPTER 6 게이트가 추가된 RNN Blessed are the forgetful: for they get the better even of their blunders.망각은 더 나은 전진을 낳는다 - 니체 RNN -> 장기 기억을 못한다. 그래서 나온 것들이 LSTM, GRU.가끔 RNN이라고 말하면 LSTM이나 GRU같은 RNN 계열을 가리키는 경우도 있어서, 그냥 RNN을 말할때는 바닐라 RNN 혹은 기본 RNN 이라고 하기도 한다.LSTM, GRU에는 기본 RNN에 게이트가 추가된다. 이 게이트 덕분에 장기기억을 할 수 있게 된다. 6.1 RNN의 문제점왜 기본 RNN은 장기 기억을 못할까? 원인은 기울기 소실 혹은 기울기 폭발 때문!6.1.1 RNN 복습 시계열 데이터 xt를 입력하면 ht가 출력되고, 이 ht가 RNN계층의.. 2024. 7. 29. [나는 리뷰어다] 실무로 통하는 타입스크립트 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다."TypeScript는 최근 개발 생태계에서 주목받고 있는 정적 타입 언어입니다. 많은 개발자들이 관심을 가지고 있지만, 진입 장벽에 대한 우려가 있었습니다. 저 또한 관심만 있고 어떻게 시작해야 할지 막막했는데요. 해당 책 "실무로 통하는 타입스크립트"는 그러한 고민을 해소하며, TypeScript와 JavaScript의 복잡한 관계를 명확히 설명하고 실무 적용 가능한 인사이트를 제공하고 있습니다.이 책의 가장 큰 강점은 실용성에 있다고 생각합니다. 기본 개념부터 고급 주제까지 총 105개의 실용적인 레시피를 통해 TypeScript를 체계적으로 학습할 수 있습니다. 특히 Type Assertion, Generics, 그리고 React와 같은.. 2024. 7. 28. 이전 1 2 3 4 5 6 ··· 10 다음 반응형
