반응형 -292 [GPT-1]Improving Language Understandingby Generative Pre-Training Abstract 자연어 이해는 텍스트 속에 숨겨진 의미를 파악하고 질문에 대답하는 등 다양한 작업을 포함하는 분야입니다. 이러한 작업을 위해서는 대량의 텍스트 데이터가 필요한데, 레이블이 붙어 있는 데이터는 부족한 상황입니다. 이 연구에서는 레이블이 없는 텍스트를 활용하여 언어 모델을 사전 학습시키고, 이를 각 작업에 맞게 파인 튜닝하는 방법을 제안합니다. 이 방법은 기존 방식과 달리 모델 구조를 크게 변경하지 않고도 효과적으로 적용할 수 있습니다. 실험 결과, 이 방법으로 학습한 모델이 각 작업에 특화된 모델보다 더 우수한 성능을 보였습니다. 구체적으로 상식 추론, 질의응답, 텍스트 함의 등 다양한 자연어 이해 작업에서 SOTA 대비 큰 성능 향상을 달성했습니다. 즉, 대량의 텍스트 데이터를 활용한 사.. 2024. 4. 4. [나는 리뷰어다] 실무로 통하는 인과추론 with 파이썬 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 데이터 사이언스라고 하면 머신러닝이 먼저 떠오르지만, 사실 데이터 분석의 꽃은 바로 '인과관계'를 밝혀내는 일이라고 합니다. 성공적인 테크 기업들은 모두 제품 개발과 직원 성과 측정에 이 인과관계 분석을 활용하고 있죠. 그런데 이게 말처럼 쉽진 않다고 합니다. 어떤 데이터를 어떻게 모을지, 어떤 방법으로 분석할지 등을 꼼꼼히 따져봐야 해요. 제품마다 인과관계 분석 방법도 조금씩 달라지고요. 책에서는 인과추론이 왜 어려운지 설명하고, 인과추론을 위한 기초 개념부터 A/B 테스트부터 통제집단합성법까지 실무에서 쓰이는 다양한 분석 기법을 설명합니다. 그리고 이론 뿐 아니라 파이썬 코드도 함께 제공하기 때문에 실제 실무에서도 적용할 수 있도록 합니다.. 2024. 3. 24. [나는 리뷰어다] 밑바닥부터 시작하는 딥러닝 4 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 밑시딥 시리즈 1,2,3권 스터디를 모두 마치고 기고문을 작성하던 때, 밑시딥 4권이 곧 나온다는 소식을 듣고 기다리고 있었는데요. 감사하게도 한빛미디어 활동을 하게 되면서 책을 읽게 되었습니다. '밑바닥부터 시작하는 딥러닝4'는 강화학습에 대해 바닥부터 다루는 책입니다. 마음에 들었던 점은 각 개념의 정의와 용어를 명확하게 정리하여 배경지식이 많지 않은 사람들도 쉽게 접근할 수 있다는 점이었습니다. 또한, 수학적 개념들을 매우 쉬운 설명으로 풀어내고 있습니다. 기초적인 확률, 예를 들어 기댓값부터 시작해 큰 수의 법칙과 확률의 배경까지 세세하게 설명합니다. 왜 수학적 개념들이 필요한지 배경까지 설명해주니까 자연스럽게 이해할 수 있게 되었습니.. 2024. 2. 25. [밑시딥2] CHAPTER 5 순환 신경망(RNN) 지금까지 살펴본 신경망은 feed forward 신경망이었다. 흐름이 단방향인 신경망을 의미한다. 이러한 feed forward신경망은 구성이 단순하여 구조를 이해하기 쉽고, 그래서 많은 문제에 응용할 수 있지만 시계열 데이터를 잘 다루지 못한다는 단점이 있다. 더 정확히 feed forward 신경망에서는 시계열 데이터의 패턴을 충분히 학습할 수 없다. 따라서 순환 신경망(Recurrent Neural Network, RNN)이 등장하게 된다. 5.1 확률과 언어 모델 RNN 이야기를 시작하기 전, word2vec을 복습해보자. 5.1.1 word2vec을 확률 관점에서 바라보다 word2vec의 CBOW모델을 복습해보자. 그리고 맥락이 주어졌을 때 타깃이 해당 중심 단어가 될 확률은 아래와 같다. 지.. 2023. 7. 21. 이전 1 ··· 8 9 10 11 12 13 14 ··· 73 다음 반응형
