반응형 -291 Graph-Aware Language Model Pre-Training on a Large GraphCorpus Can Help Multiple Graph Applications 논문 원문: https://arxiv.org/pdf/2306.02592ABSTRACT대규모 텍스트 말뭉치에 대한 모델 사전 학습이 NLP 분야의 다양한 하위 응용 프로그램에 효과적임이 입증되었습니다. 그래프 마이닝 분야에서도 유사한 유추를 통해 대규모 그래프에서 그래프 모델을 사전 학습하여 하위 그래프 응용 프로그램에 도움이 되기를 기대할 수 있으며, 이는 최근 여러 연구에서도 탐구되었습니다. 그러나 풍부한 텍스트 정보를 가진 대규모 이종 그래프(일명 대규모 그래프 말뭉치)에서 텍스트와 그래프 모델을 함께 사전 학습한 후, 서로 다른 그래프 스키마를 가진 다양한 관련 하위 응용 프로그램에 대해 모델을 미세 조정하는 연구는 아직 없었습니다. 이 문제를 해결하기 위해, 우리는 대규모 그래프 말뭉치에 대한 그.. 2024. 9. 8. CHAIN-OF-VERIFICATION REDUCES HALLUCINATIONIN LARGE LANGUAGE MODELS 원문: https://arxiv.org/pdf/2309.11495 ABSTRACT대규모 언어 모델에는 '할루시네이션'이라고 부르는 문제가 있습니다. 이는 그럴듯하지만 사실은 틀린 정보를 만들어내는 현상을 말합니다. 연구자들은 이 문제를 해결하기 위해 'Chain-of-Verification(COVE)' 방법을 개발했습니다.COVE 방법은 다음과 같은 4단계로 이루어집니다.1. AI가 먼저 초안 답변을 작성합니다.2. 그 초안의 사실 여부를 확인하기 위한 질문들을 계획합니다.3. 다른 답변들에 영향을 받지 않도록 독립적으로 그 질문들에 답합니다.4. 마지막으로 검증된 최종 답변을 생성합니다.연구자들은 이 방법을 여러 종류의 태스크에 적용해 보았습니다. 예를 들어, Wikidata에서 가져온 목록 기반 질문.. 2024. 9. 1. [나는 리뷰어다] AI 딥 다이브 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다."결론을 먼저 말하자면, 두고두고 반복해서 읽을 책입니다.책을 열고 '잡지 같다'라는 인상이 들었습니다.주제 하나에 대해 내용이 아주 길지도 않고, 책 자체도 저자가 기고한 글을 엮어서 만들어서 더 그런 느낌이 났던 것 같습니다.가벼운 마음으로 읽을 수 있지만, 또 내용을 따라가다보면 얕지만은 않습니다.문장 하나하나를 얼마나 고민해서 썼는지가 느껴집니다.참고한 논문과 서적을 찾아가다보면 하루에 한 주제를 못 읽을 때도 많았습니다.책을 읽으면서 저자에게 존경심이 들었는데, 옮긴이의 글에서 그 이유를 찾을 수 있었습니다."AI의 고전과 신고전, 이론과 실제를 넓고 깊게 정리해서 읽는 것만으로 머릿속의 엔트로피를 줄여줍니다. 정보가 흘러넘치는 시대일.. 2024. 8. 25. [밑시딥2] Chapter 8. 어텐션 8.1 어텐션의 구조어텐션 메커니즘을 사용하여 seq2seq에서 필요한 정보에만 '주목'할 수 있게 된다.또한, seq2seq가 가지고 있던 문제도 해결할 수 있게 된다.8.1.1 seq2seq의 문제점seq2seq에서는 Encoder가 시계열 데이터를 인코딩하고, 이 인코딩된 정보를 Decoder로 전달한다.이때 Encoder의 출력은 '고정 길이 벡터'였는데, 이 부분에 큰 문제점이 있다.고정 길이 벡터는 입력 데이터(문장)의 길이에 관계없이, 항상 같은 길이의 벡터로 변환한다.그렇기 때문에, 필요한 정보가 벡터에 다 담기지 못한다.8.1.2 Encoder 개선Encoder 출력의 길이를 입력 문장의 길이에 맞추어서 바꿔준다.이제 마지막 은닉 상태뿐 아니라 각 시각(각 단어)의 은닉 상태 벡터를 모두.. 2024. 8. 12. 이전 1 2 3 4 5 6 7 8 ··· 73 다음 반응형
