본문 바로가기
반응형

-292

[나는 리뷰어다] 실무로 통하는 타입스크립트 "한빛미디어  활동을 위해서 책을 제공받아 작성된 서평입니다."TypeScript는 최근 개발 생태계에서 주목받고 있는 정적 타입 언어입니다. 많은 개발자들이 관심을 가지고 있지만, 진입 장벽에 대한 우려가 있었습니다. 저 또한 관심만 있고 어떻게 시작해야 할지 막막했는데요. 해당 책 "실무로 통하는 타입스크립트"는 그러한 고민을 해소하며, TypeScript와 JavaScript의 복잡한 관계를 명확히 설명하고 실무 적용 가능한 인사이트를 제공하고 있습니다.이 책의 가장 큰 강점은 실용성에 있다고 생각합니다. 기본 개념부터 고급 주제까지 총 105개의 실용적인 레시피를 통해 TypeScript를 체계적으로 학습할 수 있습니다. 특히 Type Assertion, Generics, 그리고 React와 같은.. 2024. 7. 28.
[밑시딥2] CHAPTER 4 4.1 word2vec 개선 1어휘가 100만개가 된다면?게산 병목이 생긴다- 입력층 원핫 표현과 가중치 행렬 Win 곱 -> 4.1- 은닉층과 가중치 행렬 Wout 곱, softmax 계산 -> 4.24.1.1 Embedding 계층위 작업에서 결국 하는 것은 특정 행을 추출하는 것. -> 단어에 해당하는 행을 추출하기만 하면 된다. 이 계층을 임베딩 계층이라고 부른다.4.1.2 Embedding 계층 구현행렬에서 특정 행을 추출하기: W[2] , W[5]class Embedding: def __init__(self, W): self.params = [W] self.grads = [np.zeros_like(W)] self.idx = None def for.. 2024. 7. 15.
FlashAttention-3:Fast and Accurate Attention with Asynchrony and Low-precision 논문 원문: https://tridao.me/publications/flash3/flash3.pdf AbstractTransformer 아키텍처의 핵심 요소인 "어텐션"에 관한 내용으로, 이는 대규모 언어 모델과 긴 문맥 처리 애플리케이션에서 성능의 병목 현상을 일으킬 수 있습니다. FlashAttention은 GPU에서 어텐션을 가속화하기 위해 메모리 읽기/쓰기를 최소화하는 방법을 제시했지만, 최신 하드웨어의 새로운 기능을 완전히 활용하지 못하고 있습니다. 예를 들어, FlashAttention-2는 H100 GPU에서 35%의 활용도에 그칩니다.우리는 Hopper GPU에서 어텐션을 가속화하기 위해 세 가지 주요 기술을 개발했습니다:1. 텐서 코어와 TMA의 비동기성을 활용하여 전체 계산과 데이터 이.. 2024. 7. 14.
Designing a Dashboard forTransparency and Control of Conversational AI 논문 원문: https://arxiv.org/pdf/2406.07882Abstract대화형 언어 모델(Conversational LLMs)은 블랙박스 시스템으로 작동하여 사용자에게 왜 특정 출력이 나오는지 추측하게 만듭니다. 이러한 투명성 부족은 편향성과 진실성에 대한 우려를 증가시키며, 이는 잠재적으로 문제가 될 수 있습니다. 이러한 문제를 해결하기 위해 우리는 해석 가능성 기법과 사용자 경험 디자인을 연결하여 챗봇을 보다 투명하게 만드는 엔드 투 엔드 프로토타입을 제시합니다.우선, 저명한 오픈 소스 언어 모델이 "사용자 모델"을 가지고 있다는 증거를 보여줍니다. 시스템의 내부 상태를 조사하여 사용자의 나이, 성별, 교육 수준, 사회경제적 상태와 관련된 데이터를 추출할 수 있음을 확인했습니다. 다음으로.. 2024. 7. 7.
반응형