3-2기 스터디/NLP 입문9 [3주차] NLP Chapter3. word2vec Chapter3. word2vec 3.1. 추론 기반 기법과 신경망 통계 기반 기법의 문제점 : 대규모 말뭉치를 다룰 때 현실적으로 계산하기 어려움, 말뭉치 전체의 통계를 1회만에 처리함(배치 학습) 추론 기반 기법의 이점 : 미니배치로 학습해서 어휘 수가 많아 계산량이 큰 작업을 처리하기 어려운 경우에도 신경망을 학습시킬 수 있음, 병렬 계산 가능(미니배치 학습) 공통점 : 분포 가설에 기초, ‘단어의 동시발생 가능성을 얼마나 잘 모델링 하는가’가 중요 3.2. 단순한 word2vec CBOW (Continuous bag-of-words) $W_{in}$의 각 행이 각 단어의 분산 표현에 해당 $W_{out}$에 단어의 의미가 인코딩 된 벡터가 저장됨(열 방향) word2vec에서는 최종적으로 이용하는.. 2022. 4. 22. [2주차] NLP Chapter2 - 자연어와 단어의 분산 표현 이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter2: 자연어와 단어의 분산 표현 2.1 자연어 처리란 자연어(natural language): 사람들이 평소에 쓰는 말 자연어 처리(natural language processing): 컴퓨터가 사람 말을 이해하도록 하는 것 자연어 처리 예시: 검색 엔진, 번역, 질의응답 시스템, 문장 자동 요약, 감정분석 등등 단어의 의미를 이해시키기 위한 방법으로는 시소러스를 활용한 기법, 통계 기반 기법, 추론 기반 기법 2.2 시소러스 유의어 집합 + 그래프 WordNet 시대 변화에 대응하기 어려움, 엄청난 인적 비용,.. 2022. 4. 11. [1주차] NLP Chapter1. 신경망 복습 Chapter1. 신경망 복습 1.1. 수학과 파이썬 복습 1.2. 신경망의 추론 2층 신경망 입력층/은닉층/출력층 = (X) / (Affine+Sigmoid) / (Affine+S) Affine $X \cdot W+B$ : 신경망의 순전파에서 수행하는 행렬의 곱 Sigmoid $\sigma(x) = {1 \over1+e^{-x}} $ : 비선형 활성화 함수 *추론 과정에서는 출력층에서 굳이 Softmax를 적용시키지 않고 가장 높은 score를 정답으로 판단한다. 1.3. 신경망의 학습 2층 신경망 입력층/은닉층/출력층 = (X) / (Affine+Sigmoid) / (Affine+Softmax+Cross Entropy Error+L) Softmax $y = {e^{a_k} \over \sum e^{a.. 2022. 4. 6. 이전 1 2 다음
