ML4 [8주차] 딥러닝을 이용한 자연어처리 입문 Chap.16 Transformer 내용 및 사진 출처: WikiDocs 딥러닝을 이용한 자연어 처리 입문(https://wikidocs.net/book/2155) 1. 기존의 seq2seq 모델의 한계 - seq2seq 모델: encoder(입력 시퀀스를 하나의 벡터로 압축)-decoder 구조(압축된 벡터를 통해서 출력 시퀀스 생성) - 입력 시퀀스의 정보가 일부 손실 -> 해결책으로 attention 등장 - 이 때, attention을 RNN의 보정을 위한 용도가 아닌 attention만으로 encoder&decoder를 생성하면? 2. Transformer의 주요 하이퍼파라미터 - d_model: Transformer의 인코더와 디코더에서의 정해진 입력과 출력의 크기 의미, 임베딩 벡터의 차원, 각 인코더와 디코더가 다음 층의 인.. 2022. 5. 30. [6주차] NLP Chapter 7. RNN을 사용한 문장 생성 - 8. 어텐션 이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter7: RNN을 사용한 문장 생성 7.1 언어 모델을 사용한 문장 생성 언어 모델: 지금까지 주어진 단어들에서 다음에 출현하는 단어의 확률분포를 출력 다음 단어를 생성하기 위해서는? - 결정적 방법: 확률이 가장 높은 단어를 선택 - 확률적 방법: 각 후보 단어의 확률에 맞게 선택 -> 매번 선택되는 단어가 달라질 수 있음 이렇게 학습된 단어의 정렬 패턴을 이용해(학습이 끝난 가중치를 통해) 새로운 문장을 생성하는 것이 가능 더 좋은 언어 모델로 더 자연스러운 문장을 생성 7.2 seq2seq 시계열 데이터 ex).. 2022. 5. 30. [4주차] NLP Chapter 4. word2vec 속도 개선 ~ 5.2 RNN이란 이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter4: word2vec 속도 개선 4.1 word2vec 개선(1) & 4.2 word2vec 개선(2) 앞 장에서 구현한 간단한 word2vec의 CBOW 모델의 문제점: 말뭉치 크기가 많이 크다면 그에 따라 계산량도 굉장히 많아진다 (아래와 같은 예시) 입력층의 원핫 표현과 가중치 W_in의 곱 계산 단어 임베딩 or 단어의 분산 표현 (통계기반기법-> distributional representation, 신경망 추론기반기법 -> distributed representation) - 순전파 & 역전파 - 미니.. 2022. 5. 2. [2주차] NLP Chapter2 - 자연어와 단어의 분산 표현 이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter2: 자연어와 단어의 분산 표현 2.1 자연어 처리란 자연어(natural language): 사람들이 평소에 쓰는 말 자연어 처리(natural language processing): 컴퓨터가 사람 말을 이해하도록 하는 것 자연어 처리 예시: 검색 엔진, 번역, 질의응답 시스템, 문장 자동 요약, 감정분석 등등 단어의 의미를 이해시키기 위한 방법으로는 시소러스를 활용한 기법, 통계 기반 기법, 추론 기반 기법 2.2 시소러스 유의어 집합 + 그래프 WordNet 시대 변화에 대응하기 어려움, 엄청난 인적 비용,.. 2022. 4. 11. 이전 1 다음
