분류 전체보기316 [4주차] NLP Chapter 4. word2vec 속도 개선 ~ 5.2 RNN이란 이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter4: word2vec 속도 개선 4.1 word2vec 개선(1) & 4.2 word2vec 개선(2) 앞 장에서 구현한 간단한 word2vec의 CBOW 모델의 문제점: 말뭉치 크기가 많이 크다면 그에 따라 계산량도 굉장히 많아진다 (아래와 같은 예시) 입력층의 원핫 표현과 가중치 W_in의 곱 계산 단어 임베딩 or 단어의 분산 표현 (통계기반기법-> distributional representation, 신경망 추론기반기법 -> distributed representation) - 순전파 & 역전파 - 미니.. 2022. 5. 2. [3주차] NLP Chapter3. word2vec Chapter3. word2vec 3.1. 추론 기반 기법과 신경망 통계 기반 기법의 문제점 : 대규모 말뭉치를 다룰 때 현실적으로 계산하기 어려움, 말뭉치 전체의 통계를 1회만에 처리함(배치 학습) 추론 기반 기법의 이점 : 미니배치로 학습해서 어휘 수가 많아 계산량이 큰 작업을 처리하기 어려운 경우에도 신경망을 학습시킬 수 있음, 병렬 계산 가능(미니배치 학습) 공통점 : 분포 가설에 기초, ‘단어의 동시발생 가능성을 얼마나 잘 모델링 하는가’가 중요 3.2. 단순한 word2vec CBOW (Continuous bag-of-words) $W_{in}$의 각 행이 각 단어의 분산 표현에 해당 $W_{out}$에 단어의 의미가 인코딩 된 벡터가 저장됨(열 방향) word2vec에서는 최종적으로 이용하는.. 2022. 4. 22. [기술 면접 대비] 3주차- 네트워크 1. OSI 7계층과 각 층에 대한 설명 OSI 7계층은 네트워크 프로토콜 디자인과 통신을 계층으로 나누어 설명한 것입니다. 응용 계층, 표현 계층, 세션 계층, 전송 계층, 네트워크 계층, 데이터링크 계층, 물리 계층으로 이루어져 있습니다. osi 7계층은 이론적인 모델이고, 실제로 데이터를 전송하는 데 사용되는 모델은 tcp/ip 모델이라고 한다. osi는 통신 전반에 대한 표준이고, tcp/ip는 데이터 전송기술에 특화되어 있다. 각각이 헤더를 붙여 캡슐화했기 때문에 문제가 발생했을때 빠르게 대응할 수 있다. 7계층-응용 계층(Application Layer) HTTP, DNS등을 이용해 사용자가 네트워크에 접속할 수 있도록 해주는 계층 6계층-표현 계층(Presentation Layer) 데이터를.. 2022. 4. 17. [3주차] 클린코드 7~10장 정리 🚩 7장 오류처리 7장에서는 오류처리를 처리를 하는 기법과 고려사항을 소개한다. 사실 과제나 개인 프로젝트를 하는데 오류를 따로 처리한적이 많지 않았던것 같다. 특히나 java 언어를 쓸때 예외처리를 catch, throw과 같은 코드를 종종 배우는 과정에서 사용했던건 기억나는데 실제로 어떤 프로그램을 혼자 만들때는 잘 쓰지 않았다.. 이 장에서도 돌아가기만 하면 되는 방식으로 코드를 작성했던 방식이 자각이 되었다. 너무 시간이 촉박한 상황에서 코딩해야 하는때가 대부분이었다는것과 예외처리를 하는것에 대한 중요성을 크게 못느꼈다는게 요인이 아니었다 싶다. 하지만 실제로 서비스되는 프로그램의 코드를 짜게된다면 예외처리를 깔끔하게 잘하는것이 정말 중요할것같다. 오류를 처리하는 방법 명시적으로 많은 오류코드를 .. 2022. 4. 15. [인공지능 논문 읽기] 1주차 4월 4일 ~ 4월 10일 동안 각 스터디원이 연구하고 있거나 관심 있는 분야의 논문을 읽고, 4월 10일 자정까지 핵심을 위주로 요약하여 깃허브 레포에 issue로 남기는 첫 주를 마쳤습니다. 장서진 님은 2004년 machine learning 분야의 A Brief Introduction into Machine Learning을 요약하였습니다. 이은빈 님은 2016년 machine learning 분야의 Federated Learning: Strategies for Improving Communication Efficiency를 요약하였습니다. 김시정 님은 2020년 Computer Vision 분야의 YOLOv4: Optimal Speed and Accuracy of Object Detection을.. 2022. 4. 12. [2주차] NLP Chapter2 - 자연어와 단어의 분산 표현 이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter2: 자연어와 단어의 분산 표현 2.1 자연어 처리란 자연어(natural language): 사람들이 평소에 쓰는 말 자연어 처리(natural language processing): 컴퓨터가 사람 말을 이해하도록 하는 것 자연어 처리 예시: 검색 엔진, 번역, 질의응답 시스템, 문장 자동 요약, 감정분석 등등 단어의 의미를 이해시키기 위한 방법으로는 시소러스를 활용한 기법, 통계 기반 기법, 추론 기반 기법 2.2 시소러스 유의어 집합 + 그래프 WordNet 시대 변화에 대응하기 어려움, 엄청난 인적 비용,.. 2022. 4. 11. 이전 1 ··· 33 34 35 36 37 38 39 ··· 53 다음
