sliver__

[통계 기반 기법의 문제점] 많은 수의 단어를 처리하려면 메모리 사이즈가 ( 단어 수 * 단어 수 ) 만큼 필요하다. SVD를 n*n 행렬에 적용하는데는 $O(n^3)$ 의 비용이 든다. 학습 데이터를 한꺼번에 처리한다. [추론 기반 기법 개요] 주변 단어들을 맥락으로 사용해 알고싶은 위치의 단어를 추론한다. 모델이 등장. 모델을 신경망으로 사용하며 맥락 정보를 입력받아 각 단어의 확률을 출력한다. [신경망에서의 단어 처리] 단어를 고정 길이의 벡터 'One-hot vector'로 표기한다. 원핫벡터를 입력으로 신경망에 넣어 신경망에서 유추되는 단어의 값을 출력한다. [단순한 word2vec] CBOW(continous bag of words), skip-gram은 word2vec에서 사용되는 신경망이다..