Word 2 Vector
Abstract
큰 data set로부터 만들어진 단어들의 continuous vector representation들을 연산하는 데에 사용하는 두 가지 새로운 model architecture를 제안한다. 정확도 면과 낮은 cost 면에서 큰 발전을 볼 수 있었다. 또한, 이 vector들은 syntatic, semantic word similarity 측정에서 test set에 대해서 SOTA(state of the art) 성능을 냈다.
1 Introduction
∘ 최근 NLP 시스템들과 기술들은 단어들 사이의 유사성은 인지하지 않은 채 단어들을 더 이상 쪼갤 수 없는 단위로 여기고 있음. 단어들 각각을 vocabulary 안에서 index로 구분할 뿐.
∘ 이런 방식은 단순함. 성능 면에서 큰 data로 학습한 단순한 모델이 적은 data로 학습한 복잡한 모델보다 우수함.
- ex. statistical language modeling에 사용되는 N-gram 모델
∘ 단순한 기술들이 여러 task에서 한계를 보임 → 논문에서 주목한 문제점
- ex. automatic speech recognition을 위한 관련된 in-domain data의 양이 부족함
∘ basic 기술들의 규모 확대만으로 상당한 발전을 이끌어내기가 어려운 상황이므로 심화된 기술에 집중해야 됨
1.1 Goals of the Paper
∘ 수십억 개의 단어들 로 이루어진 거대한 data set들과 수백만 개의 단어들로 이루어진 vocabulary로부터의 high-quality word vector들의 학습에 이용될 수 있는 기술들을 소개하는 것이 이 논문의 목표
∘ 결과 vector representation의 quality를 측정하는 기술
- 비슷한 단어들끼리 가까이 위치할 것이고, 단어들의 similarity가 여러 단계임
∘ word representation의 similarity가 단순한 syntatic regularity를 넘어섰음
vector("King") - vector("Man") + vector("Woman") 은 단어 "Queen"의 vector representation에 가까움
∘ 논문에서 단어들 간의 linear regularity들은 유지한 새로운 model architecture를 개발함으로써 이러한 vector 연산의 정확도를 높이려 했음
1.2 Previous Work
∘ word vector들이 한 개의 hidden layer를 가진 neural network로 처음에 학습되고 NNLM을 train하는 데에 사용된 연구. full NNLM을 구축하지 않고도 word vector들이 학습된 것. 이 architecture에서 나아가 단순한 모델로 word vector가 학습되는 첫 번째 단계에 집중했음.
∘ word vector들이 많은 수의 NLP의 적용의 상당한 발전과 단순화에 이용될 수 있음
∘ 특정 모델에 비해 cost가 많이 발생, 몇몇 diagonal weight matrix가 이용되는 log-linear model 을 제외하고는
2 Model Architecture
∘ 논문에서는 LSA, LDA와 같은 continuous representation을 평가하는 model이 아닌 neural network들로 학습된 distrubuted representation에 집중했음
∘ 첫 번째로 서로 다른 model architecture들을 비교하기 위해 computational complexity 정의. model을 fully 학습시킬 때 접근하게 되는 parameter의 개수로.
∘ 두 번째로 accuracy를 높임과 동시에 computational complexity를 줄이도록 시도
∘ computational complexity
O = E x T x Q (1)
- E : epoch 수
- T : training set에 있는 word의 개수
- Q : 각 model architecture에 맞게 이후에 정의되는 값
∘ 모든 model들은 stochastic gradient descent와 packpropagation을 이용하여 train되었음
2.1 Feedforward Neural Net Language Model (NNLM)
∘ feedforward neural network language model은 input, projection, hidden, output layer로 구성되어 있음
- input layer : 1-of-V(V는 vocabulary의 size) coding을 이용해서 N개의 previous word들을 encode함
- projection layer : N x D 차원. projection matrix를 이용해서 input layer가 project됨. projection layer의 값들이 dense해서 projection layer와 hidden layer 사이의 연산 때문에 NNLM architecture가 complex해짐.
- hidden layer : vocabulary의 모든 단어들에 대해 probability distribution을 연산하는 데에 사용됨. 그래서 output layer가 V 차원이 됨
∘ training example 당 computational complexity
Q = N x D + N x D x H + H x V (2)
- 여기서 dominating 항은 H x V인데 이걸 막기 위한 해결책들이 제시됐음
=> comlpexity가 N x D x H 항의 값에 큰 영향을 받게 됨
- D : word representation dimension
∘ 논문에서는 Huffman binary tree로 vocabulary가 표현된 hierarchical softmax를 이용
- neural net language model들에서 class들을 얻는 데에 word의 frequency가 중요한 역할을 함
- balanced binary tree는 log2(V) 개의 output를 요구 하는 반면, softmax는 log2(Unigram_perplexity(V))만 요구함
2.2 Recurrent Neural Net Language Model(RNNLM)
∘ RNN을 기반으로 한 language model은 context length를 명시해야 한다는 점 등의 feedforward NNLM의 한계를 극복했음.
∘ RNN은 얕은 neural network보다 더 복잡한 패턴들을 효과적으로 나타낼 수 있음
∘ RNN은 input, hidden, output layer만 가짐. projection layer 없음
∘ time-delayed connection을 이용해 hidden layer가 자기 자신에 연결하는 recurrent matrix
- 이로써 short term memory 비슷한 걸 둘 수 있게 됨
- 과거의 정보를 hidden layer state에 담고, 다음 time step으로 넘어갈 때마다 업데이트
∘ RNN model의 training example 당 complexity
Q = H x H + H x V (3)
- projection layer 제거됨. D는 H와 같아짐.
- H x H가 complexity에 가장 영향을 많이 주는 항
2.3 Parallel Training of Neural Networks
∘ 큰 data set들에서 model을 학습시키기 위해 DistBelief라는 large-scale distributed framework위에서 몇 model들을 실행했음
- framework를 이용해 동일 모델의 다수의 replica들을 병렬적으로 실행시킬 수 있음. 그리고 중앙의 서버를 이용해 각 replica가 gradient upate를 동기화할 수 있음.
- 병렬 학습을 위해 mini-batch asynchronous gradient descent와 Adagrad(adaptive learning rate) 적용
3 New Log-linear Models
∘ complexity의 대부분은 non-linear hidden layer가 원인이 됨
∘ neural network language model은 두 단계에 걸쳐 성공적으로 학습될 수 있음
- continuous word vector들이 simple model을 이용해 학습됨 → 만들어진 word들의 distributed representations에서 N-gram NNLM을 학습시킴
3.1 Continuous Bag-of-Words Model
∘ non-linear hidden layer가 없어졌고, projection layer가 모든 word들에 대해 공유된다는 점에서 feedforword NNLM과 비슷
∘ 단어의 순서가 projection에 영향을 주지 않음
∘ context word들(center word 앞, 뒤의 단어들)로 center word 예측
∘ center word 앞의 단어들 4개와 뒤의 단어들 4개 이용하는 log-linear classifier에서 좋은 성능 보임
∘ training complexity
3.2 Continuous Skip-gram Model
∘ 동일 문장의 다른 단어들을 이용하여 center(current) word를 예측
- center word를 continuous projection layer를 가진 log-linear classifier의 input으로 이용하여 center word 앞, 뒤로 특정 범위 내의 word들을 예측
- 이 범위를 늘리는 것이 결과로 나오는 word vector들의 quality를 높이지만 동시에 computational complexity를 높임
∘ center word에서 멀리 떨어진 단어들은 sampling을 적게 함으로써 멀리 있는 단어일수록 center word와의 관련성이 줄어듦을 반영
∘ training complexity
- C : maximum distance
- R : 1~C 사이의 랜덤 수
∘ input으로 current word 입력하면 output으로 2R 개의 단어가 나옴
4 Results
∘ word 간에 다양한 종류의 similarity가 있음
∘ "bigger : big
small : ???"
vector의 단순한 algebraic 연산으로 답할 수 있음
∘ 많은 양의 데이터로 high dimension의 word vector들을 학습시키면 word 간의 미묘한 의미적 관계도 답할 수 있음
4.1 Task Description
∘ 5종류의 semantic 질문들과 9종류의 syntatic 질문들로 포괄적인 test set을 구성했음
∘ 가장 가까운 word의 vector가 답일 때에만 정답으로 처리. 유의어는 mistake로 처리.
∘ word의 형변환에 대한 정보는 아직 model에 없음
4.2 Maximization of Accuracy
∘ 시간이 제한된 상황에서의 최적화 문제. 큰 데이터를 이용해 높은 차원의 word vector를 학습시킨다면 정확도를 더 높일 수 있을 것이라 예상해볼 수 있음 → 학습시키는 단어 수, 차원 수에 따른 정확도 측정
∘ 같은 데이터로 각각의 모델로 학습시킨 640차원의 word vector를 이용한 실험의 결과
4.3 Comparixon of Model Architectures
4.4 Large Scale Parallel Training of Models
4.5 Microsoft Research Sentence Completion Challenge
5 Examples of the Learned Relationships
6 Conclusion