NLP 를 위한 CNN

http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/

Understanding Convolutional Neural Networks for NLP

 

char CNN

• Character level CNN for text classification

Character-level Convolutaional Neural Network(이하 charCNN)은 CNN의 메커니즘상 지역정보를 잘 표현하고, 많은 정보에서 특징점만 뽑을 수 있는 특성이 있습니다. 더욱이 word representation이 아닌 가장 최소 단위인 문자를 가지고 CNN을 적용하고, 좋은 성능을 보입니다. 문자열을 기반으로 하여 OOV(out of vocab)에 유연하고, 구어체 및 채팅과 같은 형태의 인간오류를 잘 보정해 줍니다.

 

 

http://hugrypiggykim.com/2018/04/04/character-levelconvolutionalnetworksfortext-classi%EF%AC%81cation%E2%88%97/

Character-level Convolutional Networks for Text Classification∗

char CNN의 장점: 

Text 분류를 위한 모델링을 하다보면 항상 어려운 부분이 형태소 분석기의 부정확성이다. Char Level 로 CNN 을 사용하는 방법을 통해 형태소 분석기의 부정확성에 따른 악영향을 최소화 할 수 있다는 점에서 굉장히 의미가 있는 접근 방법이라고 생각된다. 구지 단어 단위의 해석이 필요한 NER, SRL 과 같은 Task 가 아니라면 단순 텍스트 분류(영역, 감정 등) 및 Contents 의 from ~ to 위치가 중요한 MRC 같은 경우에도 적용이 가능하며, 실제로 많이 사용하고 있다 .

번거로운 Task 형태소 분석 및 Word Embedding 모델 (W2V, Glove, Fastext) 등 고민 없이 바로 더 유사하거나 더 좋은 결과를 볼 수 있다는 점에서 큰 의미가 있으며, char 단위 Embedding 의 장점인 오타 등에 대한 처리도 장점이 된다고 생각한다. 추가적으로 필요하다면 Word 단위의 정보와 Concat 을 통해서 성능을 올리는 방법도 고민해 볼 수 있지 않을까?