NLP using Deep Learning - 딥러닝을 사용한 자연어 처리
'자연어 처리' (Natural Language Processing) 라는 분야는 이름에서 유추할 수 있듯이 인간의 언어를 모델링 하여 컴퓨터와 인간이 소통할 수 있게 해주는 분야이다. 더 정확하게는, 인간이 듣고, 말하고, 쓰는 언어라는 도구가 가진 패턴 및 현상을 기계적으로 분석하여 컴퓨터가 이해할 수 있는 형태로 만들고 인간이 이해할 수 있는 내용으로 생산해 낼 수 있게하는 것이 자연어 처리라고 정의할 수 있겠다. 일반적으로 자연어 처리는 음성 인식, 자연어 인식 및 생성 분야를 통틀어 일컫는다.
'자연어 처리'(편의상 NLP 로 통일하겠다) 에 대한 개념적인 이해뿐만 아니라 어떤 방식으로 구현하고 수학적으로 어떻게 모델링 되는지 알고 싶다면 아래 Citation 부분에 리스트 된 논문들을 일독하고 파이썬과 텐서플로우를 활용하여 코딩을 해보면 되겠다 (참고로 GitHub에 관련된 오픈소스들이 굉장히 많다). 마치 튜토리얼을 하듯이 한줄 한줄 코딩을 하다보면 어느새 음성 인식이나 language modeling 등 어려운 일들을 척척 해내는 자신을 발견할 수 있을 것이다.
NLP와 관련된 최근 연구 동향은 Text generation 에 집중되고 있는듯 하다. 영상 분야에 보면 GAN (Generative Adversarial Network) 라는 기술이 있는데, 이는 진짜 같은 가짜 영상을 생성해 내는 기술이다. 상당히 난이도가 있는 기술로써 현재 영상 분야의 연구들도 generative model 에 관련된 연구들이 굉장히 많다.
Neural network 가 가짜 이미지 데이터를 생성(generate) 을 하는 것은 상대적으로 쉬운 편이다 (여전히 어렵지만 말이다). 왜냐하면 문장(텍스트)의 경우에는 단어가 하나만 바뀌어도 문장의 뜻이 달라지기 때문에 문장을 생성해낸다는 것은 여간 어려운 일이 아니다. 하지만 최근에 나온 논문 중에 MaskGAN: Better Text Generation via Filling in the ______ 이라는 논문이 이러한 문제에 대한 한가지 방안을 제시한다. 자세한 내용은 Citation 에 있는 링크를 타고 들어가서 직접 논문을 읽어보길 바란다.
NLP 는 굉장히 많은 면에서 활용이 되고 있는 기술이다. 음성 인식을 활용한 Google assistant 나 Amazon 의 Alexa 같은 보이스 어시스턴트들의 활약은 이미 사람들의 삶에 자리 잡고 있고, 나날히 발전하는 딥러닝과 발 맞추어 더욱 더 진보된 성능을 보여주고 있다. 예를 들어 2018년 5월 초에 발표된 Google Duplex 는 마치 사람과 같이 말하는 보이스 어시스턴트의 성능을 선보이며 전세계의 눈길을 끌었다. 세간에서는 마치 이러한 기술들이 사람들의 직업을 빼앗고 인간 세상을 종말로 인도할 것이라며 호들갑을 떨지만, 결코 그럴 일은 일어나지 않을 것이다 (대부분 그런 말을 하는 사람들 중에 인공지능과 자연어 처리에 대해서 공부를 해본 사람이 없다). 다음 영상은 구글 CEO인 Sundar Pichai 가 Google Duplex 를 시연하는 영상이다.
NMT 와 마찬가지로 NLP 또한 딥러닝이 적용되기 전까지 그렇다 할 성과를 보여주지 못했다. 딥러닝 시대 이전의 NLP 도 rule-based 모델이 가장 많은 부분을 차지했고, 이후 통계적 기법들이 적용된 통계 기반의 NLP 모델들 또한 해당 분야에 상당히 많은 발전을 가져왔다.
지금까지의 NLP 가 발전하는 방향성과 속도 등을 고려해 보았을 때, NLP 는 사회에 대변화를 가져올 수 있는 가장 큰 잠재력을 가졌다. 음성 생성 (Speech generation) 의 발전으로 인하여 사람과 구별할 수 없는 목소리를 가진 AI 의 출현과, NLP 의 전반적인 발전으로 인하여 사람과 무리 없이 대화까지 할 수 있는 수준에 이르른 AI 는 이제 인간들에게 여러 편의성을 제공할 수 있게 되었다. 하지만, 이러한 기술의 발전은 텔레마케터나 해설위원과 같은 이들의 일자리를 위협할 수도 있다. 사람보다 더 나은 응대율과 24시간 동안 고객의 불만과 민원을 아무렇지 않게 처리할 수 있는 AI 는 길지 않은 시일 내에 인간을 대체할 것이다. 학생들의 질문을 받고 그 어떤 선생님 보다 더 빠르고 정확하게 알맞은 정보를 전달해 줄 수 있는 AI 가 나온다면 선생님이나 학원 강사들 또한 대체의 대상이 될 수도 있다. 앞으로 사회의 발전은 인간과 인간이 소통하듯이 듣고 보고 말할 수 있는 AI 의 도움으로 이루어 질것이다. 하지만 기술을 발전 시킴과 동시에 사람들의 일자리와 생계를 보호할 수 있는 제도적인 장치가 도입된 다음에 기술의 상용화가 이루어지는 것이 인간사회 전체에게 더 득이 되는 일이 될 것이다.
NLP 와 관련된 업무를 하는 회사는 역시나 구글, 아마존, 카카오, 네이버와 같은 대기업들이다. 물론 NLP와 관련된 기술을 개발하기 위해 야심찬 출발을 한 회사는 많았지만 대기업에 인수합병 된 경우가 대다수이다. 하지만 이 중에서도 여러 기업의 투자를 유치하며 발전에 발전을 거듭하고 있는 기업이 있다. 바로 '스켈터랩스 (SkelterLabs)'이다. 이 회사에 관한 정보 및 리뷰는 블로그에 있으니 읽어보기를 바란다. 개인적으로 정말 가고 싶은 기업 중 하나이다.
자연어 처리(NLP) 와 관련된 특허나 논문들은 아래의 Citation 부분에 명시가 되어있으니 참고하길 바란다.
<Citations>
1) Recent Trends in Deep Learning Based Natural Language Processing, (2018, May 17)
https://arxiv.org/pdf/1708.02709.pdf
2) 딥러닝 기반 자연어처리 기법의 최근 연구 동향, Ratsgo, (2018, May 17)
https://ratsgo.github.io/natural%20language%20processing/2017/08/16/deepNLP/
3) 솔라리스의 인공지능 연구실, NLP with Deep Learning, (2018, May 17)
http://solarisailab.com/archives/959
4) Interactive Transcribed Dialog Data Normalization, NLP with Deep Learning for Korean
http://images.nvidia.com/content/gtc-kr/part_6_skt.pdf
5) MaskGAN: Better Text Generation via Filling in the ______
https://arxiv.org/abs/1801.07736
6) Natural Language Processing system and method, (2018, May 17)
https://patents.google.com/patent/US9152623
7) NLP-based content recommender, (2018, May 17)
https://patents.google.com/patent/US9471670/da
'자연어 처리'(편의상 NLP 로 통일하겠다) 에 대한 개념적인 이해뿐만 아니라 어떤 방식으로 구현하고 수학적으로 어떻게 모델링 되는지 알고 싶다면 아래 Citation 부분에 리스트 된 논문들을 일독하고 파이썬과 텐서플로우를 활용하여 코딩을 해보면 되겠다 (참고로 GitHub에 관련된 오픈소스들이 굉장히 많다). 마치 튜토리얼을 하듯이 한줄 한줄 코딩을 하다보면 어느새 음성 인식이나 language modeling 등 어려운 일들을 척척 해내는 자신을 발견할 수 있을 것이다.
NLP와 관련된 최근 연구 동향은 Text generation 에 집중되고 있는듯 하다. 영상 분야에 보면 GAN (Generative Adversarial Network) 라는 기술이 있는데, 이는 진짜 같은 가짜 영상을 생성해 내는 기술이다. 상당히 난이도가 있는 기술로써 현재 영상 분야의 연구들도 generative model 에 관련된 연구들이 굉장히 많다.
Neural network 가 가짜 이미지 데이터를 생성(generate) 을 하는 것은 상대적으로 쉬운 편이다 (여전히 어렵지만 말이다). 왜냐하면 문장(텍스트)의 경우에는 단어가 하나만 바뀌어도 문장의 뜻이 달라지기 때문에 문장을 생성해낸다는 것은 여간 어려운 일이 아니다. 하지만 최근에 나온 논문 중에 MaskGAN: Better Text Generation via Filling in the ______ 이라는 논문이 이러한 문제에 대한 한가지 방안을 제시한다. 자세한 내용은 Citation 에 있는 링크를 타고 들어가서 직접 논문을 읽어보길 바란다.
NLP 는 굉장히 많은 면에서 활용이 되고 있는 기술이다. 음성 인식을 활용한 Google assistant 나 Amazon 의 Alexa 같은 보이스 어시스턴트들의 활약은 이미 사람들의 삶에 자리 잡고 있고, 나날히 발전하는 딥러닝과 발 맞추어 더욱 더 진보된 성능을 보여주고 있다. 예를 들어 2018년 5월 초에 발표된 Google Duplex 는 마치 사람과 같이 말하는 보이스 어시스턴트의 성능을 선보이며 전세계의 눈길을 끌었다. 세간에서는 마치 이러한 기술들이 사람들의 직업을 빼앗고 인간 세상을 종말로 인도할 것이라며 호들갑을 떨지만, 결코 그럴 일은 일어나지 않을 것이다 (대부분 그런 말을 하는 사람들 중에 인공지능과 자연어 처리에 대해서 공부를 해본 사람이 없다). 다음 영상은 구글 CEO인 Sundar Pichai 가 Google Duplex 를 시연하는 영상이다.
NMT 와 마찬가지로 NLP 또한 딥러닝이 적용되기 전까지 그렇다 할 성과를 보여주지 못했다. 딥러닝 시대 이전의 NLP 도 rule-based 모델이 가장 많은 부분을 차지했고, 이후 통계적 기법들이 적용된 통계 기반의 NLP 모델들 또한 해당 분야에 상당히 많은 발전을 가져왔다.
지금까지의 NLP 가 발전하는 방향성과 속도 등을 고려해 보았을 때, NLP 는 사회에 대변화를 가져올 수 있는 가장 큰 잠재력을 가졌다. 음성 생성 (Speech generation) 의 발전으로 인하여 사람과 구별할 수 없는 목소리를 가진 AI 의 출현과, NLP 의 전반적인 발전으로 인하여 사람과 무리 없이 대화까지 할 수 있는 수준에 이르른 AI 는 이제 인간들에게 여러 편의성을 제공할 수 있게 되었다. 하지만, 이러한 기술의 발전은 텔레마케터나 해설위원과 같은 이들의 일자리를 위협할 수도 있다. 사람보다 더 나은 응대율과 24시간 동안 고객의 불만과 민원을 아무렇지 않게 처리할 수 있는 AI 는 길지 않은 시일 내에 인간을 대체할 것이다. 학생들의 질문을 받고 그 어떤 선생님 보다 더 빠르고 정확하게 알맞은 정보를 전달해 줄 수 있는 AI 가 나온다면 선생님이나 학원 강사들 또한 대체의 대상이 될 수도 있다. 앞으로 사회의 발전은 인간과 인간이 소통하듯이 듣고 보고 말할 수 있는 AI 의 도움으로 이루어 질것이다. 하지만 기술을 발전 시킴과 동시에 사람들의 일자리와 생계를 보호할 수 있는 제도적인 장치가 도입된 다음에 기술의 상용화가 이루어지는 것이 인간사회 전체에게 더 득이 되는 일이 될 것이다.
NLP 와 관련된 업무를 하는 회사는 역시나 구글, 아마존, 카카오, 네이버와 같은 대기업들이다. 물론 NLP와 관련된 기술을 개발하기 위해 야심찬 출발을 한 회사는 많았지만 대기업에 인수합병 된 경우가 대다수이다. 하지만 이 중에서도 여러 기업의 투자를 유치하며 발전에 발전을 거듭하고 있는 기업이 있다. 바로 '스켈터랩스 (SkelterLabs)'이다. 이 회사에 관한 정보 및 리뷰는 블로그에 있으니 읽어보기를 바란다. 개인적으로 정말 가고 싶은 기업 중 하나이다.
자연어 처리(NLP) 와 관련된 특허나 논문들은 아래의 Citation 부분에 명시가 되어있으니 참고하길 바란다.
<Citations>
1) Recent Trends in Deep Learning Based Natural Language Processing, (2018, May 17)
https://arxiv.org/pdf/1708.02709.pdf
2) 딥러닝 기반 자연어처리 기법의 최근 연구 동향, Ratsgo, (2018, May 17)
https://ratsgo.github.io/natural%20language%20processing/2017/08/16/deepNLP/
3) 솔라리스의 인공지능 연구실, NLP with Deep Learning, (2018, May 17)
http://solarisailab.com/archives/959
4) Interactive Transcribed Dialog Data Normalization, NLP with Deep Learning for Korean
http://images.nvidia.com/content/gtc-kr/part_6_skt.pdf
5) MaskGAN: Better Text Generation via Filling in the ______
https://arxiv.org/abs/1801.07736
6) Natural Language Processing system and method, (2018, May 17)
https://patents.google.com/patent/US9152623
7) NLP-based content recommender, (2018, May 17)
https://patents.google.com/patent/US9471670/da
Comments
Post a Comment