자연어처리(Natural Language Processing)

자연어 처리란
"우리가 일상 생활에서 사용하는 언어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일"을 말합니다.

자연어 처리가 사용되는 분야는 무엇이 있을까요?
음성인식, 내용 요약, 번역, 사용자의 감성 분석, 텍스트 분류 작업(스팸 메일 분류, 뉴스 기사 카테고리 분류), 질의 응답 시스템, 챗봇 이렇게 다양한 분야에 사용되고 있습니다.

이제 자연어처리를 하기 위한 프로그램과 필요 프레임워크, 라이브러리를 설치해보도록 하겠습니다.

앞서 포스팅한 Anaconda는 자연어처리를 하기 위한 프로그램입니다. 

Anaconda를 설치했다면 기본적으로 Numpy, Pandas, Jupyter notebook, scikit-learn, matplotlib, seaborn, nltk 등이 이미 설치 되어 있습니다.

하지만 tensorflow, keras, gensim 이 세가지는 설치되어 있지 않으므로 pip을 통해 설치해야 합니다.

 

1) tensorflow 

이미지를 누르면 TensorFlow 사이트로 이동할 수 있습니다.

tensorflow는 다양한 작업에대해 데이터 흐름 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리입니다. 심볼릭 수학 라이브러리이자, 인공 신경망같은 기계 학습 응용프로그램 및 딥러닝에도 사용됩니다.

 

1-1)tensorflow 설치

먼저 Anaconda Prompt 또는 명령 프롬프트를 열어주세요.

그 다음 pip install tensorflow를 입력합니다.

잘 설치가 되었다면

ipython입력 후 import tensorflow as tf를 입력하면 설치가 잘 되었는지 확인할 수 있는데요, 완벽하게 이 프로그램을 이해하지 못한 저 같은 경우는 버전만 보고 잘 설치 된 줄 알았답니다.

하지만 나중에 jupyter notebook에서 실행했을 때 tensorflow가 왜 안되는거지 하고 당황하고 설치오류가 났다는것을 알 수 있었습니다.

tensorflow가 설치가 잘 안되었을 경우 

권리자 권한으로 실행 한 뒤 conda install tensorflow를 치면 잘 설치가 됩니다!

설치가 정상적으로 되었는지는 아나콘다 프롬프트에서 conda list를 입력후 tensorflow부분을 확인하면 됩니다.

아까 버전 확인했을 때와 같이 2.7.0버전이 설치되었습니다.

tensorflow 설치 오류는 

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=dioyong&logNo=221511023740 

아나콘다에 텐서플로 설치 사용하기

이 곳을 참고하였고 더 자세히 알 수 있습니다.

 

2) keras 

keras는 딥 러닝 프레임워크인 텐서플로우에 대한 추상화 된 API를 제공합니다. 케라스는 백엔드로 텐서플로우를 사용하며, 좀 더 쉽게 딥 러닝을 사용할 수 있게 해줍니다. 쉽게 말해, 텐서플로우 코드를 훨씬 간단하게 작성할 수 있습니다.

keras 또한 pip install keras를 입력한 후 설치하면 됩니다.

설치 후 확인 또한 tensorflow와 같습니다.

 

3) Gensim

Gensim은 머신 러닝을 사용하여 토픽 모델링과 자연어 처리 등을 수행할 수 있게 해주는 오픈 소스 라이브러리입니다.

Gensim또한 pip install gensim을 입력한 후 설치한 뒤 tensorflow와 같이 설치 확인 하면 됩니다.

4) Jupyter Notebook

Jupyter Notebook는 웹에서 코드를 작성하고 실행할 수 있는 오픈소스 웹 어플리케이션입니다.

Anaconda를 설치했다면 jupyter notebook은 같이 설치되므로 따로 설치 안해도 됩니다.

맨 아래 제시된 사이트로 들어가시면 됩니다!

들어가서 tensorflow가 설치 잘 되었나 직접 코드를 치며 확인할 수 있습니다.

 

그럼 이제 자연어처리를 위한 대부분의 프레임워크와 라이브러리 설치를 다 했습니다.

이후에는 NLTK와 KoNLPy 설치에 대해 포스팅하겠습니다.

 

이 포스팅은 모두

https://wikidocs.net/25280 밑에 사이트를 참조하였습니다. 

2) 필요 프레임워크와 라이브러리