반응형 ETRI1 자연어 처리 EDA(Exploratory Data Analysis) EDA란? Exploratory Data Analysis의 약자로 데이터의 실질적인 분석 및 데이터를 활용한 작업 이전에 데이터의 분포 등 대략적인 정보를 파악하기 위한 작업. 이름에서도 알 수 있듯이 데이터를 탐색하는 과정이라 볼 수 있다. 주로 시각화와 함께 이뤄진다. 자연어 처리에서의 EDA 일반적인 수치 데이터에 대한 EDA가 가장 쉽게 찾아볼 수 있지만, 자연어 처리에 대한 EDA는 떠올리기 힘들었다. 따라서 이번 글에서는 자연어 처리에서의 EDA에 대해 직접 수행해본 결과를 공유해 보고자 한다. 주로 문자열의 길이 통계나품사, 토큰 등의 단위로 구분한 후 이에 대한 통계가 이용되는 듯하다. 본문은 다음 자료를 참고하였다. 영문 데이터에 대한 EDA에 대한 내용이어서 한국어 자연어처리에 맞게 몇.. 2020. 12. 17. 반응형 이전 1 다음
