본문 바로가기

컴퓨터47

Porter Stemmer(포터 스테머)를 만들어보자! 영어 자연어처리를 위한 전처리 과정에서는 동사의 어간을 추출하기 위한 'stemming' 과정이 포함되기도 합니다. 영어는 굴절어로 분류되며, 그 특징을 동사에서 발견할 수 있습니다. 물론 명사나 형용사에서 나타나는 접사들의 결합 여기에 포함될 수 있습니다. 동사의 경우만 살펴보자면, 예를 들어, say, says, saying, said는 say가 문장의 시제나 상(aspect), 태(voice)를 나타내기 위해 굴절이 일어난 형태입니다. 말뭉치(corpus) 내에서 통계를 분석할 때, 필요에 따라 이들은 모두 같은 단어인 'say'가 굴절한 형태로 보고 통계 수치가 측정되어야 할 것입니다. 이를 위해서 굴절 어미인, -s, -ing, -(e)d 등을 제거하여 say(sai)와 같은 어간(stem)만을.. 2021. 4. 22.

[알고리즘] 백준. 행렬 제곱 #10830 백준 단계별로 풀어보기 분할 정복 카테고리의 문제 중 10830번 문제인 '행렬 제곱'문제를 풀어보았습니다. 문제 크기가 N*N인 행렬A의 B제곱을 구하는 코드를 작성하라. 이때 $A^{B}$의 원소를 1000으로 나눈 나머지를 출력한다. 첫째 줄에 N과 B가 주어진다. (2 ≤ N ≤ 5, 1 ≤ B ≤ 100,000,000,000) 둘째 줄부터 N개의 줄과 N개의 행렬이 주어진다. #예시 2 5 1 2 3 4 로 주어지면 2 x 2 행렬 A = 1 2 3 4 A^5(B=5)를 구하면 된다. 접근법 첫번째 시도. 우선 B가 매우 큰 값이 올 수 있기 때문에 A의 B제곱에서 제곱 수인 B를 줄일 수 있는 방법을 고민했다. 즉, A를 B번 곱하는데, 이를 B보다 적게 곱하게 하고 싶었다. 분할 정복 문제이.. 2021. 1. 19.

블랙 서바이벌 영원회귀 리뷰글 분석(EDA) (feat. 도배글 처리) 최근 인기를 끌고 있는 게임 블랙 서바이벌 영원회귀의 steam 리뷰글에 대한 분석을 해보고자 한다. 전에 했던 보겸 유튜브 제목 EDA와 비슷한 방식으로 진행해보고자 한다. 실제 코드들은 아래 아래 글에서 확인해 볼 수 있다. skyjwoo.tistory.com/entry/%EC%9E%90%EC%97%B0%EC%96%B4-%EC%B2%98%EB%A6%AC-EDAExploratory-Data-Analysis 자연어 처리 EDA(Exploratory Data Analysis) EDA란? Exploratory Data Analysis의 약자로 데이터의 실질적인 분석 및 데이터를 활용한 작업 이전에 데이터의 분포 등 대략적인 정보를 파악하기 위한 작업. 이름에서도 알 수 있듯이 데이터를 탐색하 skyjwoo... 2021. 1. 4.

자연어 처리 EDA(Exploratory Data Analysis) EDA란? Exploratory Data Analysis의 약자로 데이터의 실질적인 분석 및 데이터를 활용한 작업 이전에 데이터의 분포 등 대략적인 정보를 파악하기 위한 작업. 이름에서도 알 수 있듯이 데이터를 탐색하는 과정이라 볼 수 있다. 주로 시각화와 함께 이뤄진다. 자연어 처리에서의 EDA 일반적인 수치 데이터에 대한 EDA가 가장 쉽게 찾아볼 수 있지만, 자연어 처리에 대한 EDA는 떠올리기 힘들었다. 따라서 이번 글에서는 자연어 처리에서의 EDA에 대해 직접 수행해본 결과를 공유해 보고자 한다. 주로 문자열의 길이 통계나품사, 토큰 등의 단위로 구분한 후 이에 대한 통계가 이용되는 듯하다. 본문은 다음 자료를 참고하였다. 영문 데이터에 대한 EDA에 대한 내용이어서 한국어 자연어처리에 맞게 몇.. 2020. 12. 17.

python pandas 기본 정리 항상 찾아서만 쓰다가 정리해 놓을 필요성이 느껴져서 자주 쓰는 함수들을 정리해 보았다. 1. DataFrame 만들기 1) tuple로 구성된 list를 이용해서 만들기 # DataFrame 만들기 ## tuple들의 list를 이용해서 만들기 goal_rank = [(1, '도미닉 칼버트-르윈', 11, '애버튼'), \ (2, '손흥민', 10, '토트넘'), \ (3, '모하메드 살라', 9, '리버풀' ), \ (3, '제이미 바디', 9, '레스터시티'), \ (5, '패트릭 뱀포드', 8, '리즈 유나이티드'), \ (5, '해리 케인', 8, '토트넘')] df1 = pd.DataFrame(goal_rank, columns = ['순위', '이름', '득점 수','소속팀']) df1.head.. 2020. 12. 11.

pyinstaller FileNotFoundError: [Errno 2] No such file or directory: [16716] Failed to execute script 오류 pyinstaller로 .py 파일을 .exe로 빌드하려다 오류가 발생했다. 제목에도 나와있는 것처럼 위와 같은 문제가 발생했을 때 어떻게 해결했는 지 공유하고자 한다. 간단히 .spec 파일을 수정해주고, .spec 파일로 빌드해주면 된다. 처음에 pyinstaller 파일이름.py 로 빌드를 하면 .spec 파일이 생성될 것이다. 이 .spec파일을 문서 편집기 등으로 열면 다음과 같은 코드가 나오는데(일부만 뽑았다.) 이 중 datas 부분에 빌드 과정에서 빠진 파일과 코드에서 요구하는 폴더 구조를 넣어주면 된다. a = Analysis(['ui.py'], pathex=['C:\\Users\\YJW2\\Documents\\NLP\\poetry_rhymer'], binaries=[], datas=[].. 2020. 12. 6.

이전 1 2 3 4 5 6 ··· 8 다음

티스토리툴바