쿠와와의 하루정리

# Day_04_01_freq 빈도를 알아보는 페이지 토큰의 워드 빈도수에 따라서 분류할 수 있음 import nltk import collections import matplotlib.pyplot as plt import operator # webtext 코퍼스에 있는 wine 파일을 토큰으로 구성하세요 wine = nltk.corpus.webtext.raw('wine.txt') wine = wine.lower() tokens = nltk.regexp_tokenize(wine, r'\w+') # print(tokens[:10]) # print(nltk.corpus.stopwords.fileids()) stopwords = nltk.corpus.stopwords.words('english') # 불용어(..

# Day_03_02_nltk.py 자연어 처리 import nltk # natural language toolkit 자연어 처리 모듈 # 데이터 -> 코퍼스 -> 토큰화 -> 어간 -> 품사 # 어간 -> 사람은, 사람이, 사람에게, 사람의, 사람이라면, 사람일까, ... # nltk.download('punkt') def load_datasets(): nltk.download('gutenberg') nltk.download('webtext') nltk.download('reuters') # nltk.download() def corpus(): print(nltk.corpus.gutenberg.fileids()) # file_ids 출력 moby = nltk.corpus.gutenberg.raw('me..