전체 글 178

텐서플로 # RNNBasic_1

텐서플로 처음할 때 자동완성이 없으면 하기 힘들기 때문에 tensorflow 버전을 1.14로 맞춰주세요. # 텐서 플로를 이용해서 내부적 동작을 공부할 것 import tensorflow as tf import numpy as np import csv np.set_printoptions(linewidth=1000) # np 한개에 1000개씩 출력하는 것 # import pandas as pd # from sklearn import preprocessing # 1.14 버전 설치 # 최신 버전 2.3 -> 문제 RNN 동작 과정을 보여줘야하는데 2.3은 자동 완성이 안됨 # 텐서플로 4가지 알고리즘 문제가 나왔을 때 밑에 4가지 중 하나 선택해서 ㄱㄱ # 리니어 리그레션, 멀티플 리그레션 # 로지스틱 ..

카테고리 없음 2020.11.25

자연어 처리 - 영화 리뷰 분석해서 그래프로 그려보기

주석이 부족한 부분이 있으면 말해주세요. import csv import re import nltk import collections import matplotlib.pyplot as plt # https://github.com/e9t/nsmc # x, y 데이터를 반환하는 함수를 만드세요 # 김윤 박사 cnn sentence 검색하면 깃헙 나옴 # 해당 사이트에서 clean_str 함수를 찾아서 우리 코드에 적용하세요 # 모든 문서의 토큰 갯수를 그래프로 그려보세요 def clean_str(string, TREC=False): """ Tokenization/string cleaning for all datasets except for SST. Every dataset is lower cased exce..

인공지능/RNN 2020.11.25

#6. 프랭클린 자서전

따지고 반박하는 사람치고 일이 잘 풀리는 사람이 없다. 프랭클링과 모리스의 대화中 M : "나의 앞날이 험날 할 것 같지 않소? " P : "아닙니다. 반대로 아주 편할 수 도 있습니다. 주의회와 부딪치지 않도록 조심만 한다면 말입니다. " M : "어떻게 나더러 논쟁을 피하라는 거요? 내가 논쟁을 좋아한다는 걸 당신도 알지 않소 ? 그건 내 유일한 낙이라오. 그래도 당신의 조언을 존중해서 가능하면 논쟁을 하지 않겠다고 약속하지요." 모리스는 말을 잘하고 특히 궤변에 능해서 누구와 말싸움을 해도 지는 법이 거의 없었다. 하지만 프랭클린은 논쟁을 즐기는 것은 별로 현명하지 못하다고 생각한다. 상대방을 꼬치꼬치 따지고 반박해 꼼짝 못하게 하는 사람치고 일이 잘 풀리는 사람이 별로 없는 듯하다. 그렇게 해서 ..

자연어 처리 ( text에 있는 word에 대한 빈도수 도출하기 )

import nltk import collections import matplotlib.pyplot as plt # 세익스피어의 헴릿에 등장하는 주인공들의 출현 빈도로 막대 그래프를 그려보세요 # gutemberg # 햄릿, 거트루드, 오필리어, 클로디어스, 레어티스, 호레이쇼 # print(nltk.corpus.gutenberg.fileids()) # 1. 햄릿 읽기 txt = nltk.corpus.gutenberg.raw('shakespeare-hamlet.txt') # text 전체 # 2. actors 찾기 names = ['hamlet', 'gertrude', 'claudius', 'laertes', 'ophelia', 'polonius', 'horatio'] txt = txt.lower() d..

인공지능/RNN 2020.11.24

자연어 처리 (Gensim)

# Day_06_01_gensim.py import gensim import nltk import collections import pprint # 건강한 사람과 암에 걸렸을 확률을 계산 # 암에 걸릴 비율 (0.1%), 건강할 확률 (99.9%) # 암 판정을 받았을 때의 정확도: 95% # 암이 아니라고 판정했을 때의 오진율 : 2% # 암 판정 # 실제 암에 걸렸을 확률: (암에 걸릴 확률 * 정확도)(암에 걸리지 않았을 확률 * 오진률) # 0.001 * 0.95 = 0.00095 -> 0.04538939321548 판정 시 / 전체 확률 # 0.999 * 0.02 = 0.01998 -> 0.954610610678452 아닐 시 / 전체 확률 # -------------------------- #..

인공지능/RNN 2020.11.24

#5. 프랭클린 자서전

"그 원칙이란, 우리가 다른 사람들의 발명품으로 큰 도움을 받고 있으므로 우리 또한 우리의 발명품으로 다른 사람들에게 기꺼이 도움을 주어야 하며 그것도 부수를 받지 않고 아낌없이 그렇게 해야 한다는 것이었다." "당신에게 친절을 받은 사람보다 친절을 베풀어준 사람이 당신을 계속 더 잘 봐줄 것이다" 이 말이 너무 마음에 많이 와닿았다. 당연한 말이지만 막상 행동으로 하기 쉽지 않은 이러한 것들을 내가 먼저 자기보기를 하고 실행해봐야겠다. 프랭클린은 한 역사책을 읽고 가서 이러한 생각을 하게 되었다. 하나의 당파가 포괄적인 계획을 수행하고 있는 동안에도 당원들은 각자 자신만의 이익을 추구한다. 공적인 자리에 있는 사람들 중 겉으로 어떻게 행동하든 순수하게 국가의 이익을 위해서만 일하는 사람은 거의 없다. ..

#4. 프랭클린 자서전

"어떤 목표를 이루기 위해 사람들의 도움을 받아야 할 때 자신을 내세우면, 상대는 우리가 자신들보다 조금이라도 더 유명해질까 봐 선뜻 도우려 하지 않는다." 그렇기 때문에 프랭클린은 가능하면 자신을 드러내지 않으려고 했다. 잘난 체하고 싶은 마음을 잠깐만 억누르면 나중에 더 큰 보상을 받는다. 프랭클린은 하루에 2시간씩을 꼭 독서를 했는데 이유는 그가 술집을 가지도, 노름을 하지도 않았으며 어떠한 놀이도 즐기지 않았다. 독서는 스스로에게 허락한 유일한 오락이였다. 모든 사람이 이렇게 지내기는 힘들 것이다. 모든 삶의 요소들을 절제하고 부지런하고 끈기있게 자신의 일을 한다는 것은 쉽지않다. 하지만 실제로 이렇게 해나가는 사람들이 있고 그들은 최소한 자신에 대한 만족감이 높은 사람들일 것이다. 나 또한 술과..

[알고리즘] Lower Bound(방해꾼 논법)

-어떤 (해결 가능한) 문제가 주어져 있다고 하자. 그럼 이 문제를 해결하는 algorithm 의 upper bound 와 lower bound 는 어떻게 정의할 수 있을까? 1. 해당 문제를 T 시간 안에 해결하는 algorithm 이 존재 한다. Ex ) -Size 가 n인 array 에서 selection 을 하는 문제의 upper bound 는 O(n) 이다. -Size 가 n인 array 에서 selection 을 하는 문제의 upper bound 는 O(n2) 이다. ->이 경우 첫번째 upper bound 가 더 우수한 upper bound 가 된다. -Strongly connected component 를 구하는 문제의 upper bound 는 O (n+m) 이다. -Longest incr..

알고리즘 2020.11.23

자연어처리( doc2vec )

import nltk import random import collections import time # word to vector -> 단어를 숫자로 바꾸겠다. document to vector 다큐먼트를 벡터로 바꿈 # ex 영화 리뷰를 그 안의 단어를 가지고 충분히 학습 후 -> 긍정, 부정을 나눔 => doc to vec # doc 분석해서 어떤 분류인지 알아내겠다. def make_vocab(vocab_size=2000): # 사실 2천개는 너무 적음 만개는 해야함 # nltk.download('movie_reviews') words = nltk.corpus.movie_reviews.words() # print(len(words)) # print(nltk.corpus.movie_reviews.c..

인공지능/RNN 2020.11.22