SNS 텍스트 분석(konlpy) 및 워드클라우드 - 랜덤표본
페이지 정보
본문
파주강아지분양
init_mathjax = function() {
if (window.MathJax) {
// MathJax loaded
MathJax.Hub.Config({
TeX: {
equationNumbers: {
autoNumber: "AMS",
useLabelIds: true
}
},
tex2jax: {
inlineMath: [ ['$','$'], ["\\(","\\)"] ],
displayMath: [ ['$$','$$'], ["\\[","\\]"] ],
processEscapes: true,
processEnvironments: true
},
displayAlign: 'center',
CommonHTML: {
linebreaks: {
automatic: true
}
},
"HTML-CSS": {
linebreaks: {
automatic: true
}
}
});
MathJax.Hub.Queue(["Typeset", MathJax.Hub]);
}
}
init_mathjax();
sns 텍스트 분석¶
In[3]:
import csv
import pandas as pd
import tweepy
import konlpy
import sys
import numpy as np
from konlpy.tag import Okt
from collections import Counter
from wordcloud import STOPWORDS
from wordcloud import WordCloud
from IPython.display import 파주강아지분양 Image
데이터 불러오기¶
In[99]:
# 데이터 불러오기
#df = pd.read_csv("TC_SN_NAMYANGJU__WEB_DOC_2/TC_SN_NAMYANGJU__WEB_DOC_2_sample.csv",encoding='cp949') #샘플
#df = pd.read_csv("TC_SN_NAMYANGJU__WEB_DOC_2/merge/TC_SN_NAMYANGJU__WEB_DOC_2_1.csv",encoding='utf-8') #1개
df = pd.read_csv("TC_SN_NAMYANGJU__WEB_DOC_2/merge.csv",encoding='utf-8') #전체
df.head(5)
C:\Users\user\anaconda3\lib\site-packages\IPython\core\interactiveshell.py:3441: DtypeWarning: Columns (0) have mixed types.Specify dtype option on import or set low_memory=False.
exec(code_obj, self.user_global_ns, self.user_ns)
Out[99]:
수집인덱스
기준년월
수집채널명
수집URL
제목
내용
0
1
2010-01
NAVER_BLOG
2010년 달라지는 세제주요내용
6;000가구);남양주진건(249만 1;000㎡약 1만 1;000가구) 등 총 ...
1
2
2010-01
NAVER_BLOG
전국 명승지(156곳)
남양주- 운길산 수종사 ☆ 74 . 강진 - 백련사와 동백 ☆ 75 . 영주.단양 ...
2
3
2010-01
NAVER_BLOG
우리나라 산 명승지 및 중국 필리핀 외
백운산남양주:견우.직녀봉0308남양주:견우;직녀봉0406남양주:수종사.사능수목원남양...
3
4
2010-01
NAVER_BLOG
올 부동산시장 월별 이슈
이번에 예약을 받는 물량은 서울 내곡ㆍ세곡2부천 옥길시흥 은계구리 갈매;...
4
5
2010-01
NAVER_BLOG
[2010년 전망] 경인년 새해 달라지는 부동산 제도
6;000가구);남양주진건(249만 1;000㎡약 1만 1;000가구) 등 총 ...
In[100]:
print(df.columns.tolist())
['수집인덱스', '기준년월', '수집채널명', '수집URL', '제목', '내용']
In[101]:
df_copy = df
다시 실행¶
In[208]:
df = df_copy
'내용' 속성만 불러오기
In[209]:
df = df.loc[:,['내용']]
df.head(5)
Out[209]:
내용
0
6;000가구);남양주진건(249만 파주강아지분양 1;000㎡약 1만 1;000가구) 등 총 ...
1
남양주- 운길산 수종사 ☆ 74 . 강진 - 백련사와 동백 ☆ 75 . 영주.단양 ...
2
백운산남양주:견우.직녀봉0308남양주:견우;직녀봉0406남양주:수종사.사능수목원남양...
3
이번에 예약을 받는 물량은 서울 내곡ㆍ세곡2부천 옥길시흥 은계구리 갈매;...
4
6;000가구);남양주진건(249만 1;000㎡약 1만 1;000가구) 등 총 ...
In[210]:
len(df)
Out[210]:
3382357
In[211]:
df = df.sample(n=50000) # 비복원 랜덤추출 5만개
len(df)
Out[211]:
50000
In[212]:
# 데이터프레임을 해제하여 리스트로 변환
df_list = df.values.tolist()
#df_list
In[213]:
# 이중리스트를 단일리스트로 변환
df_list = np.array(df_list).flatten()
#df_list
In[214]:
# 리스트를 해제 시키고 문자열 형태로 변환
df_str = "".join(df_list)
#df_str
In[215]:
# 문자열을 txt 형태로 저장
f = open("abc.txt","w",encoding='utf-8')
f.write(df_str)
f.close()
In[216]:
filename = "abc.txt"
f = open(filename,'r',encoding='utf-8')
words = f.read()
# okt 객체 생성
okt = Okt()
noun = okt.nouns(words)
for i,v in enumerate(noun):
if len(v);
In[235]:
Image('wordcloud.png')
Out[235]:
In[]:
In[]:
- 이전글오산 하수구막힘 원동 싱크대 물이 빠르게 안내려가면 25.09.24
- 다음글미소짓는 작대업체【텔@GD684】작업대출하는곳 작업대출업체 작대하는곳 작대후기 작업대출성공 작대성공 작업대출수수료 작대수수료 작업대출업체 【텔레@GD684】작업대출가능한곳 연체자작? 25.09.24
댓글목록
등록된 댓글이 없습니다.





