본문 바로가기

Study/class note

 (247)
python / 산포도그래프, 라인그래프, 박스그래프, 상관계수그래프 seaborn의 히스토그램 그리는 distplot은 곧 사라질 메소드 > histplot으로 그리면 됨 # seaborn import pandas as pd import seaborn as sns emp14 = pd.read_csv("c:\\data\\emp14.csv") sns.histplot(emp14['age'], bins = 10) bins는 계급의 갯수 => 막대기 몇 개 나타낼 거냐는 의미 ㅇx축 지정 디테일하게 하는 방법 #한글 안깨지게 하는 코드 from matplotlib import font_manager, rc font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name() rc('font',..
python / 막대그래프, 원형그래프, 히스토그래프 153 막대 그래프 그리기 막대그래프 > 서로 다른 값을 비교해 더 긴 막대가 더 큰 숫자를 나타내는 방식으로 표현하는 다이어그램. 막대차트, bar graph, bar chart라고 부름. ㅇ파이썬에서 막대그래프를 그리는 방법 1. matplotlib 2. 판다스 3. seaborn - 판다스 내장 그래프 사용하는 문법 정리 1. 막대그래프 df.plot(kind = 'bar') #또는 df.plot.bar() 2. 원형그래프 df.plot(kind = 'pie') #또는 df.plot.pie() 3. 산점도 그래프 df.plot(kind = 'scatter') #또는 df.plot.scatter() 4. 라인 그래프 df.plot(kind = 'line') #또는 df.plot.line() 5. 박스..
python / 파이썬 데이터베이스 연동 시 주의점1(날짜형 데이터) 날짜형 데이터를 csv에서 가지고 오는 것과 데이터베이스(ex. mySQL, Oracle)에서 가져오는 것이 다름. emp.info() # 컬럼 정보 확인 ㅇ 날짜 데이터 다루기 1. csv파일을 가져왔을 때 -> 날짜형이 object로 str로 변환하여 슬라이싱할 수 있음. # 입사일에서 연도만 추출 import pandas as pd emp = pd.read_csv("c:\\data\\emp2.csv") emp.hiredate.str[:4] # 문자로 변환하여 슬라이싱 2. 데이터베이스에서 가져왔을 때 -> 날짜형이 datetime이므로 str로 변환할 수 없음. 날짜형 함수를 사용해서 연도/월/일을 잘라내야함. # 입사일에서 연도만 추출 emp = m.result # 데이터베이스에서 파일을 가져와서..
python / 파이썬과 mySQL 연동 152 파이썬과 mySQL 연동 mySQL은 1995년 오픈소스로 배포된 DBMS(DataBase Management System) 2010년 mySQL이 오라클에 인수된 후 현재 mySQL 8.0까지 배포되었으며 상용버전과 커뮤니티 버전으로 구분됨. 오라클에 인수되고나서 개발 지침과 라이센스 정책의 변화에 따라 mySQL 핵심 개발자의 주도로 오픈소스 정책을 지향하는 maria DB가 탄생. maria DB는 mySQL 소스코드에 기반을 두고 개발되었고, SQL을 사용하는 개발자 입장에서 현재까지 별다른 차이가 없고 더군다나 무료 mySQL 버전 mariaDB버전 2018.05 기준 8.0 10.3 2018.11 10.4 2019.12 10.5 2021.04 10.6 ㅇmySQL 설치 https://m..
python / 파이썬 오라클 연동 151 파이썬과 Oracle 연동 회사의 비즈니스 데이터는 전부 오라클이나 mySQL 그리고 MSSQL에 들어있음. 오라클에 있는 데이터를 분석하고자 한다면 SQL을 이용하거나 파이썬, R을 이용하면 되는데 SQL은 오라클에서 바로 수행할 수 있으므로 실시간으로 변경되는 데이터를 바로 볼 수 있음. 그런데 파이썬이나 R로 오라클의 데이터를 보려면 csv파일로 내려야함. 변경되지 않는 데이터라면 csv 파일로 내려서 파이썬에서 봐도 되지만 실시간 변경 데이터라면 일일이 csv파일로 내릴 수 없음. 따라서 오라클과 파이썬을 연동해야함. 예제1. 오라클 정상인지 확인 도스창 열고 다음과 같이 접속 sqlplus "/as sysdba" sqlplus c##scott/tiger 문제476. (복습문제) 직업이 S..
python / 웹스크롤링 이미지 150 웹스크롤링 실전8 (이미지 ) 문제459. (복습 문제) 어제 유튜브 댓글로 받은 csv 파일을 판다스 데이터 프레임으로 구성하시오. import pandas as pd ytb_tbk = pd.read_csv("c:\\data\\ytb_tbg_입짧은 햇님.csv") ytb_tbk 문제460. (복습 문제) 데이터 프레임의 전체 건수를 확인하세요. import pandas as pd ytb_tbg = pd.read_csv("c:\\data\\ytb_tbg_입짧은 햇님.csv") ytb_tbg[:].count() 문제461. (복습 문제) 댓글의 '귀엽'이라는 단어를 포함한 모든 댓글을 출력하시오. import pandas as pd a = pd.read_csv("c:\\data\\a.csv") a[..
python / 웹스크롤링 감성분석 ㅇ웹크롤링할때 예외처리하는 방법 def naver_blog(keyword,page_num): # 모듈 from selenium import webdriver from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup from urllib import request as urlreq import time import re # 크롬 드라이버 binary = "C:\\data\\chromedriver_win32\\chromedriver.exe" # 브라우저를 인스턴스화 driver = webdriver.Chrome(binary) params = [] for i in range(1,page_num+1): url = "https://..
감성분석 기본코드(한글) #1. 텍스트 파일 3개를 불러옵니다. ladybug = open('C:\\data\\ladybug_total.txt', encoding='utf-8-sig') positive = open('C:\\data\\pos_pol_word.txt',encoding='utf-8-sig') negative = open('C:\\data\\neg_pol_word.txt',encoding='utf-8-sig') #2. 텍스트 파일 3개를 읽어들입니다. bug = ladybug.read() # 게시글을 문자형 변수 bug 에 담는다. pos = set(positive.read().split('\n')) # 긍정단어를 엔터로 구분해서 리스트로 구성 neg = set(negative.read().split('\n')) # ..
python / 네이버 블로그 웹스크롤링 from selenium.webdriver.common.keys import Keys # 키보드를 컴퓨터가 알아서 조정할 수 있도록 키 제공 from selenium import webdriver # 컴퓨터가 알아서 웹페이지를 움직일 수 있도록 하는 모듈 from bs4 import BeautifulSoup # html 코드에서 우리가 원하는 텍스트를 가져오게 하는 모듈 import urllib # url주소를 파이썬이 인식할 수 있도록 하는 모듈 import re # 데이터 정제 전문 모듈 import time # 중간중간 sleep을 걸어서 서버에 부하를 주지 않게 함 # 스크롤바를 내렸을때 바로 화면이 뜨지 않고 딜레이가 생김 > 그걸 기다리기 위한 시간이기도 함 # 인공지능으로 중앙일보에서 검색했..
python / 중앙일보 웹스크롤링 ㅁ기업에서 사용하는 데이터 분석 시각화 툴 https://www.luminoso.com/daylight - 내가 직접 스크롤링한 데이터(csv)를 위의 사이트에 올리면 다음의 결과물을 제공해줌. 1. 해당 키워드의 긍정, 부정, 중립에 대한 가장 많은 빈도를 보이는 단어들의 순위 2. 워드 클라우드 시각화 3. 해당 키워드로 연관되는 단어들에 대한 순위 (다만 비싸고, 자꾸 프로그램에 의존하게되는 경향이 있음 = 파이썬 실력 저하, 고로 이런 툴이 있다는걸 알아만 둘 것) 문제427. 지난주 마지막 문제에 대한 긍정 단어 순위를 출력하기 위해 한국에서 만든 긍정단어집을 파이썬으로 로드하시오. 문제430. (복습문제) neg 부정단어집에 '버그'라는 단어가 있는지 확인해보세요. # 버그 포함된 단어 찾기 ..
반응형

티스토리툴바