본문 바로가기

Study

 (259)
머신러닝 / 파이썬으로 연관규칙 모델 구현하기 ㅇ연관규칙이 필요한 이유 > 유튜브 알고리즘을 연상하면 편함 두 아이템간의 연관성을 확인하는 척도 1. 지지도 : 해당 아이템이 전체 거래건수 중에서 얼마나 자주 나타나는지 빈도수(frequency) > 아이템에 대한 확률을 구하면 됨 > 아이템이 하나일 경우 하나의 확률, 두개 이상일 경우 결합확률을 구하면 됨(X와 Y가 동시에 일어날 확률 = 교집합) 2. 신뢰도 : X라는 상품을 샀을 때 Y상품을 살 조건부 확률 > 신뢰도의 범위는 0 ~ 1 3. 향상도 : 규칙이 우연에 의해 발생한 것인지 아닌지를 판단하는 연관성 정도의 척도 = X와 Y를 모두 포함하는 거래건수 / (X를 포함하는 거래건수 * Y를 포함하는 거래건수) > 범위는 0 ~ 무한대 75 파이썬으로 연관규칙 모델 구현하기 #1. 프롬프..
머신러닝 / 연관규칙 이론, R 로 연관규칙 모델 구현하기 ㅇ머신러닝 종류 3가지 1. 지도학습 2. 비지도 학습 : 연관규칙, k-means 3. 강화학습 73 연관규칙 이론 이 세상의 대부분의 데이터는 정답이 없는 데이터가 훨씬 많음. 정답이 없는 데이터를 현업에서는 어떻게 활용하고 있는가? > 연관규칙 apriori 알고리즘(8장) : 아마존의 연관상품 추천, 넷플릭스 연관 영화 추천, 유튜브 알고리즘, 쿠팡 물류시스템 ㅇ연관규칙이란? 데이터 내부에 존재하는 항목 간의 상호관계 또는 종속관계를 찾아내는 분석기법. 데이터간의 관계에서 조건과 반응을 연결하는 분석으로 장바구니 분석 또는 서열 분석이라고 함. 간당한 성능 측정치(수학식)를 이용해서 거대한 데이터에서 데이터간의 연관성을 찾는 알고리즘. ㅇ연관규칙 apriori 알고리즘은 어떤 데이터의 패턴을 찾을..
머신러닝 / 파이썬으로 서포트 벡터 머신 모델 만들기 72 파이썬으로 서포트 벡터 머신 모델 만들기 - iris 데이터로 품종 분류하는 모델 생성하기 #1. 데이터 로드 #2. 결측치 확인 #3. 정규화 진행 #4. 훈련 데이터와 테스트 데이터 분리 #5. 모델 생성 #6. 모델 훈련 #7. 모델 예측 #8. 모델 평가 #9. 모델 개선 #1. 데이터 로드 import pandas as pd iris = pd.read_csv("c:\\data\\iris2.csv") iris.head() #label컬럼 4번째(마지막컬럼) iris.shape #(150, 5) #2. 결측치 확인 iris.isnull().sum() #3. 정규화 진행 x = iris.iloc[:,:-1] y = iris.iloc[:,-1] from sklearn.preprocessing im..
머신러닝 / R로 서포트 벡터 머신 모델 만들기 71 R로 서포트 벡터 머신 모델 만들기 - p.357 - iris 품종을 분류하는 서포트벡터 머신 모델 만들기 #1. 데이터 로드 #2. 결측치 확인 #3. 정규화 진행 #4. 훈련데이터와 테스트 데이터 분리 #5. 모델 생성 #6. 모델 훈련 #7. 모델 예측 #8. 모델 성능 개선 #1. 데이터 로드 iris
머신러닝 / 서포트 벡터 머신 이론(로지스틱 회귀) 70 서포트 벡터 머신 이론 서포트 벡터 머신(Support Vector Machine)은 기계학습의 분야 중 하나로 정답 데이터가 있는 지도학습에 해당하는 부분. 서포트 벡터 머신도 신경망처럼 분류와 수치예측(회귀)을 위해 사용. 두 개의 군집(class)이 주어졌을 때 SVM 알고리즘은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 군집(class)에 속할 지를 판단하는 선형 분류 모델을 생성함. 선형분류와 더불어 비선형 분류에서도 사용됨. ㅇ 서포트 벡터 머신의 결정경계 결정경계란 분류를 위한 기준선. 2차원일 때는 선이고 3차원 일때는 평면. 우리가 생각할 수 있는 부분은 3차원까지이고 차원이 더 많아지게 되면 평면이 아닌 초평면이 됨. ㅇ그렇다면, 아래에서 데이터를 가장 잘 분류한 결..
머신러닝 / R 로 신경망 모델 만들기(분류), 파이썬으로 신경망 모델 만들기(분류) 68 R 로 신경망 모델 만들기(분류) 와인의 등급을 분류하는 신경망 #1. 데이터 로드 #2. 결측치 확인 #3. 정규화 진행 #4. 훈련데이터와 테스트 데이터 분리 #5. 모델 설정 #6. 모델 훈련 #7. 테스트 데이터 예측 #8. 모델 평가 #9. 모델 성능 개선 #1. 데이터 로드 wine
머신러닝 / 하이퍼 파라미터 최적화(grid search), 파생변수 추가 ㅇ하이퍼 파라미터 최적화 1. R은 caret 패키지에 자동 튜닝 기능을 이용하면 됨 2. 파이썬은 grid search를 이용하면 됨 from sklearn.model_selection import GridSearchCV param_grid = {'hidden_layer_sizes' : [(100,50), (200,50),(100,100),(200,200)], 'activation' : ['relu','identity','tanh', 'logistic'], 'solver':['lbfgs','sgd','adam'] } model7 = GridSearchCV( MLPRegressor(random_state = 0), param_grid, n_jobs = -1, verbose = 2) model7.fit(x..
머신러닝 / 파이썬으로 신경망 모델 만들기 67 파이썬으로 신경망 모델 만들기 파이썬으로 콘크리트 강도를 예측하는 신경망 만들기 #1. 데이터 로드 #2. 결측치 확인 #3. 정규화 #4. 훈련데이터, 테스트 데이터 분리 #5. 모델 생성 #6. 모델 훈련 #7. 모델 예측 #8. 모델 평가 #9. 성능 개선 import pandas as pd #1. 데이터 로드 df = pd.read_csv("c:\\data\\concrete.csv") df.head() df.shape #(1030, 9) #2. 결측치 확인 df.isnull().sum() #3. 정규화 x = df.iloc[:,:-1] y = df.iloc[:,-1] from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler()..
머신러닝 / R 로 신경망 모델 만들기 ㅇ활성화 함수? 신경만의 세포인 뉴런에 입력되는 신호를 다음 신호로 내보낼지 말지(계단함수) 또는 어떠한 크기(시크모이드, 렐루함수)로 내보낼지를 결정하는 함수 목표 : 들어오는 신호가 역치(임계값)에 넘어서면 중요한 신호이고 역치에 도달하지 않으면 중요하지 않은 신호라는 것을 결정하는 함수 문제331. 시그모이드 함수 그래프를 R로 시각화 하시오. #R sigmoid 0: return x else: return 0 relu(4) # 4 relu(-3) # 0 > 그러나 이 방법으로 그래프를 그릴수는 없음. 문제335. 위의 relu함수를 파이썬으로 그리시오. import numpy as np import matplotlib.pyplot as plt def relu(x): return np.maximum..
머신러닝 / 퍼셉트론 R과 파이썬으로 구현하기 ㅇ퍼셉트론(perceptron) --> "뇌세포 하나를 수학적으로 재현함" ㄴ 지각하다, 인지하다 기계를 학습시키려면 공부할 데이터(문제집과 답)를 줘야함. AND 게이트 OR 게이트 Nand 게이트 Xor 게이트 (eXclusive or 게이트) x1 x2 y x1 x2 y x1 x2 y x1 x2 y F(0) F(0) 0 F(0) F(0) 0 F(0) F(0) 1 F(0) F(0) 0 F(0) T(1) 0 F(0) T(1) 1 F(0) T(1) 1 F(0) T(1) 1 T(1) F(0) 0 T(1) F(0) 1 T(1) F(0) 1 T(1) F(0) 1 T(1) T(1) 1 T(1) T(1) 1 T(1) T(1) 0 T(1) T(1) 0 ㅇand게이트 퍼셉트론 R로 구현하기 예제1. 아래의 행렬을 만..
반응형

티스토리툴바