본문 바로가기

Study/class note

 (247)
딥러닝 / 손글씨 필기체 인식하는 신경망 만들기 ㅇ 신경망에 들어가는 함수 3가지 1. 활성화 함수 : 은닉층의 뉴런에 들어가는 함수이고 신호를 다음 뉴런으로 보낼때 신호의 정도를 결정하는 함수 - 계단함수, 시그모이드, 렐루, 하이퍼볼릭 탄젠트 함수 2. 출력층 함수 : 은닉층에서 보내온 신호들을 좋바해서 결론을 내주는 함수(확률벡터로 결론을 내줌) - 소프트맥수(분류용), 항등함수(회귀분석용) 3. 오차함수 : 신경망의 잘못을 깨닫게 해주는 함수 - 크로스엔트로피 함수(분류용), 평균제곱 오차(회귀분석용) ex. 이미분 분류가 실생활에서 사용되는 예 물품검색대에서 위반 물품 적발, 암여부 악성/양성 판별 11 손글씨 필기체 숫자를 인식하는 신경망 만들기 - p.96 mnist데이터는 숫자 0~9까지의 숫자 이미지로 구성되어 있고 훈련 데이터가 6만..
딥러닝 / 다차원 배열, 3층신경망 구현, 소프트맥스 함수 6 다차원 배열의 계산 - p.77 신경망에 들어가는 데이터는 다차원 배열입니다. 다차원 배열이 신경망에 들어가서 행렬 계산을 하기 때문에 다차원 배열에 대한 이해가 있어야합니다. 사진, 동영상 모두 다차원 배열입니다. ex. 이미지는 다차원 배열로 이루어짐(28x28 784개의 숫자로 이루어진 필기체 5의 이미지 데이터) mnist 필기체 데이터중에 하나로 하나의 픽셀이 0~255사이의 숫자로 되어 있고 숫자값이 클 수록 밝은색, 0에 가까울수록 어두운 색입니다. 예제1. 1차원 배열 만들기 import numpy as np a = np.array([1,2,3,4]) print(np.ndim(a)) # np.ndim() 차원확인 == 1차원이라 1 나옴 예제2. 위의 1차원 배열에서 숫자 4를 출력하시..
딥러닝 / 활성화함수(계단함수, 시그모이드, 하이퍼블릭 탄젠트, 렐루함수) ㅇ복습 1장 : numpy와 matplotlib 사용법 2장 : 퍼셉트론(저자가 구현한 퍼셉트론 함수는 가중치와 바이어스를 인위적으로 셋팅해서 구현, 텐서플로우오 단층 신경망과 다층 신경망을 만들어 퍼셉트론의 논리 회로 4가지를 직접 학습 시켜서 가중치와 바이어스를 생성했습니다.) 3장 신경망 1 3장의 학습 내용 책 예제를 통해 필기체 데이터를 인식하는 3층 신경망 생성 -- 신경망의 뉴런에 들어가는 함수들을 이해하고 생성 -- 신경망이 학습을 위해서 필요한 함수가 3가지 잇는데 활성화 함수, 출력층 함수, 오차함수가 있습니다. 이 함수들을 파이썬으로 생성하고 텐써플로우에서 불러올 수 있습니다. 3장에서 소개하고 있는 함수들 1. 활성화 함수 : 계단함수, 시그모이드 함수, 렐루 함수, 하이퍼블릭 탄젠..
딥러닝 / 퍼셉트론, AND 게이트,OR게이트, NAND 게이트, XOR 게이트, 가중치와 편향, XOR게이트 퍼셉트론 구현 2장. 퍼셉트론 1 퍼셉트론이란? - 인간의 뇌세포 하나를 컴퓨터로 흉내낸 것 - 1957년에 프랑크 로젠블라트가 고안 - 사람의 뇌 동작으로 전기 스위치 온/오프로 흉내낼 수 있다는 이론을 증명함 퍼셉트론을 간단히 얘기하면 인간의 뇌의 신경세포 하나를 컴퓨터로 흉내 냄. 1. 자극(stimulus) 2. 반응(reponse) 3. 역치(threshold) "특정 자극이 있다면 그 자극이 어느 역치 이상이어야 세포가 반응한다" ex. 짜게 먹는 사람은 자기가 평소에 먹는 만큼 음식이 짜지 않으면 싱겁다고 느낌.(역치 이하의 자극 무시) 위의 사항을 수학식으로 정리한게 퍼셉트론. 이걸 파이썬 코드로 구현할 것. 2 AND게이트 퍼셉트론을 컴퓨터로 구현하기 위해서 and 게이트 진리 연산표를 먼저 numpy..
딥러닝 / 넘파이 원소 접근, Matplotlib 로 그래프 그리기 4 넘파이(numpy) 원소 접근 - p.40 numpy배열 안에 요소들의 대한 접근은 numpy를 이용하지 않았을때보다 훨씬 간다한게 구현할 수 있음. 예제1. 아래의 리스트에서 숫자 55를 출력하시오. a = [51,55,14,19,0,4] a[1] 예제2. 아래의 리스트에서 숫자 15 이상인 숫자들만 출력하시오. a = [51,55,14,19,0,4] list(filter((lambda x : x > 15), a)) 예제3. 위의 결과를 numpy로 구현하시오. a2 = np.array(a) list(a2[a2>=15]) numpy를 이용하면 loop문을 최소화 할 수 있음. 예제4. 아래의 행렬식을 만들고 아래의 행렬 요소에서 15이상인 것만 출력하시오. a3 = [[51,55],[14,19],[..
딥러닝 / 텐서플로우 설치 3 텐서플로우 설치 ㅇ텐서플로우란? 구글에서 신경망을 코드로 구현하기 쉽도록 개발한 프레임워크. 텐서플로우를 이용하지 않는다면 파이썬 날코딩을 해서 신경망을 개발해야 하는데 그러면 코드도 길어지고 아주 복잡해짐. 잘못 코딩하면 속도도 느려짐. ㅇ텐서플로우 장점 1. 신경망을 구현하기 편하게 코드가 간결함 2. 신경망 구성에 필요한 모든 함수들이 다 내장되어 있음 3. 속도가 아주 빠름 4. GPU를 사용할 수 있음. 컴퓨터에서 계산작업할 때 CPU를 사용함. 다차원 배열을 가지고 계산을 해야하는 신경망의 경우 계산할 때 속도가 너무 느림. 그래서 CPU 대신 GPU를 사용하면 아주 빠르게 계산할 수 있습니다. ㅇ텐서플로우 설치과정 1. 아나콘다 프롬프트창을 열고 가상환경을 만듭니다. 우선 버전을 확인합니..
딥러닝 / 넘파이 딥러닝 기술을 이용해서 현업에서 하고 있는 일들? 1. 인천공항 컨테이너 검색대에 물건을 올리면 위반되는 물품이 있는지 검사 2. 병원에서 x-ray 사진이나 ct 영상에서 질병여부 판별 3. 제조업 불량품 판별 4. 주가 예측하는 신경망 5. 외국어 번역하는 신경망 6. 인공지능 변호(법률책 -> 신경망 -> 판결) 7. 음악 작곡 신경망 8. 기타 ex. 건강보험 심사 평가원에서 딥러닝을 사용하는 시스템 전체 구조 리눅스 ------------ 신경망 ----------------------------------------------------- 홈페이지 ↓ ↓ ↓ 몽고디비 텐써플로우로 신경망 구성 (질병 폐사진 vs 정상 폐사진) 신경망활용 ( 폐사진을 숫자로 변환해서 csv 파일로 생성해서 저장)..
하둡 / 몽고디비 DML문 작성하기(insert, update) 54 몽고디비에서 DML 문장 작성하기 mongodb가 앞에서 배운 hive와 scalar와 다른점은 DML문이 가능하다는 것. hive와 scalar는 데이터 하나를 변경하려면 다시 처음부터 csv파일의 데이터를 vi편집기로 변경해서 수정한 후에 hive에 로드해서 다시 테이블을 구성해야 합니다. 1. insert문 sql> insert into emp(empno,ename,sal) values(1111,'aaa',3000); mongo> db.emp.save({empno:1111,ename:"aaa",sal:3000}) db.emp.find() 2. update문 sql> update emp set sal = 9000 where ename = 'SCOTT'; mongo> db.emp.update( {..
하둡 / 몽고디비 GUI 툴 사용하기 SQL NoSQL Oracle, mySQL, mariaDB, mssql hive, mongodb, pig > job_result.csv 2022-03-30T11:04:24.627+0900 csv flag is deprecated; please use --type=csv instead 2022-03-30T11:04:24.627+0900 connected to: localhost 2022-03-30T11:04:24.627+0900 exported 5 records [root@centos ~]# cat job_result.csv _id,cnt PRESIDENT,1 MANAGER,3 SALESMAN,4 ANALYST,2 CLERK,4 몽고디비에서 우리가 검색하기 원하는 결과만 따로 테이블로 만들어서 위와 같이 ..
하둡 / 몽고디비 설치 49 몽고디비 설치 몽고디비 : NoSQL언어로 하둡에 있는 빅데이터를 검색하고 분석하는 소프트웨어 야후에서 개발했습니다. hive와 스칼라는 완전히 SQL과 똑같은데 몽고디비는 SQL과 다릅니다. 그런데 현업에서 몽고디비를 많이 쓰는 이유는 데이터가 update가 되기 때문입니다. hive와 스칼라는 update문이 수행되지 않습니다. 1. 하둡 시스템이 정상인지 확인합니다. (base) [oracle@centos ~]$ jps 2676 JobTracker 2585 SecondaryNameNode 2827 TaskTracker 5142 Jps 2427 DataNode 2272 NameNode 6개의 프로세서가 잘 떠있는지 확인합니다. 2. root유저로 접속해서 몽고디비를 설치합니다. [root@cen..
반응형

티스토리툴바