리눅스 설치

리눅스 --> 하둡 --> 스파크 --> 딥러닝

 

ㅇ리눅스란?

유닉스(unix)가 너무 고가여서 핀란드의 리누즈 토발즈라는 학생이 1991년에 개발한 os운영 시스템.

리누즈 토발즈가 리눅스의 커널(자동차의 엔진 같은 것)을 개발하고 코드를 무료로 공개함. 그리고 전세계의 개발자들이 이 오픈소스를 가져다가 더 좋게 개선해서 다시 인터넷에 올리고 또 올리고 하는 작업을 반복하다 보니 지금은 리눅스 os가 유닉스보다 더 가볍고 안정적이고 더 대중화 되었음.

 

GNU프로젝트 : 누구든지 배포된 오픈소스를 가져다가 개발할 수 있고 돈을 벌 목적으로 상용화 할 수도 있는데 한가지 지켜야할 약속은 이 소스를 가져다가 더 좋게 수정했으면 그 코드를 인터넷에 꼭 올려줘야함.

레드헷(유료) ----> Cent os (무료)

 

리눅스 서버를 관리하는 직원 <-- 서버 관리자

리눅스 서버의 데이터베이스를 관리하는 직원 <-- DBA

리눅스 서버의 데이터 관리와 데이터 전처리 <-- 데이터 엔지니어

 

ㅇ리눅스의 종류

1. Oracle Linux(유료)

2. Cent os

3. ubunt

4. 기타

 

ㅇ리눅스 설치

1. 가상화 환경 구성을 위한 oracle vmware를 다운로드

2. centos 프로그램 다운

 

 

ㅇ하둡(Hadoop)이란?

대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크.

하둡은 하나의 성능 좋은 컴퓨터를 사용하여 데이터를 처리하는 대신, 적당한 성능의 범용 컴퓨터 여러대를 클러스터화하고, 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 분산처리 시스템.

 

집에서 쓰는 일반 컴퓨터를 여러대 묶어서 마치 하나의 성능좋은 서버처럼 사용가능하게 해주는게 바로 하둡.

 

하둡은 윈도우 os에 설치하는게 아니라 리눅스에 설치해서 사용해야하므로 리눅스를 먼저 배워야함.

 

ㅇ스파크(Spark)?

하둡의 맵리듀스의 단점을 보완한 분산처리 엔진

disk기반으로 처리되는 하둡과는 다르게 스파크는 메모리 기반으로 처리되기 때문에 하둡보다 속도 10~1000배까지 빠르게 설계되었음.

 

하둡 위에 스파크를 얹어서 실시간 처리하는 아키텍처가 많이 쓰이고 있음.

 

ㅇ가상화?

하나의 물리적 서버에서 여러 운영체제와 애플리케이션을 실행할 수 있도록하는 소프트웨어 기술

즉, 물리적인 하나의 컴퓨터 안에 가상으로 또다른 컴퓨터를 구현하는 것.

 

가상화 소프트웨어 2가지

1. oracel VMware

2. VMware

 

ㅇ리눅스 설치시 주의사항

1. 소프트웨어를 설치할 때 GNOME으로 설치해야함.

2. centos7 설치파일이 있는 경로에 한글이 포함되어져 있으면 안됨.

 

■ 리눅스 설치 

 1. Oracle vm virtualbox 를 실행합니다.

 2. 새로만들기를 누릅니다. 

 3.  c 드라이브의 공간이 부족하므로 d 드라이브 밑에 oraclevm이라는 폴더를 만들고 
      그 폴더를 선택합니다.

 4. 종류를 리눅스로 하고 버전을 oracle(64-bit) 로 선택합니다. 

 5. 계속 다음 버튼 누르다가 메모리는 2048로 하고

 6. 계속 다음 버튼 누르다가 디스크 크기를 20gb 로 잡습니다. 

 7. 만들기를 누룹니다. 

지금까지는 가상환경 컴퓨터를 만들건데 메모리는 2기가, 디스크는 20기가로 생성한것 입니다. 

 8. 리눅스14를 더블클릭을 하면 시동디스크 선택이 나옵니다. 

 9. 폴더 처럼 생긴것을 눌러서 아까 다운로드 받은 centos 설치파일을 선택합니다. 

 10. test this media & install  centos 를 선택합니다. (방향키로 움직여야합니다)

 11. 엔터를 치고 선택합니다. 

 12. 설치할 언어를 한글로 선택합니다. 

 13. 소프트웨어 선택을 누룹니다.

 14. GNOME 데스트탑을 선택합니다. 

  15. GNOME 개발툴, 레거시 X 윈도우 , 개발용툴, 시스템 관리도구를 체크합니다.

  16. 설치대상 누르고 완료를 누르면 경고 메세지가 없어지면서 설치시작 버튼이 활성화 됩니다.

 17. root 암호는 1234로 합니다. 

 18. 사용자 생성을 누루고  계정명을 oracle, 비밀번호는 1234 로 합니다.

 19.  재부팅을 누룹니다.

 20. 라이센스 동의를 누르고 완료를 누룹니다.

 21. 네트워크 및 호스트를 누룹니다. 이더넷을 켭니다. 그리고 완료를 누룹니다.

 22. 설정완료를 누룹니다. 

 23. 로그인 화면에서 목록이 없습니까? 를 누룹니다. 

 24. 사용자 이름을 root 를 적습니다.

 25. 패스워드는 1234 로 합니다. 



■ 게스트 cd 확장 설치 

 왜 이 작업을 해야하는가 ?  마우스와 키보드를 윈도우와 리눅스 가상 컴퓨터를 왔다갔다 하게되면
                                     불편한게 있습니다.  가상 환경에서 윈도우로 넘어갈때 마우스를 빠져나오게
                                    하려면 ctl +alt + delete 를 눌러야하는데 매번 이렇게 작업하면 불편해서
                                     그냥 편하게 마우스를 빠져나오게 하려면 게스트 cd 확장 설치를 해줘야합니다.

1. root 로 접속합니다

2. 장치 ------> 게스트 확장 cd 삽입을 누룹니다

3. 바로 실행하겠습니까 라고 물어보면 바로 실행을 합니다

4.그렇지 않고 그냥 바탕화면에 Vbox 의 큰 원형 cd 모양이 생성만 되었다면 클릭해서
  열고 상단 옆에 프로그램 실행을 눌러서 설치 합니다

5. 재부팅 합니다

6. root 로 접속해서 위에 x 버튼 옆에 화면 키우는 버튼을 눌러서 화면이 전체 화면으로 크게 나오면 잘 된겁니다.


■ 리눅스 시스템에서 인터넷이 되는지 확인하는 방법


1. 위에 프로그램에 firfox 를 누르세요

2. www.naver.com 으로 들어가서 연결이 안되면

3. 위에 시작 버튼을 누르고 시스템 도구로 가서 설정을 누룹니다.

4. 네트워크를 누르고 유선을 켭니다.

5. 옆에 톱니바퀴를 누르고 자동 연결을 체크 합니다.

6. 다시 firefox 로 접속해서 www.naver.com 로 들어가봅니다. 

■ 윈도우와 리눅스간에 복사 붙여넣기를 자유롭게 할 수 있도록 하는 방법

 1. 터미널창을 엽니다.

 2. 아래의 명령어를 실행합니다.

   yum install  kernel  sources

   yum install  kernel-devel

   yum  install   make

   yum  install  gcc

 3. 재부팅 (reboot)
 4. root 로 접속해서 리눅스 상단에 장치--> 클립보드공유 ---> 양방향을 선택
 5. ctl + shift + c,  v 를 눌러서도 복사 붙여넣기 가능 

문제1. (오늘의 마지막 문제) 아래의 명령어를 윈도우의 메모장에 써놓고 복사해서 리눅스의 
         터미널 창에 붙여넣기가 잘되는지 확인하고 화면 캡쳐를 해서 올리시오 !

 ls 

pwd