기업체 특강 /에이플랫폼

에이플랫폼

1. 데이터의 변화

2. 데이터 처리 시스템의 변화

3. 취업 관련 조언

 

정형데이터

비정형데이터

 

데이터 저장/ 처리 비용의 하락으로 비정형 데이터의 활용 증가

 

Not only SQL = No SQL

 

메모리 부족으로 서버를 증설함. 다만 서버 증설에는 한계가 있음.

scale up : 수직적 증설, 하나의 서버에 더 많은 하드웨어를 증설하는 것

scale out : 수평적 증설 , 한 곳에 모아놓고 처리하는데 아니라 비슷한 규모의 서버들을 나눠놓고 분산시키는 것

요즘은 혼합형으로 많이 사용함. 

 

> Gpu 데이터 베이스 시대 도래. Gpu 프로세서

 

DW( structured data) / Bigdata(Streuctured + Unstructured data) / Data Lake(Structured + Unstructured + Raw Data)

 

Bigdata = Volume(크기) + Variety(다양성) + Velocity(신속성) + Veracity(정확성)  => 4v

데이터는 많은데 그게 모든 다 사용가능한 데이터인가? 유용한가? 

 

온프레임스

 

 

Data Lake의 주된 사용자는 보통 데이터 사이언티스트

Data Lakehouse 

 

ETL(데이터를 추출해서 원하는 형태로 데이터를 가공하거나 변형해서 다른쪽 어딘가로 로딩해주는 것) / ELT(로딩 한 이후 트랜스포메이션은 뒤에 함, ETL에서 ELT로 바뀌는 추세) / CDC / Stream

파이프라인 = 데이터가 전달되어 지는 과정

 

ㅇ 취업관련조언

직분에 대한 이해 필요

차별화된resume 필요

동일한 패턴 / 학습과정은 부정적

'중급'표기보다 효과적인 자기소개 적절

project 참여시 본이느이 역할 표기 필요

적절한 용어 사용

 

ㅇ 꾸준한 학습 필요

데이터 엔지니어에게 요구되는 기술

language = python, Java, Go,...Git

SQL

Linux Basic Tool - SSH Client(putty), FTP Client

Data Integration Tool - Talend, Goldengate, Airflow, Kafka, Hudi,...

DBMS - SingleStore, PostgreSQL, MySQL, MongoDB, Oracle

Hadoop Echo- systems - Hadoop /Hive/Spark/Ambari/...

Cloud Infra - AWS / GCP / Azure/ ...and VM/ Docker

 

데이터 사이언티스트에게 요구되는 기술

R

python - TensorFlow / Pytorch / Plotly / streamlit / ML Flow

H2O AutoML

 

 

미디엄 https://medium.com/

Medium – Where good ideas find you.

 

 

자소서 작성 팁

 파이썬을 다뤄봤다 (x), 재밌다(x)

파이썬의 클래스를 다루면서 커피키오스크를 만들었봤었다.

클래스로 구성하지 않았을때는 시각화 하는 코드들이 중복으로 계속 나열이 되어야 했다. 하지만 클래스로 만드니까 시각화하는 것을 함수로 만들어서 메인 함수쪽에 함수만 호출하면 되어서 코드 중복을 피할 수 있었다. (ㅇ)

=> 적절한 용어 사용 및 전문적인 툴과 기능에 대해 기술할 것.