과정 소개
IT 대기업, 소셜 미디어 서비스 등에서 빅데이터 분석 및 처리에 하둡(Apache Hadoop)을 앞다투어 사용하고 있습니다. 하둡은 대량의 자료를 적은 비용으로 수집 및 가공처리할 수 있도록 만들어진 자바(Java) 언어 기반의 프레임워크로, 대규모 데이터 세트를 분산 저장하고 처리해 줍니다.
기업들은 데이터 분석을 통해 새로운 시장을 개척하고 희소성있는 가치를 부여하며, 소비자들에게 필요한 정보를 적기에 제공할 수 있게 될 겁니다. 중소기업 또한 빅데이터는 꼭 다뤄야 할 필수 사항인 만큼, 빅데이터 관련 직무로 취업/이직을 꿈꾸는 분들께는 희소식이 아닐 수 없습니다.
커리큘럼 총 20차시
- 1Hadoop, HDFS 그리고 YARN
- 2Linux 설치 및 환경설정
- 3Hadoop 설치
- 4Hadoop 실행 및 HDFS 명령어
- 5Map Reduce를 이용한 Word count 구현 1
- 6Map Reduce를 이용한 Word count 구현 2
- 7CDC COVID-19 데이터를 이용한 월별 확진자 통계 1
- 8CDC COVID-19 데이터를 이용한 월별 확진자 통계 2
- 9CDC COVID-19 데이터를 이용한 연령별 확진자 통계
- 10사용자 정의 옵션 사용 1
- 11사용자 정의 옵션 사용 2
- 12사용자 정의 카운터 구현 1
- 13사용자 정의 카운터 구현 2
- 14MultipleOutputs 구현
- 15사용자 정렬 구현 1
- 16사용자 정렬 구현 2
- 17HIve 소개 및 설치
- 18HiveQL을 이용한 Map Reduce 연산 1
- 19HiveQL을 이용한 Map Reduce 연산 2
- 20Hive Java Client
훈련 진행 유의사항
- 본인인증 — 휴대폰 본인인증을 입과 시 (최초 1회), 진도학습 시 (1일 1회), 시험·과제·진행평가 시 수행합니다.
- 수료기준 — 진도율 100% 이상 · 총점 60점 이상 충족 시 수료 처리됩니다.
- 1일 진도제한 — 1일 최대 8시간까지 학습할 수 있습니다.
- 진도율 산정 — 학습한 차시가 아닌 학습시간 기준으로 산정되며, 차시별 인정시간의 50% 이상 학습 시 인정됩니다.
- 평가 — 진행단계평가·시험·과제가 있으며, 최종평가는 진도율 충족 + 진행평가 완료 후 응시할 수 있습니다.
- 부정행위 — 베낀 답안(모사답안)은 처리기준에 따라 불이익이 있을 수 있습니다.
- 자동 로그아웃 — 장시간 활동이 없으면 최대 120분 후 자동 로그아웃됩니다.