개념 해설
주요 용어의 정의, 예시와 처리 과정 설명.
DATA ENGINEERING · 2026
빅데이터강의 정리 · Docker · Spark
1~6장에서 데이터 처리, Spark 분산 실행, DataFrame·SQL·Parquet과 Data Lake를 배웁니다.
강의자료 126슬라이드 · DataFrame 90쪽 · SQL 46쪽 · Parquet 52쪽
06개의 챕터
314쪽·슬라이드의 강의자료
03개의 실습 ZIP
YOUR LEARNING PATH
강의 목록
CHAPTER 01
01 · 개념
데이터 엔지니어링의 이해
빅데이터의 필요성, 데이터 처리 과정, 과목의 주요 주제.
학습을 시작해 보세요
CHAPTER 02
02 · 환경 구성
Docker와 Spark 첫 실습
Docker로 실행 환경을 준비하고, 분산 처리 도구인 Spark로 1부터 100까지의 합을 계산합니다.
학습을 시작해 보세요
CHAPTER 03
03 · 분산 처리
분산 처리와 Spark 실행 원리
코드를 읽고 Spark의 실행 과정을 관찰합니다. 계산 자원을 제공하는 Worker 수와 코어 수를 바꾸어 성능을 비교합니다.
학습을 시작해 보세요
CHAPTER 04
04 · DataFrame
Spark DataFrame 프로그래밍
코드 예시로 주문 데이터를 표로 읽고 자료형과 비어 있는 값을 확인합니다. 주문 금액을 계산하고 사용자별로 합산합니다.
학습을 시작해 보세요
CHAPTER 05
05 · Spark SQL
Spark SQL과 DataFrame 결과 비교
View를 등록하고 SQL로 정제·집계합니다. NULL과 조건식, 집계 전후 필터를 구분하고 예상값과 비교합니다.
학습을 시작해 보세요
CHAPTER 06
06 · Parquet
Parquet과 Data Lake
정상 주문을 저장해 재조회합니다. 컬럼·조건·날짜별 읽기 최적화와 작은 파일 문제를 확인합니다.
학습을 시작해 보세요
1장부터 순서대로 읽습니다. 실행 관찰·성능 비교의 전체 코드와 ZIP은 3장, Parquet 실습 파일과 ZIP은 6장에 있습니다.
STUDY MATERIALS
학습 자료 구성
구조 시각화
데이터 흐름과 Spark 실행 과정을 단계별로 확인.
실습과 확인 문제
실행 명령, 예상 출력과 결과 확인 문제.