데이터 처리 흐름과 검증의 기초

이 수업에서는 데이터를 처리하는 시스템을 만들고, 결과가 맞는지 직접 확인합니다.

기록이 늘면 처리 방법도 달라집니다.

주문 10건은 손으로 더할 수 있습니다. 주문이 계속 쌓이고 매일 마감 시각까지 계산해야 한다면, 저장 공간·메모리·처리 시간을 함께 고려해야 합니다.

• 데이터: 주문 번호·금액·시각처럼 저장하고 계산할 수 있는 기록.
• 빅데이터: 데이터의 규모와 처리 요구에 맞는 저장·계산 방법을 고민하는 문제.

컴퓨터를 늘려도 전체 속도를 제한하는 구간인 병목이 남을 수 있습니다. 실습에서는 작업을 나누어 실행하고, 어느 구간에서 느려지는지 관찰합니다.

근거: 1장 슬라이드 1–2, 5 (파일 순서 기준). 기본 용어 설명과 조별 과제 비유는 학습용 보충입니다.

데이터 엔지니어링(Data Engineering, DE)은 데이터를 분석과 인공지능(AI)에 쓸 수 있도록 처리 흐름을 설계·구현·검증하는 일입니다.

“오늘 매출은 얼마인가?”에 답하려면 처음 생성된 기록인 원천 데이터를 가져와 정리하고 계산해야 합니다. 이렇게 연결된 처리 흐름이 데이터 파이프라인입니다.

수집에서 제공까지, 네 단계

각 단계를 선택해 역할을 확인하세요. 시각화는 학습용 모형입니다.

주문 예제 · 중복 기록은 어떻게 셀까요?

1. 수집 · 원천 데이터 가져오기

   쇼핑몰의 주문 기록 3행을 받습니다.

   • 행: 기록 하나.
   • 열: 주문 번호·금액 같은 항목.

2. 변환 · 목적에 맞게 데이터 정리하기

   • 규칙: 주문 번호는 고유하며, 같은 번호의 재전송은 한 번만 계산.
   • 결과: 중복 A002를 제외하면 2건, 합계 30,000원.

   실제 업무에서도 중복 판단 기준을 먼저 정해야 합니다.

3. 저장 · 원본과 처리 결과 보관하기

   원본과 정리한 결과를 구분해 보관합니다. 오류가 생기면 원본으로 다시 계산할 수 있습니다.

4. 제공 · 매출표 전달하기

   날짜별 매출표를 분석가나 서비스에 전달합니다. 어떤 주문을 포함했는지도 설명할 수 있어야 합니다.

근거: 1장 슬라이드 2–3. 주문표와 계산 결과는 학습용 예제이며 실제 실행 결과가 아닙니다.

무엇을 계산하는지, 어디에서 실행되는지, 데이터가 늘어도 처리할 수 있는지 확인합니다.

Spark에서 역할과 데이터 조각 구분하기

근거: 1장 슬라이드 4–5, 10. 용어 설명과 비유는 학습용 보충입니다.

학기 학습 순서는 Spark 실행 이해 → 저장·실시간 처리 연결 → 전체 파이프라인 검증입니다. 주차별 강의 범위는 아래 표와 같습니다.

근거: 1장 슬라이드 6–7.

친구의 PC에서는 되는데 내 PC에서는 안 된다면, 코드를 보기 전에 실행 환경이 같은지 확인해야 합니다.

재현 가능한 환경은 같은 설정으로 다시 실행할 수 있게 구성한 환경입니다.

수업에서는 Windows PC의 Docker Desktop과 WSL2로 실습 환경을 구성합니다.

환경을 만드는 도구와 구성 요소

• WSL2: Windows에서 Linux 환경을 실행하는 기반.
• Docker: 실행 환경을 컨테이너로 관리하는 도구.

이미지의 버전·구성을 가리키는 이름이 태그입니다. 2장 배포 파일의 값은 spark:4.1.3-scala2.13-java21-python3-ubuntu이며, 실습 때 이 값을 기준으로 맞춥니다.

근거: 1장 슬라이드 7–8, 16. 이미지와 파일 연결은 배포 compose.yaml 설정을 따르며, 16번 슬라이드의 설치·실행 방법은 2장에서 다룹니다.

AI는 코드·테스트 초안과 오류 분석을 돕습니다. 정확성·확장성·성능을 확인하고 선택의 이유를 설명하는 일은 개발자의 책임입니다.

검증은 세 단계로 진행합니다.

1. 문제와 명세를 적습니다.

   “1부터 100까지의 정수를 각각 한 번 더한다. 입력 열은 정수형 id, 기대 결과는 5,050이다.”처럼 입력과 결과를 구체화합니다.

2. 사람이 코드를 읽습니다.

   범위의 끝값이 포함되는지, 모든 데이터를 한곳에 모으는지, 잘못된 입력을 어떻게 처리하는지 확인합니다.

3. 실행·테스트·관찰로 확인합니다.

   작은 입력의 정답과 비교하고, Spark UI와 실행계획에서 실제 실행을 봅니다. 작은 예제 성공이 100배 규모의 성능을 보장하지는 않습니다.

학습용 코드 비교 · 같은 5,050, 다른 데이터 이동

df = spark.range(1, 101, 1, 4)
rows = df.collect()
total = sum(row["id"] for row in rows)
print(total)

from pyspark.sql import functions as F

df = spark.range(1, 101, 1, 4)
result = df.agg(F.sum("id").alias("total"))
row = result.first()
print(row["total"])

코드를 적는 시점과 계산하는 시점

• Transformation: 데이터를 어떻게 바꿀지 표현하는 연산입니다. 위 B의 agg는 집계를 표현합니다.
• Action: 결과를 요청하거나 저장하는 등 계산을 수행하게 하는 연산입니다. B의 first()는 결과를 요청하며, A의 collect()도 Action입니다.

Spark 코드에서 연산을 정의하는 시점과 실제 계산이 실행되는 시점을 구분해야 합니다.

근거: 1장 슬라이드 9–10, 14. 코드 비교는 학습용 보충 예제이며, 제공 실습의 1–100 합계 예제는 first_app.py에서 확인할 수 있습니다.

파이프라인의 설계 이유와 결과를 확인한 방법을 설명할 수 있어야 합니다.

강의의 채용 자료에는 Python·SQL, 대용량 처리, 저장 구조, 운영·협업 역량이 나옵니다. 수업에서는 파이프라인을 구현하고 오류의 원인을 찾아 설명하는 연습을 합니다.

다음 장으로 가기 전, 내 말로 확인하기

• DE를 “수집 → 변환 → 저장 → 제공”의 흐름으로 설명할 수 있다.
• Driver·Executor는 실행 역할이고 Partition은 데이터 조각임을 구분한다.
• Docker는 실행 환경 준비 도구이며 실제 계산 성공은 따로 검증해야 함을 안다.
• 작은 입력의 정답 일치와 큰 입력의 실행 가능성이 다른 질문임을 설명할 수 있다.

근거: 1장 슬라이드 11–15 및 슬라이드 2의 강의 목표.