Data · AI 오리엔테이션

학습 목표

빅데이터 파이프라인과 머신러닝·알고리즘이 하나의 시리즈에서 어떻게 이어지는지 설명할 수 있다.

source → ingest → process → feature → train → infer 흐름을 그릴 수 있다.

Database·Architecture·ELK·AIOpsMLOps와 본 시리즈의 역할 분리를 설명할 수 있다.

Kafka·Spark·lakehouse·sklearn·PyTorch 등 키워드가 로드맵 어느 Part에 있는지 짚을 수 있다.

25편 로드맵을 보고 학습 순서를 잡을 수 있다.

문제 상황

• 일일 수억 행 이벤트 — PostgreSQL INSERT만으로는 배치 분석·재처리가 버거움
• CDC로 Kafka에 넣었는데 consumer lag 폭증 — partition·group 설계를 모름
• Spark job이 shuffle 때문에 느리다 — partition·action 개념이 없음
• 데이터 레이크에 파일만 쌓고 스키마·품질 검증 없음 — downstream ML 깨짐
• train accuracy 99%, prod 0.6 F1 — data leakage·train/test 분리 실패
• XGBoost는 쓰지만 왜 트리가 맞는지·한계는 모름 — 알고리즘 가정 미이해
• 모델 pickle은 있는데 서빙·드리프트·registry는 11_AIOpsMLOps 영역 — 경계 혼동
• Database는 OLTP, ELK는 로그 검색 — 분석·학습용 파이프라인은 별도 축

앞서 Database(저장·트랜잭션·CDC)와 Architecture(저장소·이벤트)를 봤다. 본 시리즈는 대용량 처리·데이터 엔지니어링·ML·핵심 알고리즘을 한 커리큘럼으로 다룬다.

1. Data · AI 시리즈란?

• Data · AI
  • 데이터 엔지니어링 — 수집·변환·저장·품질·계보
  • 머신러닝 — 피처·학습·평가·추론 기초
  • 핵심 알고리즘 — 선형·트리·앙상블·군집·신경망 가정과 한계
• 한 시리즈인 이유
  • 프로덕션 ML은 파이프라인 + 모델 — 데이터 없이 알고리즘만, 모델만으로는 부족
  • 재현 가능한 notebook·config 예제로 흐름을 몸에 익힘

	Database OLTP	본 시리즈
초점	row·트랜잭션·인덱스	분산 처리·분석·학습
규모	단일 DB 튜닝	Kafka·Spark scale-out
쿼리	SQL point·range	배치·스트림 job
ML	—	feature → train → infer

Source (RDB · CDC · files · events)
    → Ingest (Kafka topics)
    → Process (Spark batch · streaming)
    → Feature (tables · feature store 맥락)
    → Train (sklearn · PyTorch)
    → Infer (batch scoring · online API)

• 품질·계보·멱등 job — 파이프라인 전 구간 (Part 2)
• 서빙·드리프트·MLOps — 11_AIOpsMLOps에서 운영 심화

2. 시리즈가 다루는 다섯 축

도구는 바뀌어도 역할 분리는 유지된다.

축	담는 문제	대표 도구·개념(본 시리즈)
Big Data	대용량 수집·처리	Kafka, Spark, batch vs stream
Data Engineering	ETL/ELT, lakehouse, 품질	dbt 개념, Delta·Iceberg, lineage
ML Basics	학습 문제 정의	feature·label, train/val/test, metrics
Algorithms	모델 가정	linear, tree, boosting, k-means, MLP
Practice	코드로 재현	sklearn Pipeline, PyTorch loop, inference

• Batch vs Stream — latency·정확성·비용 trade-off (3~6편)
• ETL vs ELT — warehouse·lakehouse 맥락 (7~8편)
• 지도 vs 비지도 — 라벨 유무 (11편)
• 해석 vs 성능 — linear vs boosting (15~17편)

3. 다른 시리즈와의 관계

Database · Architecture

선행에서 본 것	본 시리즈에서 심화
SQL·인덱스·트랜잭션	분산 파일·파티션·shuffle
CDC·이벤트 개요	Kafka 소비·Spark 적재
RDB vs NoSQL 선택	lakehouse·warehouse loading
품질 속성·트레이드오프	모델 복잡도 vs 해석

• 선행 권장
  • Database 1~6편 — SQL, 트랜잭션, 인덱스
  • Architecture 17~19편 — 저장소·CDC·이벤트 맥락
  • Python, JSON·CSV

ELK · Observability

ELK / Observability	본 시리즈
로그 검색·Kibana	분석·학습용 테이블·피처
Elasticsearch 집계	Spark DataFrame·SQL
운영 로그 tail	배치 리포트·모델 학습 데이터

• 로그는 ELK, 비즈니스·행동 이벤트는 Kafka→lakehouse→ML — 목적이 다름
• overlap 시 중복 파이프라인 비용 주의

AIOps · MLOps

본 시리즈 (10)	AIOpsMLOps (11)
파이프라인·학습·알고리즘	registry·serving·drift·GPU
추론 패턴 개요 (23편)	online serving·canary·monitoring
sklearn·PyTorch 기초	CI·experiment tracking·LLM for SRE

• 23편 추론 → 11편 serving으로 자연 연결
• 에필로그(25편)에서 11 시리즈 진입점 정리

4. 다룰 스택 미리보기

영역	핵심 질문	본 시리즈에서
규모	언제 scale-out?	2~3편
스트림	Kafka ordering·lag?	4편
배치	Spark shuffle?	5~6편
저장	lake vs warehouse?	7~8편
품질	스키마 drift?	9~10편
ML	leakage·과적합?	11~14편
알고리즘	어떤 모델을?	15~19편
실습	코드 구조?	20~23편
윤리	언제 ML 쓰지 말까?	24~25편

• 데이터 흐름 우선 — source부터 infer까지
• 한 편 한 메커니즘 — consumer group, watermark, cross-validation 등
• 예제는 작은 데이터셋·notebook·config로 재현 가능하게

5. 시리즈 로드맵

• Part 1. 빅데이터 기초 (2~6편) — 규모, batch/stream, Kafka, Spark
• Part 2. 데이터 엔지니어링 (7~10편) — ETL/ELT, lakehouse, 품질, 신뢰성
• Part 3. 머신러닝 기초 (11~14편) — 지도·비지도, 피처, 검증, 지표
• Part 4. 핵심 알고리즘 (15~19편) — 회귀, 트리, 앙상블, 군집, 신경망
• Part 5. 실습·표현 (20~23편) — sklearn, PyTorch, 임베딩, 추론
• Part 6. 마무리 (24~25편) — 편향·윤리, 에필로그·AIOpsMLOps

다음에 다룰 것

• 데이터 규모와 아키텍처
• scale-up vs out, data mesh 개요, 역할 분리

---

해당 내용은 Kleppmann — Designing Data-Intensive Applications, Géron — Hands-On Machine Learning, 3/E 를 기반으로 합니다.