S(*). Architect

학습 목표Spark가 분산 배치 처리에서 process 레이어를 담당하는 방식을 설명할 수 있다.transformation과 action·lazy 실행을 구분할 수 있다.partition·shuffle이 병렬성·비용에 미치는 영향을 설명할 수 있다.RDD와 DataFrame API 선택 기준을 말할 수 있다.일일 집계·backfill 배치 job 초안을 설계할 수 있다.문제 상황어제 parquet 10TB — 단일 서버 pandas로 OOM, cron 12시간 초과groupBy(user_id) 후 디스크 폭발 — shuffle이 뭔지 모름Spark job 로그에 200 stages — count()마다 전체 재실행partition 1개로 읽고 200 executor — 199개 idleKafka에서 co..

학습 목표bounded·unbounded 데이터를 구분하고 처리 모델을 맞출 수 있다.배치·스트림 파이프라인의 수집·처리·출력 차이를 설명할 수 있다.latency와 throughput 트레이드오프로 도구·스케줄을 선택할 수 있다.리포트·알림·학습·재처리 등 use case에 맞는 쪽을 고를 수 있다.문제 상황야간 전체 SELECT는 잘 되는데 — 5분 안 이상 징후를 잡아야 함Kafka에 실시간 넣었지만 어제 데이터와 합쳐 feature table을 만들어야 함 — 경로가 둘로 갈라짐“스트리밍이 최신”이라 Spark Streaming만 썼더니 — 일일 리포트·backfill이 더 비쌈micro-batch 1분인데 SLA는 10초 — 진짜 스트림인지 배치인지 구분 못 함CDC는 unbounded인데 do..