S(*). Architect

  • 홈
  • 태그
  • 방명록

StructuredStreaming 1

Spark Structured Streaming

학습 목표Structured Streaming이 unbounded 입력을 항상 켜진 job으로 처리하는 방식을 설명할 수 있다.micro-batch 실행 모델과 trigger·checkpoint 역할을 구분할 수 있다.event time·watermark로 늦게 도착한 이벤트를 다룰 수 있다.window 집계와 sink output mode를 선택할 수 있다.Kafka → Spark streaming → alert·table 파이프라인 초안을 설계할 수 있다.문제 상황5편 배치로 어제 dt 집계는 되는데 — 1분 단위 이상탐지는 cron으로 불가Kafka consumer lag는 쌓이는데 Spark job은 하루 한 번만 돈다processingTime 윈도우 썼더니 재시작 후 집계가 두 배 — check..

Data & AI 2026.07.13
이전
1
다음
더보기
프로필사진

S(*). Architect

소프트웨어 아키텍트이자 AI Platform 엔지니어의 소소한 이야기 기록 + 캠핑 | 골프 | 자동차를 겸비한.

  • 분류 전체보기 (185) N
    • 운영체제 따라잡기 (25)
    • 네트워크 기초 (21)
    • 소프트웨어 아키텍처 (26) N
    • 데이터베이스 따라잡기 (25)
    • 플랫폼, 데브옵스와 클라우드 (22)
    • 관측성 (15)
    • 애플리케이션 보안 (20)
    • Infrastructure as Code (11) N
    • ELK & Elastic Cloud (8) N
    • Data & AI (7) N
    • AIOps & MLOps (4)
    • Golf 이야기 (1)

Tag

데이터베이스, observability, Architecture, 관측성, 보안, Database, DevOps, IaC, aws, elasticcloud, 아키텍처, elk, Operation System, security, MSA, 운영체제, elasticsearch, network, kubernetes, 네트워크,

최근글과 인기글

  • 최근글
  • 인기글

Archives

Copyright © AXZ Corp. All rights reserved.

티스토리툴바