S(*). Architect

  • 홈
  • 태그
  • 방명록

ETL 1

ETL vs ELT

학습 목표ETL과 ELT에서 변환이 일어나는 위치를 설명할 수 있다.warehouse layering (staging · intermediate · marts)으로 역할을 나눌 수 있다.dbt가 warehouse 안 SQL DAG·테스트를 담당하는 방식을 설명할 수 있다.orchestration (Airflow·Dagster)과 transform 엔진의 역할 분리를 말할 수 있다.5·6편 Spark 출력을 warehouse 적재와 연결해 설계할 수 있다.문제 상황Spark에서 join·집계 후 JDBC bulk load — warehouse는 거의 idle, 재처리는 Spark만 다시변환된 테이블만 적재 — 원본이 warehouse에 없어 컬럼 추가·replay 때 소스부터 다시Airflow DAG 안에..

Data & AI 2026.07.15
이전
1
다음
더보기
프로필사진

S(*). Architect

소프트웨어 아키텍트이자 AI Platform 엔지니어의 소소한 이야기 기록 + 캠핑 | 골프 | 자동차를 겸비한.

  • 분류 전체보기 (185) N
    • 운영체제 따라잡기 (25)
    • 네트워크 기초 (21)
    • 소프트웨어 아키텍처 (26)
    • 데이터베이스 따라잡기 (25)
    • 플랫폼, 데브옵스와 클라우드 (22)
    • 관측성 (15)
    • 애플리케이션 보안 (20)
    • Infrastructure as Code (11) N
    • ELK & Elastic Cloud (8) N
    • Data & AI (7) N
    • AIOps & MLOps (4)
    • Golf 이야기 (1)

Tag

observability, 보안, Database, security, network, Operation System, elasticcloud, 운영체제, elk, kubernetes, DevOps, 관측성, Architecture, MSA, 네트워크, 아키텍처, IaC, 데이터베이스, elasticsearch, aws,

최근글과 인기글

  • 최근글
  • 인기글

Archives

Copyright © AXZ Corp. All rights reserved.

티스토리툴바