Airflow 3.0 주요 업데이트 요약 및 세팅법
·
데이터엔지니어링/Airflow
Airflow 3.0 핵심 업데이트 요약Airflow 3.0은 기존 2.x 버전에서 크게 개선된 기능과 구조로 새롭게 태어났습니다. 데이터 파이프라인을 더욱 유연하고, 빠르고, 확장성 있게 만들 수 있도록 많은 부분이 바뀌었습니다.주요 항목설명🔧 서비스 지향 아키텍처(SOA)Task 실행이 완전히 분리되어 원격 실행 가능. Python 외 다른 언어도 지원 준비 중🖥️ 새 UI (React 기반)속도 개선, 다크모드, DAG 간 비교 가능, 실시간 새로고침📂 DAG 버전 관리DAG 변경 이력을 기록하여 과거 구조를 추적 가능⏰ 이벤트 기반 스케줄링메시지 큐, 파일 도착 등 외부 이벤트로 DAG 트리거🛡️ 보안 및 성능 개선SubDAG 제거, XCom Pickle 제거, Python 3.9+ 요구바..