[Airflow] Airflow 기본 개념

📌 Airflow란?

Python 코드로 워크플로우(workflow)를 작성하고, 스케쥴링, 모니터링 하는 하나의 플랫폼이다.. Airflow를 통해서 데이터엔지니어링의 ETL(Extract, Transform, Load) 작업을 자동화하고, DAG(Directed Acyclic Graph)의 형태의 워크플로우 작성이 가능하다. 이를 통해 더 정교한 dependcy를 가진 파이프라인을 설정할 수 있게 된다.

 

간략하게 Airflow가 무엇인지 살펴보았고, Airflow를 구성하고 있는 구성요소들에 대해 알아보도록 한다.

• Scheduler - 모든 DAG와 Task에 대하여 모니터링 및 관리하고 실행해야 할 Task를 스케줄로 관리(각 task id는 고유하다)
• DAG - Directed Acyclic Graph로 개발자가 직접 작성한 워크플로우. 하나의 프로젝트라고 생각(?)하면 될 것 같다. 각 Task들의 depency를 정의한다.
• Web server - Airflow의 웹 UI. UI를 통해 사용자들이 현재 진행되고 있는 상황을 시각적으로 볼 수 있게끔 한다.
• Database - Airflow에 존재하는 DAG와 Task 들이 메타데이터를 저장하는 데이터베이스
• Worker - 실제 Task를 실행하는 주체. Executor 종류에 따라 동작 방식 다양하다.

한마디로 정의하면 Airflow는 개발자가 작성한 Python DAG를 읽고, 거기에 맞춰 Scheduler가 Task를 스케쥴링하면, Worker가 Task를 가져가 실행한다. Task의 실행상태는 Database에 저장되고, 사용자는 UI를 통해서 각 Task의 실행 상태, 성공 여부 등을 확인할 수 있게 된다.

 

Airflow를 실행시키면 이런 웹 UI가 나온다. 왼쪽에 보이는 것들이 DAG 예시들이다. 

---

📌 DAG(Directed Acyclic Graph)

Airflow의 DAG는 실행하고 싶은 Task들의 관계의 dependcy를 표현하고 있는 Task들의 모음이다.

 

예로 저녁 요리를 해본다고 생각해보겠다.

 

1. 먼저, 무엇을 만들지 메뉴를 고민해야 합니다. 

2. 만들 메뉴에 대한 재료를 준비해야 합니다. 

3. 재료가 없다면 시장이나 마트에 가서 재료를 사와야 하고

4. 그 다음 요리를 시작할 수 있게 되는 것입니다. 

5. 요리를 저녁시간(ex 7:00PM) 전까지 준비

 

재료가 없다면 요리를 할 수 없기 때문에 이는 순차적으로 이루어지게 된다. 즉, 요리하는 것은 재료준비에 대해

Dependcy를 갖게 되는 것이다.

 

즉, DAG는 어떤 순서와 어떤 dependcy로 실행할 지 어떤 스케쥴로 실행할 지 등의 정보를 가지고 있다. DAG를 정확하게 정의하고 설정해야 원하는 Task들을 스케쥴에 맞게 정확하게 실행할 수 있게 되는 것이다.

---

📌 Opertor

이처럼 하나의 DAG는 여러개의 task로 이루어져 있다. 그리고 이 task를 이루는 것이 operator나 sensor 이다. Airflow는 기본적인 Task를 위해 다양한 operator를 제공하는데 기본적으로 제공하는 operator에는 이런것들이 있다.

• BashOperator : bash command를 실행
• PythonOperator : python 함수를 실행
• EmailOperator : email을 발송
• MySqlOperator : sql쿼리를 실행
• Sensor : 시간, 파일, db, row등등을 기다리는 센서

기본적으로 제공하는 Operator 이외에도 수많은 Operator들이 존재한다. 밑에 사이트를 참고하면 다양한

Operator들을 볼 수 있다.

https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/index.html 

airflow.operators — Airflow Documentation

 

Airflow에서 또하나의 중요한 개념인 Scheduler에 대한 설정은 이곳에 정리했다.

https://amazelimi.tistory.com/28

[Airflow] Datetime (feat. 자동실행 방지)