[Airflow] Datetime (feat. 자동실행 방지)

📌 Airflow 실행날짜

실행 날짜는 batch job 의 특성을 가진 Airflow에서 매우 중요하다.

Airflow에서 start_date 는 실행 시작 날짜가 아니라 스케줄이 시작되는 날짜라는 것을 기억해야한다. 

예를 들어서 오늘 날짜가 datetime(2022, 5, 14) 이다. 

하지만 Airflow에 start_date를 (2022, 1, 1) 로 적게되면 1월 1일 부터 5월 13일까지의 job이 생기게 된다. 

이처럼 Airflow에서 start_date는 실행 시작이 아닌 스케줄에 올라가는 날짜라는 것을 기억하자

 

📌 catchup

위와 같이 과거 날짜로 start_date 를 설정하면 Airflow는 과거의 Task를 차례대로 실행하는 Backfill을 실행하게 된다.

하지만 보통 이런 경우를 원하지 않는 경우가 많으므로 DAG를 선언할 때 catchup=False 옵션을 넣어주면 된다. 

기본 설정은 catchup=True이다.

DAG(
    default_args=default_args, 
    start_date=datetime(2022,1,1, tzinfo=seoul_time),
    schedule_interval='@daily',
    tags=['test'],
    catchup=False
    )

 

 

📌 자동실행 방지

위와 같이 설정하고 DAG 업로드 후 Airflow DAG를 키면 원하는 시간이 아닌데 실행이 된다. 위 예시에서 datetime(2022, 1, 1) 로만 설정했기 때문이다. Airflow는 실행하기 위해서 일단 스케줄에 미리 등록이 되어야 한다. 무슨말이냐 하면 start_date가 현재 시간 보다 이전으로 등록이 되어 있어야 하는 것이다. 아래 예시는 Backfill이 필요 없다고 가정한 경우이다. 

 

예를 들어서

- 이미 오늘 정해진 시간이 지난 후 업로드 한 dag에 대해서는 datetime을 오늘 날짜로 해야함

    ex) 매일 오후 1시에 실행하는 dag인데 오후 2시에 업로드 시

- 정해진 시간이 업로드 하는 시간보다 나중인 dag에 대해서는 어제 날짜로 해야함
   ex) 매일 오후 1시에 실행하는 dag인데 오후 12시에 업로드 시

- 정해진 시간이 2개 이상인 경우: 업로드 하는 시간보다 전에 실행되어야 하는 것과 후에 실행되어야 하는 것이 섞여있을 경우 오늘 날짜로   ex) 오후1시, 오후3시에 실행하는 dag인데 오후 2시에 업로드 시

 

즉 일배치면 하루 전 기준으로 돌고,

시간 배치면 이전 시간 기준으로 돌고, 

분 배치면 이전 분 기준으로 돈다.