반응형 Airflow Dynamic Task Mapping1 [Airflow] Dynamic Task Mapping 사용해보기(w/UseCase) | LIM Dynamic Task Mapping 은 DAG 작성자가 필요한 작업 수를 사전에 알 필요 없이 현재 데이터에 기반하여 실행 시점에 Task 를 생성하도록 한다. 이는 기존에 for loop 을 이용하여 Task 를 정의하는 것과 유사하지만 다른 점이 있다면 기존엔 for loop 을 Task 바깥에 정의하여 돌리는 방식이었다면 Dynamic Task Mapping 의 경우에는 스케줄러가 실행하기 때문에 미리 정의해둘 필요가 없다. 매핑된 작업의 출력을 기반으로 작업을 수행하고 이는 일반적으로 MapReduce 방식으로 알려져 있다. 기존 For Loop 을 이용하여 DAG 를 생성한 결과 from datetime import datetime from airflow import DAG from airfl.. 2023. 6. 3. 이전 1 다음 반응형
