Mac Airflow local 설치

📌 로컬 환경에서 Airflow 설치하기

 

1) 일단 airflow 설치할 가상환경을 세팅해준다. 나같은 경우 python venv 가상환경으로 생성했다.

$ python3 -m venv ~/{directory_name}/{myenv}

 

2) airflow의 홈 디렉토리 디폴트값은 ~/airflow이다. 

따라서 airflow를 다른 디렉토리 안에서 실행시키고 싶으면 환경변수를 세팅해주어야 한다.

$ export airflow=~/{directory_name}/airflow

나같은 경우 airflow_test 라는 디렉토리 하위에서 airflow 를 실행시켰다.

 

3) 가상환경 활성화

$ source {myenv}/bin/activate

 

4) airflow 설치
(공식 document: https://airflow.apache.org/docs/apache-airflow/2.3.0/installation/installing-from-pypi.html)

$ pip install "apache-airflow[celery]==2.3.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.3.0/constraints-3.7.txt"

5) DB 초기화

Airflow는 기본으로 sqllite를 사용한다.

아래 명령어를 사용하면 Home Directory에 airflow 폴더가 생성이 되는데 이를 원하지 않는 경우라면 위에 2) 번을 실행하면 된다. 

$ airflow db init

 

6) 계정생성 

airflow users create \
 --username {LoginId} \
 --firstname {FIRST_NAME} \
 --lastname {LAST_NAME} \
 --role Admin \
 --password {password} \
 --email {email}

 

7) Airflow dags 폴더 생성

Airflow 설치 시 자동으로 생성되지 않기 때문에 airflow 하위 폴더에 dags 폴더를 생성해서 이 안에 dag 파일을 작성하면 된다.

 

8) Airflow Webserver 띄우기

# 기본(8080접속)
$ airflow webserver
# 포트설정
$ airflow webserver --port 8080

 

9) scheduler 실행

$ airflow scheduler

 

10) localhost:8080 으로 접속하면 아래와 같이 Airflow UI 가 뜬다. 

 

11) 기타설정

airflow.cfg 파일에 접속해서 

load_example=True -> load_example=False 로 변경하면 dag example이 뜨지 않는다.