[Airflow] Connection 정보 Vault 이관 작업(feat.Plugin) | LIM

🧐 Vault 란

HashiCorp 사에서 만든 비밀정보, 즉 공개되면 안 되는 비밀번호나(DB 연결 정보), API 키, 토큰 등을 저장하고 관리하는 플랫폼이다. 

👩‍💻 현재 조직 내에서 Airflow 관리 방안

지금 우리 팀은 데이터엔지니어 수가 많지 않아 Airflow 를 GCP의 managed service 인 Composer를 통해 관리하고 있다. Composer로 Airflow를 운영하면 Connection을 관리할 수 있는 방법이 기본적으로 2가지가 있다.

• Secret Manager 에 airflow prefix를 통한 저장
  • 동일하게 airflow connection_id 를 통해 가져올 수 있다. 
• 단순 Airflow UI에서 Connection 을 생성한다.
  • 물론 API 로도 생성할 수 있다. 

위 두가지 방법으로 Connection을 생성하게 되면 Hook에서 connection 정보를 가져올 때 Secret Manager와 Composer에 연결된 DB 모두에서 Connection_id 가 있는지 체크하고 있는 곳에서 가져오게 된다. 

 

❓ 문제는 무엇이었는가

문제는 새로운 Airflow 버전으로 업그레이드 하는 경우 발생했다. 현재 GCP Composer의 경우 Airflow Version을 업그레이드하면 시간이 오래 걸린다. 여태까지 쌓인 log 정보에 대한 migration과 worker들이 다시 띄워지는 시간 등등을 고려하면 시간이 오래 걸리는 건 당연할 것 같다. 또한, 업그레이드가 되면서 기존에 서비스들도 잘 돌아가게끔 해주니 이해할 수 있었다. 

 

하지만, 역시 문제가 발생했다. 업그레이드 도중 Composer 가 정신을 잃고 죽어버리는 문제가 발생했다...

죽어버린 Composer 는 webserver 도 죽어버려서 기존에 있던 Connection 정보를 확인할 수 없게 되었다. 나중에 안 사실이지만 GCP에 vm을 띄워서 airflow db와 연결하면 그 안에 있는 내용을 확인할 수 있었던 것 같다. 

이때 수동으로 Composer 환경을 새로 만들면서 connection 정보를 다시 집어넣었던 슬픈 기억이 있다...

 

💡 Secret Manager 와 Composer를 연결할 수 있다!

업그레이드할 때 worker, webserver, scheduler 가 모두 죽어버려서 새로운 환경을 만들 수밖에 없을 때 Connection과 Variable을 안정적으로 관리할 수 있는 방법이 뭐가 있을까 생각하다가 GCP의 Secret Manager를 이용하기로 했다. 이때 또 한 번 Connection을 전수 조사해 API를 통해 Secret Manager로 이관하는 작업을 거쳤다.. 정말 막일였다..

https://cloud.google.com/composer/docs/secret-manager

환경에 Secret Manager 구성  |  Cloud Composer  |  Google Cloud

 

하지만 이것도 Airflow DB에 저장할 때처럼의 큰 문제는 아니지만 문제는 존재했다.

• Airflow 용 Prefix를 설정해서 사용해서 구분은 가지만 서비스에서 사용하는 Secret 변수들이 모두 들어있다 보니 지저분해짐
• Secret Manager로 올릴 때 각각의 Connection 정보들을 uri로 변환해서 저장해야 함
  • 이때, uri로 변환 후 secret manger 까지 저장하는 DAG 를 만들었지만 사용자가 configuration 에 잘못된 정보를 입력해도 암호화된 uri 로 변환되면서 어떠한 정보를 잘못 넣은 건지 한눈에 파악 안 되는 이슈가 있었음

이런 문제 등으로 어떻게 이 변수들을 관리할까 고민하던 찰나에 회사 인프라팀에서 vault를 도입해서 사용하자는 의견을 주셨다. 

 

😃 본격 Vault 도입

Python에서 Vault를 사용하는 방법은 2가지가 있다.

• VaultClient 모듈인 hvac 설치
• Vault Rest API 이용

vault를 Airflow에 처음 도입하던 팀원이 VaultClient 모듈은 문제가 있어 잘 안된다고 하여 현재 우리 팀은 VaultRestAPI로 관리하고 있다. 추후 어떠한 문제가 있어서 VaultClient는 도입하지 않았는지 더 자세히 알아봐야겠다. 

 

Vault의 좋은 점은 일단 각각 폴더를 나눠서 관리할 수 있다는 거다. 따라서 이런저런 서비스에서의 secret value 들을 모두 Vault를 통해 관리한다고 하더라도 각 서비스 별로 폴더를 나눠서 관리할 수 있기 때문에 관리 포인트가 줄어들고 다른 사용자도 한눈에 알아보기 쉽게 정리된다. 

 

또한, 기존 Secret Manager 사용 시 Airflow Connection 정보가 uri로 암호화되면서 저장되어 기존 값이 어떤 값이 들어가 있는지 파악하기 어려웠는데 vault에서는 권한이 있으면 암호화되지 않는 json 형태로 key-value를 확인할 수 있기 때문에 히스토리를 모르고 있는 사람이 봐도 바로 확인할 수 있을 것 같다는 장점이 있다. 

 

 

---

다음 포스팅에는 이 Vault를 이용하여 어떻게 Airflow Connection을 생성하여 관리했는지에 대해서 정리해 봐야겠다.