반응형 Composer2 [GCP Composer] Broken DAG ModuleNotFoundError 발생.. | LIM 이 글이 누군가에게 도움이 되길 바라며... 갑자기 composer에서 잘만 사용하던 모듈이 ModeulNotFoundError 가 떠서 두시간동안 삽질했다.. 간단하게 테스트하려고 cloud storage 업데이트 하는 gcloud 명령어인 gcloud composer environments storage dags import 를 너무 많이 날려서 그런가 composer와 gcs간 sync 가 안맞았었나보다.. 문제 해결은 생성한 개인 모듈 이름을 바꾸는 거였다..기존 만들어놓은 모듈 폴더를 cloud storage에서 삭제하고 새로운 이름으로 변경해서 폴더와 파일 업데이트하니 다시 잘됐다.. 밑에 사이트 참고했다 https://groups.google.com/g/cloud-composer-discus.. 2022. 7. 4. [Airflow] Airflow Connection with Google Secret Manager | LIM 현재 회사에서 Airflow를 Google Composer(composer v1)로 사용하고 있다. 하지만 Cloud Composer내에 Version Upgrade가 아직 Beta version이라 완벽하게 진행되지 않고 롤백된 경험이 있다..😔 이때 새로운 환경을 만들어서 기존 환경에 있던 Connection들을 수동으로 모두 다시 기입했었는데 이러한 사태를 막고자 개인 로컬에 Connection 정보를 저장해두고 새로운 환경으로 이관할 때마다 API를 통해 이관하기로 했다. 그러나 알다시피 개인 로컬에 계정 정보를 저장한다는게 사실 안전하지 않기도 하고 누군가가 추가할때마다 로컬에서 정확하게 관리가 되어야 하기 때문에 관리적인 측면에서도 비효율적이었다. 어떻게 할까 찾아보던 와중 Google에 Se.. 2022. 6. 16. 이전 1 다음 반응형
