Airflow3 #3 Airflow Concepts documentation 부수기 [Architecture] Airflow Tutorial documentation까지 읽었다면, 사실 python code가 어느 정도 익숙하다면 바로 작성해 보는 것도 좋다. 하단 이미지는 요새 회사에서 작성하고 있는 data pipeline의 일부분이다. airflow 도입 결정 1주일 정도에 이 정도 작성했는데, 물론 단순한 aws hook을 불러와서 실행시키는 작업들이 있기는 하지만, 복잡한 dependency를 만족해야 하는 workflow를 간단하게 작성한다는 것 자체가 Airflow가 정말 쉽고 좋다는 방증이다. 아무튼 조금 더 Airflow 지식과 시간적인 여유가 생기면 Airflow 사이드 프로젝트도 블로그에 포스팅할 예정이다. 일단 이 포스팅은 좀 더 개념적으로 Airflow에 대해 알아보기 위해 Airflow .. 2021. 8. 28. #2 Airflow Tutorial documentation 부수기 https://airflow.apache.org/docs/apache-airflow/stable/tutorial.html Tutorial — Airflow Documentation airflow.apache.org Airflow Tutorial documentaion을 부숴보자 참고로 작성당시 Airflow 버전은 2.1.2이다. from datetime import timedelta from textwrap import dedent # The DAG object; we'll need this to instantiate a DAG from airflow import DAG # Operators; we need this to operate! from airflow.operators.bash import B.. 2021. 8. 26. #1 Airflow 설치 (With Docker windows) 회사에서 Airflow를 도입하게 되면서, 나도 제대로 정리할 겸 블로그에 시리즈 방식으로 정리할 계획이다. Airflow documentation을 읽고 Docker 기반으로 Airflow를 설치했다. https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html Running Airflow in Docker — Airflow Documentation airflow.apache.org 그럼 시작해보자. 먼저 하단 포스팅을 참고해서 Docker를 설치하자. 2021.08.14 - [Development Environment/Docker] - [Docker] windows에 Docker 설치하기 [Docker] windows에 Docker .. 2021. 8. 19. 이전 1 다음
