Documentation2 #3 Airflow Concepts documentation 부수기 [Architecture] Airflow Tutorial documentation까지 읽었다면, 사실 python code가 어느 정도 익숙하다면 바로 작성해 보는 것도 좋다. 하단 이미지는 요새 회사에서 작성하고 있는 data pipeline의 일부분이다. airflow 도입 결정 1주일 정도에 이 정도 작성했는데, 물론 단순한 aws hook을 불러와서 실행시키는 작업들이 있기는 하지만, 복잡한 dependency를 만족해야 하는 workflow를 간단하게 작성한다는 것 자체가 Airflow가 정말 쉽고 좋다는 방증이다. 아무튼 조금 더 Airflow 지식과 시간적인 여유가 생기면 Airflow 사이드 프로젝트도 블로그에 포스팅할 예정이다. 일단 이 포스팅은 좀 더 개념적으로 Airflow에 대해 알아보기 위해 Airflow .. 2021. 8. 28. #2 Airflow Tutorial documentation 부수기 https://airflow.apache.org/docs/apache-airflow/stable/tutorial.html Tutorial — Airflow Documentation airflow.apache.org Airflow Tutorial documentaion을 부숴보자 참고로 작성당시 Airflow 버전은 2.1.2이다. from datetime import timedelta from textwrap import dedent # The DAG object; we'll need this to instantiate a DAG from airflow import DAG # Operators; we need this to operate! from airflow.operators.bash import B.. 2021. 8. 26. 이전 1 다음
