Apache Airflow
Airflow là một trong những công cụ workflow automation và scheduling systems phổ biến nhất.
Airflow là một trong những công cụ workflow automation và scheduling systems phổ biến nhất. Airflow quản lý tất cả các jobs bởi DAG (directed acyclic graphs hay đồ thị có hướng), cho phép quản lý các job dễ hiểu nhất cũng như hỗ trợ các workloads phức tạp nhất.
Một số lý do để sử dụng Apache Airflow
Open source: xuất phát từ một dự án internal của Airbnb, Airflow dần được phát triển bởi cộng đồng. Hiện tại Airflow được maintained và managed bởi Apache.
Web Interface: Airflow hỗ trợ giao diện Flask app để quản lý các workflows, và giúp bạn dễ dàng thay đổi, start và stop.
Python Based: Mỗi DAG config trong Airflow được viết bởi Python, bao gồm cấu hình schedules, script để chạy, một cách linh động. Điều này phá bỏ giới hạn của XML, YAML hoặc JSON.
When workflows are defined as code, they become more maintainable, versionable, testable, and collaborative.
Một số tài nguyên tham khảo
Last updated