Apache luftflöde

Apache Airflow  är programvara med öppen källkod för att skapa, exekvera, övervaka och orkestrera arbetsflöden för databearbetning.

Ursprungligen utvecklad av Airbnb i oktober 2014 [3] [4] . Blev ett Apache Incubator - projekt i mars 2016 och blev ett Apache Software Foundation -topnivåprojekt i januari 2019 i januari 2019.

Skrivet i Python , är arbetsflödena och deras beroenden också kodade i Python på ett konfigurations-som-kod-sätt (till skillnad från system som Oozie och Azkaban som använder konfigurationsfiler [5] ). Arbetsflöden orkestreras med hjälp av en Directed Acyclic Graph (DAG) representation; en grupp operationer samlade i en graf kan startas antingen enligt ett specifikt schema (till exempel varje timme eller dagligen), eller av en händelse (till exempel utseendet på en fil i Hive [6] ).

Airflow är en prenumerationstjänst som tillhandahålls av många offentliga molnleverantörer , inklusive Google Cloud Platform (Cloud Composer) [7] och Amazon Web Services (sedan november 2020) [8] .

Anteckningar

1. ↑ https://github.com/apache/airflow/releases/tag/2.4.0
2. ↑ https://airflow.incubator.apache.org/license.html
3. ↑ Apache luftflöde . Apache luftflöde . Hämtad 30 september 2019. Arkiverad 12 augusti 2019. (obestämd)
4. ↑ Luftflöde . Hämtad 30 september 2019. Arkiverad från originalet 6 juli 2019. (obestämd)
5. ↑ AirflowProposal . Apache Software Foundation (28 mars 2019). Hämtad 1 oktober 2019. Arkiverad från originalet 7 april 2022. (obestämd)
6. ↑ Trencseni, Marton Recension av luftflödet . BytePawn (16 januari 2016). Tillträdesdatum: 1 oktober 2019. Arkiverad från originalet den 28 februari 2019. (obestämd)
7. ↑ -automation-tool-for-developers/ Google lanserar Cloud Composer, ett nytt verktyg för automatisering av arbetsflöden för utvecklare  . TechCrunch . Tillträdesdatum: 18 september 2019.
8. ↑ -airflow-mwaa/ Introduktion till Amazon Managed Workflows for Apache Airflow (MWAA  ) . Amazon Web Services (24 november 2020). Tillträdesdatum: 17 december 2020.