O contexto do projeto será normalizar os arquivos json que estão dentro da pasta Datalake, utilizando o Airflow como orquestrador e o Spark para ingestão.

Execute o comando para criar a imagem e container

docker-compose up -d --build 

Execute o comando para subir o container

docker-compose up -d 

O arquivo Dockerfile irá baixar e setar as variaveis:

• Java
• python
• spark
  
  

Criando a conexão Spark no Airflow

A primeira DAG irá fazer uma contagem de cada palavra de um texto

A primeira DAG irá fazer uma contagem de cada palavra de um texto

Retorno da DAG

Segunda Dag traz um exemplo de normalização de dados