Pipeline para Dados com Docker, Airflow, Python, DBT e PostgreSQL

Neste vídeo, mostramos como construir um pipeline de dados robusto e totalmente automatizado, utilizando Airflow e DBT, para processar dados financeiros em camadas de transformação Bronze, Prata e Ouro. O pipeline é orquestrado pelo Airflow e utiliza o PostgreSQL para armazenamento, com todos os processos sendo executados dentro de containers Docker, utilizando Astronomer para facilitar o gerenciamento. 🔍 O que você vai aprender: - Bater em uma API do mercado: Como fazer requisições HTTP em Python para acessar dados financeiros em tempo real. - Criação das camadas de dados (Bronze, Prata, Ouro) com DBT: Estruture e transforme seus dados em camadas para análise e visualização. - Orquestração com Airflow: Automação do pipeline de dados, agendando e monitorando os processos. - Banco de dados PostgreSQL: Armazenamento dos dados transformados de forma escalável e segura. - Astronomer e Docker: Como utilizar essas ferramentas para rodar tudo localmente, de forma simples e eficiente. 💻 Projeto 100% Gratuito e On-premise: Esse projeto pode ser executado diretamente no seu computador, sem necessidade de cloud, e é totalmente gratuito. Ideal para quem quer aprender e praticar orquestração de dados sem custos. 👀 E o melhor de tudo: Este é apenas o primeiro vídeo! Em breve, teremos mais conteúdos sobre como consumir e analisar os dados financeiros que estamos processando. Não perca! 🔗 Repositório do projeto no GitHub: https://github.com/Rodrigo-Henrique21/data-pipeline-airflow-dbt #datapipelines #airflow #dbt #postgresql #python #astronomer #docker #api #boraaprender #dadossobreaprendizado