Skip to content

Latest commit

 

History

History
168 lines (128 loc) · 6.48 KB

README.md

File metadata and controls

168 lines (128 loc) · 6.48 KB
Raw

Badge DBT Badge em Desenvolvimento

Impulso Saúde Mental | Engenharia de indicadores

Este repositório contém os modelos de transformação de dados para o cálculo dos indicadores da plataforma Impulso Saúde Mental, no formato utilizado pela biblioteca de analytics engineering dbt.

Nota: atualmente (dezembro/2022), parte das transformações de dados para cálculo dos indicadores estão implementadas como scripts SQL no repositório @ImpulsoGov/bd. Esses scripts serão gradualmente movidos para este repositório e reimplementados como modelos do dbt.

🔎 Índice

  1. Contexto
  2. Estrutura do repositório
  3. Instruções para instalação
    1. Antes da instalação
    2. Obtendo e construindo a imagem Docker
  4. Utilização
  5. Contribua
  6. Licença

🚀 Contexto

Um dos propósitos da ImpulsoGov, enquanto organização, é transformar dados da saúde pública do Brasil em informações que ofereçam oferecer suporte de decisão aos gestores de saúde pública em todo o Brasil. Embora o SUS tenha uma riqueza de dados há muitas dificuldades para reunir, coletar e analisar dados em diferentes sistemas de informação. O projeto de Saúde Mental tem como objetivo apoiar gestões da Rede de Atenção Psicossocial (RAPS) com uso de dados e indicadores desenvolvidos a partir do entendimento do dia a dia e dos principais desafios da rede. Hoje, este repositório estrutura a base de dados que alimenta uma ferramenta gratuita de visualização de indicadores disponibilizada aos gestores parceiros.

🌌 Estrutura do repositório

O repositório é estruturado seguindo modelo necessário para utilização do DBT,

├─ saude-mental-indicadores
│  ├─ analysis
│  ├─ docs
│  ├─ logs
│  ├─ macros
│  │  └─ ...
│  ├─ models
│  │  └─ codigos 
│  │  └─ sources
│  │  └─ ...
│  ├─ seeds
│  ├─ snapshots
│  ├─ target
│  ├─ tasks
│  ├─ tests
│  ├─ ...
└─

A pasta macros contém as funções de transformações de dados em Jinja, já a pasta models contém tanto os modelos em SQL responsáveis por criar as tabelas utilizadas no projeto, quanto as fontes contidas no banco de dados que alimentam as tabelas.

🛠️ Instalação

Antes da instalação

As ferramentas presentes neste repositório pressupõem que a máquina em questão possui o Docker instalado para a execução de contêineres. Rodar a aplicação fora do contêiner Docker providenciado junto ao repositório pode levar a resultados inesperados.

A aplicação também pode ser executada diretamente no GitHub, por meio dos fluxos de trabalho do GitHub Actions que já são fornecidas no repositório. Nesse caso, você deve apenas criar um fork, e os fluxos passarão a ser executados da sua conta do GitHub - inclusive consumindo da sua cota de minutos do GitHub Actions.

Em ambos os casos, a aplicação espera que o seu sistema contenha informações importantes para a conexão com a instância do banco de dados, na forma de variáveis de ambiente. Veja as variáveis esperadas no arquivo .env.exemplo.

Se estiver desenvolvendo localmente, você pode fornecer essas variáveis renomeando o arquivo .env.exemplo para .env, trocando os valores fictícios pelos valores verdadeiros e rodando o comando docker run com o argumento --env-file=".env" (ver abaixo). Caso esteja utilizando o GitHub Actions, providencie essas variáveis de ambiente como segredos do repositório.

Mais informações sobre a criação de uma instância de banco de dados com estrutura semelhante à da ImpulsoGov podem ser encontrados no repositório @ImpulsoGov/bd.

Obtendo e construindo a imagem Docker

Para obter a última versão da imagem docker, clone o repositório e chame o comando docker build a partir do diretório clonado:

$ git clone https://github.com/ImpulsoGov/saude-mental-indicadores.git
$ cd saude-mental-indicadores
$ docker build -t impulsogov/saude-mental-indicadores:latest .

⚙️ Utilização

A imagem fornecida suporta os comandos dbt seed, dbt run e dbt test. Com a imagem docker construída localmente, basta invocá-los com o comando docker run:

$ docker run -it\
> --env-file=".env" \
> --mount type=bind,source="$(pwd)/logs",destination="/usr/app/dbt/logs" \
> --mount type=bind,source="$(pwd)/target",destination="/usr/app/dbt/target" \
> impulsogov/saude-mental-indicadores:latest dbt run \
> --target analitico

Obs:

  • O alvo target aceita os valores 'analitico' ou 'producao'
  • Ao atualizar completamente a base, também faz-se uso de --full-refresh após a indicação do target.

No caso da utilização com GitHub Actions, a execução desses comandos é automatizada com os fluxos de trabalho existentes, mas você também pode iniciá-los manualmente na aba Actions do seu fork.

🗨️ Contribua

Sinta-se à vontade para contribuir em nosso projeto! Abra uma issue ou envie PRs.

®️ Licença

MIT © (?)