[dados] Estruturar ontologia e organização para queries

[rdahis]

Desafio

Ter um sistema de gestão de consultas/views/tabelas nativas que escale para uso interno e para projetos com clientes. Tem que ser fácil buscar, entender, editar, aplicar no Metabase, etc.

Solução ideal

Uma busca no site, com metadados e ligações ao BigQuery. Criaríamos uma aba "análises" com uma busca própria.

Metadados relevantes: organização, nível da observação, cobertura espacial, cobertura temporal, colunas, etc.

Solução provisória

Estabelecer (1) estrutura de pastas (datasets/tables), (2) ontologia de nomeação, (3) manual de estilo para escrita de queries.

Exemplos

Ontologia SMTR: https://github.com/RJ-SMTR/maestro/wiki/Ontologia-de-nomea%C3%A7%C3%A3o-Datasets-e-Tabelas

[rdahis]

Acumulando minha primeira versão pra BD aqui: https://github.com/basedosdados/.github/wiki/An%C3%A1lises

[rdahis]

Encaminhamentos da reunião com @d116626 e @fernandascovino:

• Definir ontologia de nomeação de perguntas
• @gabriel-milan: refletir sobre criar nível organization no repositório queries
• Como pensar em tabelas auxiliares (necessário para análises complexas, sub-queries, dados gigantes)
• Criar exemplos de tabelas de metadados
• Ver como subir a documentação do DBT, se é possível definir novos metadados e se tem como subir o DBT cloud
• Estudar API do Metabase: https://www.metabase.com/docs/latest/api-documentation.html
• Testar se adicionar nova coluna em tabela quebra os modelos e perguntas no Metabase

[rdahis]

Pontos para o futuro:

• table: fonte da verdade é o repositório queries com dbt, com metadados na tabela separada ou virtuais (como no CKAN)

• question: fonte da verdade é o Metabase, metadados na tabela separada, por enquanto sem versionamento

  • evangelizar clientes para preencher metadados também quando criarem perguntas
  • tem como saber metadados básicos via API do Metabase? Data de criação, url, título, etc.
  • se mudar título, ele automaticamente vai mudar o question_id => atualizar no metadado

• clientes terão:

  • projeto no GCP
  • repositório de queries
  • agent no prefect (cada agent tem sua própria credencial e seu billing)

[rdahis]

Pra ler sobre opções de mono-repo ou não do dbt: https://discourse.getdbt.com/t/how-to-configure-your-dbt-repository-one-or-many/2121