[dados] br_cgu_cartao_pagamento #865
Conversation
|
|
Eu tinha esquecido de colocar como draft, mas ainda não estava pronto para reviews. Subi para o github para deixar as alterações salvas e porque parece que meu pc está morrendo. Irei consertar os comentários, obrigado. |
| "dbt_alias": True, | ||
| "historical_data": False, | ||
| "update_metadata": True, | ||
| "year" : constants_cgu.year.value, |
There was a problem hiding this comment.
o schedule não deve ter ano e mes
| } | ||
|
|
||
| year = datetime.now().year | ||
| month = datetime.now().month |
There was a problem hiding this comment.
o arquivo de constantes deve conster apenas constantes, não funções
| "OUTPUT_DATA" : "/tmp/output/microdados_defesa_civil", | ||
| "URL" : "https://portaldatransparencia.gov.br/download-de-dados/cpdc/", | ||
| "READ" : "_CPDC", | ||
| "UNICO" : False} |
There was a problem hiding this comment.
pq tem esse parametro de UNICO se o único valor que ele tem é False?
There was a problem hiding this comment.
Como é um crawler, o objetivo é ser abrangente.
Há conjuntos do cgu são únicos e não são dividido por ano/mês, criei esse parâmetro que conseguimos diferenciar o formato e dessa forma, rodar o download.
tricktx
added
the
hacktoberfest-accepted
No description provided.