Source

dados-tse / README.md

dados-tse

projeto para desenvolvimento de cubos OLAP a partir de dados eleitorais.

para informaçþes sobre fontes de dados, ver /dados/README.md.

para rodar as transformaçþes, ver jobs kettle em /kettle/repositorio-de-dados-eleitorais/<*>.kjb.

ordem normal de execução dos jobs/transformaçőes:

  • job_eleicoes_basico
  • job_eleicoes_candidatos (parametros: uf e ano)
  • job_eleicoes_bem_candidatos (parametros: uf e ano)
  • job_eleicoes_votacao (parametros: uf e ano)
  • job_eleicoes_prestacao_contas (parametros: uf e ano)

jobs que incluem outros jobs:

  • job_eleicoes_uf (parametros: uf e ano) (inclui: job_eleicoes_candidatos, job_eleicoes_bem_candidatos e job_eleicoes_votacao)

prĂŠ-requisitos

passo-a-passo

configuração do ambiente:

  • baixar dados do repositorio-de-dados-eleitorais para <project-dir>/dados/repositorio-de-dados-eleitorais/2010 e descompactar para o estado (UF) desejado (ver /dados/README.md)
  • copiar propriedades de kettle.template.properties para <user-home>/.kettle/kettle.properties (editando as propriedades necessĂĄrias)
  • editar build.properties (em especial as propriedades kettle.home, dadostse.carga.uf e dadostse.h2.basedir)
  • ant resolve - baixa dependĂŞncias do projeto (inclusive banco H2)
  • ant start-db - inicia banco H2 (banco serĂĄ criado na pasta apontada por dadostse.h2.basedir no arquivo build.properties)
  • ant create-db-objects - cria objetos de banco

carga de dados:

  • editar as propriedades dadostse.carga.uf e dadostse.carga.anoeleicao do build.properties para carregar os arquivos desejados
  • ant run-job-<*> - carrega dados no banco:
    • run-job-java-basicos - carrega dados bĂĄsicos/genĂŠricos (devem ser carregados apenas uma vez, e antes de outras cargas)
    • run-job-java-uf - executa job de candidatos e votaçães (parametros: ano e uf)
    • run-job-java-uf-cand - carrega somente dados de candidatos e bens de candidatos (parametros: ano e uf)

para consultar o banco H2:

  • http://localhost:8082 (ver propriedades de conexĂŁo em <user-home>/.kettle/kettle.properties)

para visualização OLAP:

  • utilizar arquivo mondrian em <project-dir>/modelo/sqldump-dados-tse/tse-mondrianschema.xml ou output/test/modelo-sqldump-dados-tse/tse-mondrianschema.xml
  • exemplo de datasource saiku pode ser encontrado em <project-dir>/modelo/saiku-tse-datasource.txt

para parar/desligar banco:

  • ant stop-db

crÊditos e licença

autor: Telmo Brugnara <tbrugz@gmail.com>

licença: AGPLv3

Tip: Filter by directory path e.g. /media app.js to search for public/media/app.js.
Tip: Use camelCasing e.g. ProjME to search for ProjectModifiedEvent.java.
Tip: Filter by extension type e.g. /repo .js to search for all .js files in the /repo directory.
Tip: Separate your search with spaces e.g. /ssh pom.xml to search for src/ssh/pom.xml.
Tip: Use ↑ and ↓ arrow keys to navigate and return to view the file.
Tip: You can also navigate files with Ctrl+j (next) and Ctrl+k (previous) and view the file with Ctrl+o.
Tip: You can also navigate files with Alt+j (next) and Alt+k (previous) and view the file with Alt+o.