If you can't read please download the document
Upload
nitaibezerra
View
2.522
Download
0
Embed Size (px)
Citation preview
Oficina Tcnica de Publicao de Dados Abertose Transparncia Ativa
dados.gov.br
@dadosgovbr
Nitai Bezerra da Silva@nitaibezerra slideshare.com/nitaibezerra
A oficina
Conceitos e tecnologias relacionadas ao ecossistema de dados abertos
Para tcnicos e gestores de TI envolvidos na publicao de dados e informaes, ou no :D
Nvel de difculdade: intermedirio (?)
/
Agenda
O que a INDA
Dados Abertos?
Quais dados?
Etapas da abertura
Arquiteturas para publicao de dados
Formatos de arquivos
Caso: API do Siconv
Web, REST APIs, etc..
Aplicativos e Mashups
Arquitetura lgica da INDA
Portal dados.gov.br
Metadados
Catalogando dados
Outros portais com CKAN
Colheita de Metadados (Harvesting)
DataStore
Linked Data
Desenho de URIs
As 5 estrelas dos Dados Abertos
/
Infraestrutura Nacional de Dados Abertos - INDA
Coordenamos a abertura dos dados pblicos no Brasil em colaborao com a sociedade
/
Infraestrutura Nacional de Dados Abertos
Objetivos:Proporcionar aos cidados, e ao governo, um ponto de acesso central aos dados pblicos, disponvel na web.Coordenar e orientar a padronizao no ciclo de vida da informao, em especial no momento de sua publicao na web.Incentivar a agregao de valor aos dados pblicos e a colaborao com o cidado na implementao de novos servios sociedade.Ser uma iniciativa sustentvel de Dados Abertos.Para isso:Conjunto de padres, tecnologias, procedimentos e mecanismos de controle necessrios para se publicar dados abertos governamentais, visando seu reuso no s pela sociedade mas pelo prprio governo.
http://wiki.gtinda.ibge.gov.br/
/
Dados so abertos quando qualquer pessoa pode livremente us-los, reutiliz-los e redistribu-los, estando sujeito a, no mximo, a exigncia de creditar a sua autoria e compartilhar pela mesma licena.
http://dados.gov.br/dados-abertos/http://opendefinition.org/
Qualquer um significa qualquer um!(Sem restrio ao uso comercial, etc.)
/
O que so dados abertos?
As Trs Leis dos dados governamentais abertosSe ele no pode ser encontrado na web e indexado, ele no existe.
Se no estiver aberto e disponvel em formato compreensvel por mquina, ele no pode ser utilizado.
Se qualquer dispositivo legal no permitir que ele seja reutilizado, ele no til.David Eaves
Oito princpios dos Dados Governamentais AbertosCompletos
Primrios (brutos)
Atuais
Acessveis
Processvel por Mquina
No discriminatrio
No proprietrio
Livre de licensa
Open govWorking group
/
Lei de Acesso Informao LAI12.527/11
Esclarece que constitucional o direito de acesso informao
/
Lei de Acesso Informao
Art. 8o 3o ...I - conter ferramenta de pesquisa de contedo que permita o acesso informao de forma objetiva, transparente, clara e em linguagem de fcil compreenso;
II - possibilitar a gravao de relatrios em diversos formatos eletrnicos, inclusive abertos e no proprietrios, tais como planilhas e texto, de modo a facilitar a anlise das informaes;
III - possibilitar o acesso automatizado por sistemas externos em formatos abertos, estruturados e legveis por mquina;
Princpios de dados abertos!
/
Transporte, Estatsticos, Oramento, Segurana
Restrio: Dados pessoais!
Ex.: Paradas de nibus, locais tursticos, previso climtica, criminalidade nos bairros, LOA, desempenho das escolas ...
Quais tipos de dados?
/
Etapas da Abertura
Seleo dos dados
Definio dos formatos
Catalogao no dados.gov.br
Divulgar e promover a utilizao
/
Implementao da arquitetura
Seleo dos dados
Definio dos formatos
Catalogao no dados.gov.br
Divulgar e promover a utilizao
Implementao da arquitetura
/
Seleo dos Dados
Publique dados de amplo interesse
Foque nos dados finalsticos
Dados brutos
Abra muitos dados
Consulte a sociedade!
/
Dicas para escolha
Localizao geogrfica ++LatLong, CEP, rua, municpio, etc...
Dimenso temporal
Provenientes de BDs
Sries histricas
...
/
Seleo dos dados
Definio dos formatos
Catalogao no dados.gov.br
Divulgar e promover a utilizao
Implementao da arquitetura
/
Formatos de arquivos
RequisitosProcessvel por mquina
Formato no proprietrio
fonte:[email protected]
/
Exemplo 1: CSV
/
Exemplo 2: XML
/
Exemplo 3: JSON
/
Formatos de arquivos
Qual o melhor?Depende dos seus dados, e da situao!
Algumas orientaes:Preferir JSON a XML
Preferir CSV a ODS
Escolha um formato estvel e de amplo uso
Se possvel, publique em mais de um formato
/
Formatos de arquivos
Mais orientaes:Desaconselhamos compactar os arquivos
Pesquise pelos formatos com mais audincia
Para dados geogrficos, conhea a INDE Infraestrutura Nacional de Dados Espaciais
Sonhe com o RDF!!
Para mais detalhes:Cartilha tcnica para publicao de dados abertos
http://inde.gov.br/
http://dados.gov.br/cartilha-publicacao-dados-abertos/
/
Seleo dos dados
Definio dos formatos
Catalogao no dados.gov.br
Divulgar e promover a utilizao
Implementao da arquitetura
/
Arquiteturas de Publicao de Dados
RequisitosAs 3 leis e os 8 princpios!
No esquea: URL esttica!!!!!
TiposPublicao ManualArquivos isolados resultado de pesquisa ou levantamento
Avaliaes, balanos, levantamentos recorrentes (semanal, mensal, trimestral)
Publicao Automtica, em tempo real (diria, "instantnea,....)
http://dados.gov.br/dados-abertos/
/
Publicao manual
Os dados so coletados, transformados e publicados num processo semi-manualSistematizar no vale a pena! (?)
O processo manual confivel? (!)
Exemplo:Balano do PAC, quadrimestral
http://dados.gov.br/dataset/obras-do-pac-programa-de-aceleracao-do-crescimento
/
Publicao automatizada (1)
fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/
/
Publicao automatizada (2)
Questes levantadas por Peter Krantz:Voc realmente precisa de uma API?
Sua infraestrutura est preparada?
Torne fcil que empreendedores tenham os dados mais novos
Tenha liberdade da tecnologia. No quebre URLs...
fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/
/
Publicao automatizada (3)
Sistema em produo isoladoMais seguro
Maior disponibilidade
Esquema de dados simplificado
Autenticidade (gov.br)
custo ~ benefcio?
/
Caso: API do SICONV
SICONV: Sistema que administra os convnios entre APF, estados, municpios, DF e EPSFL.
A API est em fase beta
Requisitos:Dados em tempo real
Replicao dos dados da produo
Web Service REST
JSON, CSV, XML, ... e HTML
/
Caso: API do SICONV
Endereo: http://api.convenios.gov.brBonito n?!
Outras tecnologias:Princpios REST
CORS - Cross-origin resource sharing
HATEOAS
Exemplo de consulta:http://api.convenios.gov.br/siconv/dados/orgao/54000
/
/
http://api.convenios.gov.br/siconv/dados/orgao/54000.html
/
http://api.convenios.gov.br/siconv/v1/consulta/convenios.html?id_orgao_concedente=54000
/
http://api.convenios.gov.br/siconv/dados/convenio/759029.html
Web, REST APIs, etc..
Web != Internet
/
Web, REST APIs, etc.. (2)
Internet = infraestrutura, um amontoado de computadores, redes e cabos
Web = HTTP (hypertext transfer protocol)Documentos
Hiperlinks
URLs
Aprenda os fundamentos e faa melhor uso da Web
/
Web, REST APIs, etc.. (3)
REST - Representational State Transfer
Alguns princpiosSeparao do Cliente e do Servidor
Sem estado (stateless)
Cachevel
Sistemas em camadas
Recursos pedao especfico de informao (URI)
Esquea SOAP
Seja RESTful
/
Web, REST APIs, etc.. (4)
HATEOAS - Hypermedia as the engine of application state
O princpio de que o cliente interage com a aplicao estritamente atravs das hipermdias providas pelo servidor de aplicao.
Possibilita um maior desacoplamento servidor-cliente
Exemplo: navegue em http://api.convenios.gov.br/siconv/doc/metodos.html
Consulte no google: dados abertos novo hamburgo
/
Aplicativos e Mashups http://dados.gov.br/aplicativos
/
Experimento
Baixe os dados do PAC no portal dados.gov.br
Abra no LibreOffice e faa a converso do tipo geogrfico
=CONCATENAR(SE(DIREITA(TIRAR(O2);1)="S";"-";"");EXT.TEXTO(O2;1;PROCURAR("";O2;1)-1)+(EXT.TEXTO(O2;PROCURAR("";O2;1)+1;PROCURAR("'";O2;1)-PROCURAR("";O2;1)-1)/60)+CONCATENAR((EXT.TEXTO(O2;PROCURAR("'";O2;1)+1;PROCURAR(".";O2;1)-PROCURAR("'";O2;1)-1));",";EXT.TEXTO(O2;PROCURAR(".";O2;1)+1;PROCURAR(CARACT(34);O2;1)-PROCURAR(".";O2;1)-1))*1/3600)*1
Suba os dados para o Google Fusion Tables
Mais 2 cliques e ...
Passos: https://groups.google.com/forum/?fromgroups=#!topic/thackday/uJisBSNNgkU
/
Obras do PAC
/
Seleo dos dados
Definio dos formatos
Catalogao no dados.gov.br
Divulgar e promover a utilizao
Implementao da arquitetura
/
Arquitetura lgica da INDA
A INDA est fundamentada na Web
a unio dos dados publicado em todos os rgos
O portal um buscador
O portal armazena os metadados
Cada rgo responsvel pelos seus dados
/
Utilizamos o CKANSoftware Livre especializado
Modelo flexvel e extensvel
Integrao com CMSWordpress
VCGE para organizar assuntos
Outras tecnologiasDiazo
Varnish
Solr
PortgreSQL
Apache
Python
HG Mercurial
Portal Brasileiro de Dados Abertos dados.gov.br
/
Portal Brasileiro de Dados Abertos dados.gov.br
um catlogo
Guarda metadados
Conceitos bsicos:Conjuntos de dados
Recursos
Grupos
Etiquetas, licena, ...
/
CKAN
Caractersticas:Sistema de catlogo de busca de dados
API para busca e insero
Plugins para integrao com CMSs (Drupal e WP)
Visualizao de dados e analytics
Workflow permite orgos administrarem seus dados
Storage de dados integrado
Possibilita federao de catlogos
/
Metadados - catalogao
Dados sobre os dados (descrevem o conjunto de dados)
TiposCobertura
Descrio
Provenincia
Extrao, etc..
teis na classificao e indexao dos dados
o corao do catlogo!
/
Metadados - catalogao
Mnimos:Ttulo
Descrio
Catlogo de origem
rgo responsvel
Assuntos do VCGE
Formato do arquivo
Dicionrio de Dados
http://dados.gov.br/cartilha-publicacao-dados-abertos/
Extras:Etiquetas
Autoria
Cobertura geogrfica e temporal
Granularidade geogrfica e temporal
Atualidade
Referncias
Ontologia/vocabulrio
...
/
Catalogando dados (exemplo)
http://treino.dados.gov.brDados?Reclamaes fundamentadas dos consumidores - SINDEC
http://notas.dados.gov.br/p/metadados-cadastro-reclamacoes-SENACON
/
Catalogao pela API
CKAN prov uma API para administrao
Documentao: http://docs.ckan.org/en/latest/api.html
/
Portais com CKAN
Senado, Reino Unido, Buenos Aires, ...
Mais: http://ckan.org/2012/07/31/new-ckan-data-portals/
/
Colheita de metadados - Harvesting
Plugin que possibilita federao dos dados
Replica os metadados entre catlogos
Cada estado e municpio pode ter um portal de dados abertosdados.sc.gov.br?
dados.pe.gov.br?
Documentao:https://github.com/okfn/ckanext-harvest
/
DataStore
Servio de armazenamento e acesso a dados estruturados pela web
Software que se integra com o CKAN
Documentao:http://blog.okfn.org/2012/03/27/introducing-the-datastore/
/
Linked Data
Usar a Web para ligar dados relacionados
Expor dados na web
Compartilhar esses dados
Conectar pedaos de dados, informaes e conhecimento
Usando:URIs
RDF Resource Description Framework
/
Linked Data(2)
/
Linked Data (3)
Princpios de Linked Data (note de Tim BL):usar URIs como nomes para as coisas;
usar URIs do tipo HTTP, para que as pessoas possam recuperar essas coisas;
quando algum recuperar uma URI, fornecer informaes teis, usando os padres;
inclua links para outras URIs, para que as pessoas possam descobrir mais coisas [relacionadas]
http://www.w3.org/DesignIssues/LinkedData.html
/
Desenho de URIs
Dar nome s coisas na Web
Nomear coisas concretas ou abstratashttp://education.data.gov.uk/id/school/123065
http://reference.data.gov.uk/def/central-government/PermanentSecretary
ObjetivosNome nico
Ser persistente por muito tempo
Ser pequeno e legvel por humanos
Incorporar identificadores j em uso
/
Desenho de URIs(2)
fonte:http://data.gov.uk/resources/uris
/
As 5 estrelas dos Dados Abertos
http://5stardata.info/
/
Seleo dos dados
Definio dos formatos
Catalogao no dados.gov.br
Divulgar e promover a utilizao
Implementao da arquitetura
/
Mais orientaes?
/
Cartilha tcnica de publicao de dados http://dados.gov.br/cartilha-publicacao-dados-abertos/
Guia gerencial de abertura de dados https://www.consultas.governoeletronico.gov.br/ConsultasPublicas/download.do?acao=arquivoDocumentoReferencia&tipo=pdf&id=93
Arquitetura tcnica referencial http://wiki.gtinda.ibge.gov.br/GetFile.aspx?File=%2fGT3-Tecnologia%2fArquitetura%20Tecnica%20Referencial%20de%20Abertura%20de%20Dados%20v1%20edicao_duke.odt
Manual de dados abertos W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/Manual_Dados_Abertos_WEB.pdf
Manual do desenvolvedor W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/manual_dados_abertos_desenvolvedores_web.pdf
Cartilha do desenvolvedor W3C http://www.w3c.br/pub/Materiais/PublicacoesW3C/encarte_manual_desenvolvedores_web.pdf
Guia de dados abertos OKFN http://opendatahandbook.org/pt_BR/
Wiki da INDA http://wiki.gtinda.ibge.gov.br/
Normas
/
Instruo Normativa da INDA http://dados.gov.br/instrucao-normativa-da-inda/
Lei de Acesso Informao LAI 12.527/11 http://www.cgu.gov.br/acessoainformacoes/
Plano de Ao da INDA
Auxiliar as organizaes integrantes da INDA a cumprir a Lei de Acesso Informao
Nortear os rgos quanto viso, estratgia e poltica da abertura de dados na APF
Servir como base para criao de planos institucionais de abertura de dados
/
Consultores do SISP
/
CSVDOCMBDOther GeoSpreadsheetsWSXLSECWMDBPGDBSQLWSDLXMLEXEMetastockPNGTIFFXHTMLPDFGeo RSSMicro Station DesignPortalTMXXLS zip+HTMLGeo TIFFN3PPTTSVAPIJSONGMLOAI-PMHRAWTurtleASCIIKMLGPXODFRDFaTXT+ ZipAutreXLSXJPGODSRDF- XMLURLCIDRRDFJSODTRESTWEBCSV+ZipSHPKMZOmegaRTFWebpageDatastreamRSSMapinfoOnline DatabaseSOAPWFSDBFTXTMathlabopenDataXMLSPARQLWMSXML-ATOM-RSSXSDYAMLZipzip+sas
???Pgina ??? (???)18/09/2012, 17:07:18Pgina /