SDMX en el INEGI

Octubre 2012

EXPERIENCIA DEL INEGI. ESTRATEGIA INICIAL

En el INEGI, el proyecto actual tomó fuerza en marzo de 2010, a partir de una instrucción del más alto nivel de la institución.

Para la atención del proyecto se integró un grupo coordinador de carácter interdisciplinario integrado por personas con diferentes perfiles: Tecnologías de la información Estadístico Relaciones internacionales.

Capacitación y autocapacitación de los participantes y desarrollo de habilidades técnicas y conceptuales, a partir de los recursos de aprendizaje del sitio Web SDMX .

EXPERIENCIA DEL INEGI. ESTRATEGIA INICIAL

Evaluación e implementación local de infraestructura Tecnológica

Elaboración de un inventario de la información estadística entregada por las diversas áreas generadoras del INEGI a organismos internacionales.

Desarrollo de una prueba piloto con dos flujos de información que el INEGI entrega periódicamente a la OCDE: Indicadores económicos de coyuntura PIB trimestral.

EXPERIENCIA DEL INEGI. SDMX - COMPONENTE ESTADÍSTICO

Propósito de los estadísticos en el proceso SDMXAsegurar que la estructura del DSD ofrezca una descripción precisa y completa de cada una de las características conceptuales y metodológicas necesarias para comprender, sin ambigüedades, la estadística que se intercambia, sea ésta básica o indicadores derivados.

¿Cómo lo hemos realizado?• Identificación de las categorías e indicadores estadísticos que

conforman el flujo de información.• Identificación de las variables de clasificación que aplican para

cada categoría e indicador estadístico.• Identificación y/o definición de los codelists adecuados para

cada variable de clasificación y para cada categoría o indicador estadístico.

EXPERIENCIA DEL INEGI. SDMX-COMPONENTE ESTADÍSTICOElementos mínimos para caracterizar un flujo de información

• Nombre preciso de las categorías o indicadores estadísticos que conforman el flujo.

• Cobertura geográfica a que se refiere la estadística.• Cobertura temporal de la estadística.• Unidad de medida de cada categoría o indicador estadístico.

Flujos de información estadística trabajados por el INEGI• Producto interno bruto trimestral (OCDE)• Indicadores de corto plazo (OCDE)• Comercio exterior de mercancías de México (OCDE)• Indicadores de Desarrollo del Milenio (ONU)• Indicadores económicos de corto plazo (Prueba piloto OCDE)• Indicadores de empleo de corto plazo (Prueba piloto OCDE)• Sistema de Cuentas Nacionales de México. Anual (OCDE)

MSD. CONCORDANCIA CONCEPTUAL PLANTILLA EUROSTAT-DDI

Plantilla elaborada por Eurostat (61 rubros). Incluye los siguientes bloques de información: Información sobre los contactos Metadatos conceptuales Metadatos metodológicos Metadatos sobre la calidad de las estadísticas

Formato DDI. Caracterización de bases de microdatos (82 elementos) Características metodológicas Características de las bases de microdatos (conceptuales y

técnicas) Materiales de referencia externos Algunos aspectos administrativos

MSD. CONCORDANCIA CONCEPTUAL PLANTILLA EUROSTAT-DDI

De los 61 elementos del MSD de Eurostat

24 rubros se pueden llenar con ayuda del DDI (39.3%)

11 rubros corresponden a datos operativos del proyecto de fácil obtención (18.0%)

9 rubros se refieren a aspectos metodológicos del proyecto de fácil obtención (14.8%)

6 son datos administrativas del proyecto de fácil obtención (9.8%)

1 se refiere al marco jurídico del INEGI (1.6%)

10 corresponden a rubros no considerados anteriormente de difícil obtención (16.4%)

RESULTADOS

DSD

Bases de Datos de

Diseminación

Mapeo

Produce

Produce

usa

Formato XML

Formato JSON

Conjunto de Datos SDMX

Formato XML

Conjunto de Datos SDMX

Formato CSV

Formato JSON

Formato DSPL

DSW v1.2.7

Mapping Assistant v2.9

SDMX-RI v2.2.0 SDMX-RI

v2.4.4

PRUEBAS

REST (SDMX 2.1 draft) REST (SDMX

2.1 final)

usa

Produce

Streaming

SDMX PUBLICACIÓN/DISEMINACION: “Qué se tiene”

Consulta

1. Consulta todos los Flujos de Datos (Dataflow)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Dataflow/ALL/ALL/ALL

2. Consulta de un DSD específicohttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/DataStructure/ALL/KF_INFRA_ANNUAL_LABOUR/ALL?references=shallow

3. Consulta de un DSD sin catálogos (Keyfamily)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/DataStructure/ALL/KF_INFRA_ANNUAL_LABOUR/ALL

4. Traer un catálogo (Codelist)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_SUBJECT_INFRA/ALL

5. Consulta de Datoshttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=ALL&format=generic

Ejemplo de Consultas REST al WebService

6. Consulta de Datos Condicionada ({FREQ}.{REFENCE_AREA}.

{SUBJECT}.{AGE}.{SEX}.{ADJUSTMENT}.{UNIT})http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact

7. Esquema de Conceptos (ConceptScheme)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/ConceptScheme/ALL/ALL/ALL

8. Esquema de Categorías (CategoryScheme)http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/CategoryScheme/ALL/ALL/ALL

Ejemplo de Consultas REST al WebService

6.1 Formato JSONhttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=json 6.1 Formato CSVhttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=csv 6.1 Formato DSPLhttp://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_INFRA_ANNUAL_LABOUR/OECD?key=...Y15-24.M..&format=compact&alt=dspl

CONCEPTO STATUSPágina SDMX en Sitio INEGI

•Aplicación para presentar los Flujos de Datos de INEGI en Internet

•Asistente para la construcción de URLs de consulta de flujos de datos

•Impulsar el desarrollo de “Herramientas de Visualización”, de manera didáctica muestra cómo pueden ser leídos e interpretados los flujos de datos SDMX (con ejemplos de generación de gráficas).

SDMX PUBLICACIÓN/DISEMINACION: “Qué se tiene”

REST y formatos CSV, JSONP, CHART, DSPL y con la ayuda de ISTAT se logró que los flujos SDMX

sean visualizados en el Statistics eXplorer

SDMX-ML(XML)

DSPL 

SDMX-RI

Flujo de Datos SDMX del WS de INEGI en Google Public Data

http://www.google.com/publicdata/explore?ds=n299qqtd2dfc3_&ctype=l&strail=false&bcs=d&nselm=h&met_y=OBS_VALUE&fdim_y=ADJUSTMENT:N&fdim_y=FREQ:M&fdim_y=PRICE:Z&fdim_y=REF_AREA:MX&scale_y=lin&ind_y=false&rdim=INDICADOR_ST&idim=INDICADOR_ST:C1161:C1162&ifdim=INDICADOR_ST&tstart=980056800000&tend=1327125600000&hl=en&dl=en

SDMX PUBLICACIÓN/DISEMINACION: “Qué se está haciendo”

LA PLATAFORMA PARA PUBLICACIÓN ESTÁ CONCLUIDA. Sin embargo se está mejorando para optimizar el enfoque de DISEMINACIÓN de SDMX.CONCEPTO STATUSAdopción de nueva Versión de “RI” con Streaming

•En pruebas junto con el nuevo desarrollo REST (que soporta varios formatos) y mejora sustancialmente los tiempos de respuesta

Nuevo desarrollo REST para Streaming

•En pruebas xml y json•En desarrollo resto de formatos

Consulta a BD xml

•Consulta a través de REST, de datos provenientes de una BD-xml (contiene archivos SDMX), con posibilidad de filtrarlos con los parámetros REST de SDMX 2.1

FALTAN FLUJOS: SUGERENCIAS:BD Institucionales •Se sugiere que se definan DSD temáticos

para la diseminación de los indicadores de BD de Diseminación Institucionales.

SDMX PUBLICACIÓN/DISEMINACION: “Qué hace falta”

CONCEPTO STATUSDesarrollo de Herramientas de Visualización en otros países

•FMI Principal Global Indicators- PGI

•BCE: ECB inflation dashoard

•FAO: “Coming soon” The data.fao.org website blends together statistics, maps, pictures, and documents.

SDMX DISEMINACIÓN: “Qué se está haciendo en otros países”

INEGI COMO RECOLECTOR

“ENFOQUE RECOLECCIÓN”

Estrategia de implantación

Recolección: Qué se tiene Concepto Comentarios

RI con REST Para ofrecerla a Instituciones que cuenten con una Base de Datos de Diseminación

Experiencia En la adopción de SDMX que puede ayudar a disminuir la curva de aprendizaje en Unidades del SNIEG

Documentación para instalación y ejemplo práctico para automatizar un flujo

Se tiene alguna versión de Manuales para apoyar a las instituciones que deseen adoptar SDMX, en la instalación de la plataforma informática con su interface REST, aún y cuando sabemos que tienen que actualizarse.

Recolección: Qué se está haciendo

Concepto ComentariosDesarrollo REST en JAVA

•Permitirá ofrecer a las Unidades de Estado del SNIEG el paquete completo de la Infraestructura de Referencia SDMX con REST para Java o .NET.

Recolector SNIEG

•Se tiene una versión beta que toma un archivo SDMX e integra los datos en una BD.

Recolección: Qué hace faltaConcepto Comentarios

Identificar un flujo de prueba

Seleccionar datos que INEGI recolecte de otra(s) institución(es)

Definir el DSD Definir el DSD para hacer un piloto (conjuntamente el área responsable de los datos a recolectar y el grupo SDMX)

Hacer una Prueba Piloto

Con una o dos instituciones que publiquen información

Definir ROLES para la prueba piloto

Coordinación, definición de conceptos y catálogos en el DSD, soporte informático, invitación a instituciones, etc.

GRACIAS