Entorno “cloud” de análisis de imágenes multitemporales para el Plan Nacional de

Teledetección

Antonio Villena, Emilio Domenech, Nuria Plaza, Guillermo Villa Instituto Geográfico Nacional. Unidad de Observación del Territorio

Congreso AET 2017. Murcia. España. Octubre 2017

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

• En los últimos años se está produciendo una revolución en el mundo de la informática que está cambiando los principios establecidos acerca de cómo se generan y utilizan datos e información en todos los ámbitos: el fenómeno llamado “Big data” y las tecnologías asociadas: virtualización, paralelización, procesado y almacenamiento en la nube -“cloud computing”-, entre otras.

• Estas nuevas tendencias están propiciando la aparición de modelos de negocio innovadores en la llamada “Platform Economy” (Platform as a Service –PaaS–, Software as a Service –SaaS–, Infrastructure as a Service –IaaS–, etc.

Paradigma clásico:

descargar los

datos de partida y

procesarlos en

máquinas locales

Computación clásica

Paradigma clásico:

descargar los

datos de partida y

procesarlos en

máquinas locales

Se hace imposible

cuando se trata de

procesar decenas

de terabytes o

incluso petabytes de

datos, a veces casi

en tiempo real.

La solución: “Cloud computing”

Nuevo paradigma:

“subir el programa a la

nube, donde están los

datos y procesarlos allí”,

descargando (o

visualizando) sólo el

resultado

Paradigma clásico:

descargar los

datos de partida y

procesarlos en

máquinas locales

Se hace imposible

cuando se trata de

procesar decenas

de terabytes o

incluso petabytes de

datos, a veces casi

en tiempo real.

Nuevo paradigma:

“subir el programa a la

nube, donde están los

datos y procesarlos allí”,

descargando (o

visualizando) sólo el

resultado

Paradigma clásico:

descargar los

datos de partida y

procesarlos en

máquinas locales

Se hace imposible

cuando se trata de

procesar decenas

de terabytes o

incluso petabytes de

datos, a veces casi

en tiempo real.

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

Es más mucho más eficiente procesar en “máquinas virtuales”: programas (como VMware, VirtualBox etc...) que emulan un ordenador completo, en el que se puede instalar y configurar un sistema operativo (Linux en sus diversas variantes, Windows, etc...) así como todas las librerías y aplicaciones que se deseen.

1. Virtualización

Overcommitment: se crean muchas MVs en una máquina real (MR), con una suma de memoria RAM mucho mayor de la que tiene la máquina real Esto permite aprovechar el llamado “coeficiente de simultaneidad”, ya que estadísticamente en un instante dado muchas de las MV estarán paradas y por tanto no consumirán recursos reales.

Estas maquinas virtuales se pueden clonar fácilmente, haciendo tantas copias como se necesiten (snapshots o “imágenes”) con todo el software instalado y configurado, e incluso ponerlas a disposición de otros en un servidor de Internet.

Tecnologías que permiten utilizar muchas máquinas (decenas, centenares o incluso miles de ellas) para realizar colaborativamente una misma tarea y así conseguir que esta acabe en un tiempo breve, o al menos razonable.

IBM's Blue Gene/P massively parallel supercomputer (Wikipedia)

-Ejemplo: 1 máquina = 3 meses 180 máquinas en paralelo = 1 día

2. Paralelización

Tecnologías de colaboración entre muchas máquinas reales formando un “cluster”, que permite la creación de máquinas virtuales que no dependen de una sola MR específica. Permite ofrecer a través de Internet “servicios informáticos” (almacenamiento, procesado,...) casi ilimitadamente escalables, sin que el usuario final sea propietario ni gestione el hardware que soporta dicho “cloud”.

3. Cloud computing

• Colaboración entre muchas máquinas reales formando un “cluster”, que permite la creación de múltiples máquinas virtuales

• Permite ofrecer a través de Internet “servicios informáticos” (almacenamiento, procesado,...) casi ilimitadamente escalables, sin que el usuario final sea propietario ni gestione el hardware que soporta dicho “cloud”

• Requisito: automatización total de

los procesos

Distributed File Systems: • File systems that allow access to

files from multiple hosts sharing via a computer network

• This makes it possible for multiple users on multiple machines to share files and storage resources

4. Sistemas de archivo distribuidos

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

• Se ha pasado de bases de datos SIG en red local y procesado de datos en máquinas locales con programas “desktop” (ArcGIS, QGIS, etc.) a plataformas “cloud” tan potentes y sofisticadas como Google Maps, Microsoft Maps, ArcGIS on line, etc. en el entorno empresarial u OpenStreetMaps, Geoserver, Mapserver, Mapbox, Carto, etc. en los entornos “opensource” y “opendata”

• Todas estas iniciativas están apoyadas en desarrollos tecnológicos y de estandarización tan potentes como WMS, WMTS, WCS, WFS, WPS, Vector Tiles, etc.

Desde 2005 Google Maps: información “sin fronteras”

Nuevas posibilidades y expectativas

Información geográfica voluntaria: Eg: OpenStreetMap,etc

Datos globalesE.g: SRTM DEM, etc..

“Opendata” > Imágenes gratuitas E.g: Landsat, Sentinel,…

Bases de datos mosaicadas o “híbridas”

• Generación y diseminación de nuevos datos, “mosaicando” varias bases de datos preexistentes de distinto origen

• Estos nuevos productos pueden ser generados por cualquier persona o grupo de personas, no necesariamente una empresa ni una institución

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

20

BIG DATA en Teledetección

• La teledetección se había mantenido más o menos al margen de estas revoluciones y, exceptuando algunas iniciativas aisladas y poco visibles (ej: ESA GPOD, etc.) todo seguía más o menos por los cauces tradicionales: descargarse la imágenes, procesarlas en máquinas locales con software desktop, generar ficheros de salida y ponerlos a descarga en FTP para su uso por terceros

• Pero en los últimos dos años la explosión de datos gratuitos y de procesos complejos e intensivos en computación, ha sido total

Procesos muy complejos e intensivos en cálculo

Ejemplos: - Análisis de series temporales - - Deep learning

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

• En los últimos dos años varias tecnologías han madurado lo suficiente para que se

produzca una reacción en cadena que ha precipitado el cambio de paradigma en el mundo de la teledetección del mismo modo que había llegado a otros entornos del mundo la geoinformación.

• El primer ejemplo fue la plataforma “Google Earth Engine” desarrollada por Google en colaboración con la Carnegie Mellon University, la NASA, el United States Geological Survey y TIME, lanzada en 2012.

• Esta plataforma aúna los recientes avances en cloud computing, Big data, GIS en cloud y otros campos, y los aplica a la visualización multirresolución, análisis y procesado de cantidades ingentes de imágenes de teledetección gratuitas, como Landsat, Sentinel, etc

Google Earth Engine

• Permite a los usuarios ejecutar análisis geoespacial con datos de Teledetección en la infraestructura de Google

• Explorer es una app web ligera para explorar el catálogo de datos y ejecutar análisis sencillos

• Earth Engine Code Editor que es un IDE (Integrated Development Environment) basado en la web para escribir y ejecutar scripts.

• El procesamiento en la nube es bajo demanda • Escalabilidad • Necesidad de almacenamiento local mínima • Reducción de costes

Ventajas

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

Visualizadores

Plataformas

Plataformas

Visualizadores

Privadas

Institucionales

Copernicus Open Access Hub - ESA

Geostore

Platform

GloVis

EarthExplorer

DA Land Viewer +

EOS Engine

Catálogos + Visualizadores + centros de descarga

GloVis EarthExplorer

Copernicus Open Access Hub - ESA

Catálogos + Visualizadores + centros de descarga

Catálogos + Visualizadores + centros de descarga

Geostore

En el entorno empresarial y comercialse están desarrollando rápidamente muchas otras potentes iniciativas como “Planet Plattform”, “Geostore” de Airbus Defense and Space, “GBDX” de DigitalGlobe, “UrtheCast Platform”, etc.

Plataformas de empresas privadas

DA Land Viewer +

EOS Engine

Platform

DA Land Viewer

Plataformas institucionales

• Organizaciones tan importantes como: ‐ el programa Copernicus ‐ la Agencia Espacial Europea (ESA) ‐ US Geological Survey (USGS)

están desarrollando plataformas, como por ejemplo el Copernicus Data and Information Access Services (DIAS) o EO Browser. • Se están invirtiendo importantes presupuestos

y recursos en estas plataformas

• El objetivo es facilitar y promocionar todo lo posible el uso de los datos gratuitos

Copernicus Open Access Hub - ESA

GloVis

EarthExplorer

Iniciativas de comunidades de software abierto

• En ocasiones algunas de las iniciativas institucionales publican su código en repositorios como GitHub. También se han puesto a disposición de la comunidad de programadores gran cantidad de aplicaciones tales como: sentinelsat, Sentinel-download, sat-download, sat-api, landsat-útil, landsat-api, etc

• En los últimos meses se ha producido una eclosión de plataformas de procesado en la nube de este tipo aplicadas a la Teledetección, tales como: EO Browser, Sentinel-PlayGround, EOS DA Land Viewer, etc.

• Estas plataformas están basadas bien en

infraestructuras en cloud comerciales como AWS, GoogleEarthEngine o Google Cloud, bien en infraestructuras propias, como es el caso de EOCloud

EO Browser

• Gran cantidad de imágenes de satélite alojados en la nube (Sentinel2 y Sentinel3, archivo de la ESA de Landsat5, 7 y 8, cobertura global de Landsat8,…)

• Opciones de visualización (true color, false color, NDVI, etc), • Combinaciones de bandas personalizadas • Proporciona una visualización a plena resolución de todos estos productos. • Señalizar capas y localizaciones. • Mecanismos de procesado de datos. • Exportación de los resultados del procesado.

Por otra parte, grandes plataformas de computación general en cloud almacenan y dan acceso “on line” a los usuarios de sus plataformas, a todo el archivo de imágenes Modis, Landsat y Sentinel sobre toda la tierra.

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

Requerimientos para procesado Big Data / Cloud computing

• Análisis multitemporal

• Análisis multirresolución

• Integración de datos de distintos sensores

• Procesado automático rápido y eficiente de cantidades masivas de datos

• Organización rigurosa de los datos

• Cobertura multirresolución consistente de todo el área de trabajo

Necesidades Requerimiento

• Un procesado eficiente multirresolución, multisensor y multitemporal require una organización de los datos eficiente como el Quad tree

Prcesado eficiente

• La proyección Web Mercator abarca la mayor parte de la tierra con un solo “tile”

• Como hay que hacer un “corte” a cierta latitud para evitar singularidades en los polos Web Mercator define dos cortes a las latitudes exactas que producen un “tile” cuadrado:

-85.05112878 y 85.05112878

• Web Mercator recibe muchos nombres distintos: Spherical Mercator, Mercator con esfera auxiliar, Proyección de Google,…

Esquema de teselado GoogleMapsCompatible Tilematrixset “de facto” standard Tiling Schema

• Web Mercator is complemented by a Tiling Schema based in the Quad Tree principle, so it is a Nested Grid

• This schema is optimized for server performance when serving tiled cached raster coverages through Internet

• It is the base of Google Maps, and supported by a great number of geospatial data and API providers (e.g. Google, Microsoft, ESRI,…) and very important Open Source and Open Data initiatives (Open Street Maps, Mapbox,...)

The reasons for this massive adoption are multiple:

- Rectangular : allows the whole Earth (or the biggest part of inhabited areas) in one single square tile

- Almost conformal: locally maintains the shapes of objects that have a natural aspect at all latitudes (e.g: buildings, roundabouts)

- No different zones (one single projection)

- North is always straight up (Geographic North = Projection North)

- Very efficient computation (thanks to the auxiliary sphere: easier formulas)

Massive adoption by web mapping platforms

• Quad tree solution optimizes efficiency for web mapping requirements.

• Because it fits perfect with low-level machine language

• For any type of data: both raster (WMTS) or vector (Vector Tiles)

• Nested grid data structure fulfils new requirements in remote sensing data processing in terms of

• data organization (unambiguous, rigorous and easily repeatable order)

• consistency (through all resolution levels)

• coherence (streamlines the complete workflow from data capture to web mapping/distribution)

• efficiency (ease computation, foster parallelization)

• The optimal solution in web mapping shall be a good one in data storing, processing and downloading, plus the benefits in consistency for the complete data workflow

• Nested grid data structure is an easy and open interface that can be consumed through web services, APIs and download data center technologies

• It is an ideal spatial basis for “data cube” technologies.

Nested grid and the new global requirements in remote sensing

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

• Se ha empezado desarrollando una plataforma de visualización mediante el entorno de ejecución multiplataforma Node.JS como servidor web

• Se trata de un entorno de código abierto bajo JavaScript que permite la implementación tanto en el Frontend como de Backend

Arquitectura de la plataforma

La plataforma esta alojada en la nube de AWS. Cuando un usuario realiza una consulta a través del visualizador, se realiza una consulta a la BD alojada también en la nube. Esta BD tiene las rutas de todas las imágenes que contiene el repositorio del PNT. (Para que la plataforma funcione, todas las imágenes tienen que estar subidas a un almacenamiento de AWS, como es S3). La parta servidora de la plataforma (en AWS) es la encargada de procesar la información (visualizar, calculo del NDVI) y posteriormente devolverla al cliente para que se visualizen los resultados.

S.O BASE DE DATOS CLIENTE SERVIDOR

Tecnologías usadas

Plataforma de computación

• Permite la búsqueda en el catálogo de imágenes (públicas y licencia PNT) • Dispone de los criterios de búsqueda por fecha, por ámbito geográfico y por

sensor • Permite el procesado online bajo demanda del índice NDVI. • Dispone de más de 60.000 imágenes de diferentes satélites y productos de

valor añadido (Sentinel2, Landsat8, Spot5, Fusiones Landsat8, etc.)

BD Postgis de imágenes del PNT

• Se han creado 4 tablas: usuarios, productos, imágenes y otra para rellenar metadatos

• Esta es la BD en la que se apoya la interfaz de visualización a la hora de hacer consultas

• Tabla de imágenes, donde cada registro corresponde a una imagen

• Tiene 22 atributos o campos como pueden ser: fecha captura, path, row, identificador de fichero…etc

• En el campo geom se almacena la geometría de la huella

Flujo en FME para carga de la BBDD

• Flujos diseñados en FME para rellenar de forma automática la BD Postgis a partir de los ficheros de imágenes almacenados en distintos directorios

• Este ejemplo es el flujo para las imágenes Landsat8

Resultado de búsqueda. Muestra en pantalla el preview de la imagen seleccionada

• Gracias a la gran cantidad de código abierto que permite la búsqueda, descarga de metadatos, descarga de imágenes y procesado disponible a través de plataformas colaborativas como GitHub, es posible integrar en la plataforma, sin mucho trabajo de programación estas funcionalidades tales como pansharpen o cálculo del NDVI

DEMOSTRACIÓN DE LA PLATAFORMA PNT

Indice 1. El problema del “BIG DATA” 2. Tecnologías que lo han hecho posible 3. La revolución del “Cloud computing” en cartografía 4. El problema “Big data” llega a la Teledetección 5. La revolución “cloud” llega a la teledetección 6. Ejemplos de plataformas en cloud 7. Requerimientos de organización de los datos 8. Plataforma cloud para el PNT 9. Conclusiones

• El IGN está desarrollando una plataforma de procesado en la nube para el Plan Nacional de Teledetección (PNT)

• Con esta plataforma, se pretende facilitar el acceso a las imágenes de Teledetección en España, con la particularidad de proporcionar simultáneamente el acceso a otros datos geoespaciales archivados en los servidores del PNT, el Centro de Descargas del CNIG o la IDEE: ortofotos PNOA, nubes de puntos PNOA Lidar, Modelos Digitales de Elevaciones, datos SIOSE, Base Topográfica Numérica 1:25.000, limites administrativos, etc.

• Toda esta información puede, en principio, integrarse en flujos de trabajos mixtos.

AGRADECIMIENTOS

Este trabajo ha sido financiado por el Ministerio de Economía y Competitividad en el marco del Programa Estatal de Fomento de la Investigación Científica y Técnica de Excelencia, en el proyecto coordinado “Generación de Productos de Nivel 2 para la Misión INGENIO/SEOSAT”

Backup slides

Esquema de teselado GoogleMapsCompatible TileMatrixSet

Un estándar “de facto” para la interoperabilidad y el procesado multirresolución de datos de teledetección

Guillermo Villa, Xalo Fernández-Villarino, Jose Antonio Tejeiro, Antonio Villena. Instituto Geográfico Nacional

David Hernández-López Universidad de Castilla-La Mancha

Congreso AET 2017. Murcia. España. Octubre 2017

Sensors • Modis • Sentinel 3 • Sentinel 2 Tilings • Red: LOD 5 • Black: LOD 9

Vista detallada: Modis y Sentinel 3

Alineado de los píxeles: Modis / Sentinel 3

Sensors: • Modis • Sentinel 2 Tiling: Red: LOD 5 Black: LOD 9

Alineado de los píxeles: Sentinel 2 / Modis

Imágenes Sentinel 3 con huellas de Supertiles LOD 5