Promoting Earth Observation Services

Big Data en la Observación de la Tierra mediante satélites  y sensores aéreos.   Participación del IGN en el Proyecto  europeo FP7 SenSyf Guillermo Villa Instituto Geográfico Nacional Foro Big Data. Cloud & Network Future XXI Congreso @asLAN’14. Madrid, 22 de Abril de 2014

1. La observación de la tierra desde satélites y sensores aerotransportados

La tierra es un planeta muy variado ...

...en el que vivimos más de 7.000 millones de personas...

Para satisfacer nuestras necesidades, la humanidad ha desarrollado  una gran diversidad de técnicas  muy avanzadas: Agricultura Ganadería Pesca Minería Aprovechamiento forestal Construcción Transporte Embalses, pozos, canales, balsas,... Saneamiento (recogida y depuración de aguas  residuales) Recogida y disposición de residuos Producción, almacenamiento y transporte de  energía, ......

Pero estos procesos necesitan utilizar unos recursos escasos... Suelo, para: construcción transporte agricultura y ganadería bosques ..... Energía Agua dulce Petroleo, gas, minerales madera, piedra,.. etc...

Muchos de ellos limitados ó no renovables a la misma velocidad  que los consumimos

Y además tienen graves impactos sobre el medio ambiente...

Invasión de suelo natural.  Expansión urbana  acelerada Contaminación de agua, aire, suelos,... Destrucción de hábitats Emisión de gases de efecto invernadero > cambio  climático Talas y deforestación Desmontes Vertidos ………..

Por tanto, no tenemos más remedio que ...

‐ Gestionar adecuadamente y  mejorar la producción y el  reparto de recursos renovables  (alimentos, agua potable,...) ‐ Disminuir al máximo la  utilización de los recursos no  renovables (petroleo, gas,...) ‐ Disminuir los efectos negativos sobre el medio ambiente

SOSTENIBILIDAD

Satélites de observación de la  tierra

¿De dónde proceden los datos?

“ven” la energía no visible. Adquieren datos  sistemáticamente Complementan otras  fuentes de datos 

9

Cuando la luz del sol (I)  llega a una superficie,  esta la refleja

Los satélites de observación de  la tierra captan la luz  reflejada, que contiene  información sobre los  objetos, en varias longitudes  de onda (bandas) 10

“Firmas espectrales”

agua vegetación arena hormigón nieve

80 70

% reflectividad

60 50 40 30 20 10 0 0,4

Vis

0,6

0,8

1

1,2

1,4

NIR

1,6

1,8

SWIR 11

2

2,2

2,4

(m)

Hay muchísimos satélites de  observación… diseñados específicamente para divresas aplicaciones

Y además, otros datos recogidos desde aviones, en tierra o en el  mar

12

Aplicaciones a la Agricultura

Ej: Control de  ayudas de la PAC

13

Agricultura de precisión

Las imágenes informan al agricultor de: ‐ Cuanto hay que regar ‐ Cuanto hay que abonar ‐ plagas ‐ etc...

14

Aplicaciones forestales

1972

1989

1993

1998

Ej: Control de deforestación por talas ilegales en la Amazonía 15

Prevención y seguimiento de incendios forestales

Envisat/Meris

‐ Evaluación de riesgos: mapas de uso de suelo, combustibilidad de la cubierta vegetal,  humedad del suelo, información meteorológica ‐ Detección de incendios ‐ Estimación de daños y seguimiento de la regeneración de áreas quemadas 16

…Y DESPUES DEL INCENDIO

Mapa de clasificación de daños tras el incendio de La Gomera, verano del 2012. 17

Aplicaciones a la Oceanografía

Clorofila marina

Temperatura superficial del mar 18

Estudio de los usos del suelo

19

Proyecto CORINE Land Cover de la Unión Europea. Es una base de datos de  cobertura y uso del suelo de toda la Unión Europea, hecha por fotointerpretación  asistida por ordenador de imágenes Landsat utilizando fotos aéreas y otra  información auxiliar. El coordinador para España de este proyecto es el Instituto  Geográfico Nacional 20

Inundaciones

JULIO 1993 21

‐

Cartografía de áreas  susceptibles (mapas de zonas  potencialmente inundables)

‐

Seguimiento de las fases  secuenciales de   la inundación  (lluvia, deshielo, accidente)

‐

Estimación de daños  (cartografía de zonas  inundadas)

‐

Seguimiento, regeneración y  reconstrucción de áreas  afectadas 

Vertido contaminante en  Doñana (Aznalcollar,1998)

Spot 4

28/3/98 22

4/5/98

Detección de vertidos de  hidrocarburos

‐ ‐ ‐

Seguimiento de la mancha Estimación de daños en la zona  intermareal Regeneración (limpieza…) de  áreas afectadas (Prestige, Nov.2002) 23

2. Programas de observación de la tierra europeos y mundiales

Copernicus – el programa  europeo de Observación de la  Tierra

Mejorar nuestro conocimiento del medio ambiente cambio climático calidad de la atmósfera océanos ayuda a actividades agrícolas…

Mejorar nuestra seguridad gestión de catástrofes naturales

sostenibilidad

EUROPA VISTA DESDE UN SATÉLITE

26

Garantizar la

The Sentinel constellation

Sentinel‐1

Sentinel‐2

Sentinel‐3

PLUS

Contributing Missions

Third party EO missions offering their data to Copernicus (EU/ESA MSs, EUMETSAT, commercial, international)

Copernicus Programme Committee Bruxelles – 29 November 2013

Sentinel‐4

Sentinel‐5

AND

High Precision Ocean Altimetry (HPOA) mission

Sentinel‐6 (Jason‐CS)

27

Copernicus Programme Committee Bruxelles – 29 November 2013

29

Sentinel‐1: satélite radar (Abril 2014) Adquiere imágenes independientemente de: ‐ las condiciones de iluminación  (diurnas,  nocturnas) ‐ de las condiciones meteorológicas  (nubes, niebla,  lluvia) Imágenes disponibles en menos de 3 días desde su  adquisición (emergencias: en menos de 24 h) Vigilancia del medio marino: ‐ vertidos de petróleo ‐ desplazamientos de bloques de hielo ‐ detección de embarcaciones (seguridad marítima) ‐ ayuda a misiones humanitarias

Riesgo de desplazamientos de terreno

30

Sentinel‐2: satélite óptico de alta  resolución (2014) Adquiere imágenes visibles e infrarrojas (13 bandas) Imágenes de 290 km de ancho, resolución de 10 a 20 m IRS

Alta Revisita (10 días)

7

Imagen IR

Vigilancia del medio terrestre:  Catástrofes naturales (inundaciones, incendios…) ‐Mapas de uso del suelo Vegetación Bosques Planificación urbana Gestión del agua

SPOT 1-5

31

Sentinel‐3: color + temperatura +  altímetro radar (2014) Imágenes ópticas y térmicas (21+9 bandas); de 1270 a  1675 km de ancho, resolución de 300 a 500 m Medidas altimétricas precisas (3 cm). Alta Revisita (4 días) IRS

Vigilancia del medio marino y terrestre:  Color y temperatura del agua (nutrientes, contaminación,  corrientes marinas…)  Topografía marina   Vigor de la vegetación  Temperatura del suelo  Incendios  Cambio climático

32

7

SPOT 1-5

35

Satélites indios de observación de la  tierra

39

40

3. El Plan Nacional de Observación del Territorio en España (PNOT)

PNT El Plan Nacional de Teledetección

Spanish National Remote Sensing Program (PNT)

 provides regular coverage of Spanish territory with satellite imagery, present and historical  Geometric and radiometric processing by experts of Spanish scientific community  Acquired and processed once  Multi-user licenses for all Spanish public Institutions, making possible the massive use of remote sensing  These coverages are structured in high, medium and low spatial resolutions.  IGN Spain, together with INTA, coordinates this Program Number of images /year: ≈ 250 SPOT5 P(2.5m) + 250 SPOT5 XS ≈ 800 Landsat 5 / Deimos + MODIS/MERIS (soon)  http://www.ign.es/PNT/ 44

Procesado

2005

2007

Ejemplo 1: Evolución costa de Málaga con SPOT 5 anual

2006

2008 46

Productos PNT ALTA RESOLUCIÓN -Escenas originales pancromáticas -Escenas originales multiespectrales -Escenas pancromáticas georreferenciadas -Escenas multiespectrales georreferenciadas (remuestreo bi) -Escenas multiespectrales georreferenciadas (remuestreo nn)

MEDIA RESOLUCIÓN

BAJA RESOLUCIÓN

-Escenas originales

-Escenas originales

-Escenas corregidas geométricamente

-Escenas corregidas geométricamente

-Escenas en reflectividades

-Escenas en reflectividades

-Parámetros biofísicos

-Parámetros biofísicos

-Metadatos

-Metadatos

-Escenas fusionadas 4 bandas -Escenas realzadas pseudocolor natural SIOSE comprimidas ECW -Escenas realzadas FC Corine comprimidas ECW -Escenas realzadas FC Clásico comprimidas ECW -Escenas realzadas pseudocolor natural comprimidas ECW -Mosaico pseudocolor natural SIOSE comprimida ECW -Mosaico falso color clásico comprimida ECW -Mosaico falso color corine comprimida ECW -Metadatos

47

47

http://www.ign.es/PNT/

http://blogpnt.wordpress.com/

48

Almacenamiento ESPACIO en TB 2005 2006 2007 2008 2009 2010 2011 2012 6 3 3 6 6 6 36 36 0 1 17 17 17 30 20 20 1 1 1 1 0 0 0 0

ALTA resolución MEDIA resolución MEDIA resolución Histórica BAJA resolución MUY BAJA resolución

ESPACIO TOTAL ANUAL

6

2005

2006

2007

20.576

2.128

2.128

3

NUMERO DE FICHEROS 2008 2009

118.496

2.276.756

3

7

44

44

54

67

2010

2011

2012

2.276.756

2.168.004

3.228.804

49

Productos del PNT. Landsat histórico PRODUCTOS ORI GEO CAT PBF MET

Escenas originales (TM) Escenas originales (MSS) Escenas corregidas geometricamente (TM) Escenas corregidas geometricamente (MSS) Escenas en reflectividades (TM) Escenas en reflectividades (MSS) Parámetro biofísico n (TM) Parámetro biofísico n (MSS) Metadatos ISO 19115

Unidades por cobertura

51 51 51 51 51 51 51 51

MB por unidad

300 15 650 32 650 32 500 25

Cob. Anual

20 20 20 20 20 20 20 20

GB TOTAL

Años

18 17 18 17 18 17 18 17

Nº Ficheros

5508 257 11934 557 11934 557 9180 428

18360 17340 18360 17340 18360 17340 91800 86700

Estimación  TOTAL de LANDSAT histórico (35 años): ‐ Espacio almacenamiento:         39,9 TB ‐ Imágenes:                                 35.700 escenas ‐ Productos disponibles:            285.600 escenas (valores estimados considerando 5 parámetros biofísicos)

50

Programa Nacional de Observación de la Tierra por Satélite - PNOTS XIV Congreso Asociación Española Teledetección (21 de septiembre de 2011) Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)

OBJETIVO GENERAL Y CARACTERÍSTICAS

PNOTS

OBJETIVO GENERAL Desarrollo coordinado para el desarrollo, financiación y explotación de un satélite Óptico (INGENIO) y un satélite SAR (PAZ). • • • • • • •

Dos satélites: SEOSAT/Ingenio (tecnología óptica) & SEOSAR/PAZ (tecnología radar - SAR). Primer Programa europeo público con ambas tecnologías: óptica y radar (SAR). Operador gubernamental español: HISDESAT/INTA. Segmento terreno común: INTA. Autonomía e independencia para España en la obtención de datos de satélite. Uso dual (civil y militar). Participación de España con activos propios en programas internacionales (GMES, MUSIS).

Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)

PRINCIPALES CARACTERÍSTICAS

• • •

• • • • •

INGENIO/SEOSAT Sistema dual, contribución a GMES. Operativo en 2014 1 banda PAN y 4 bandas MS (RGB, NIR) – imágenes de 60 x 60 km – resolución PAN: 2.5 m – resolución MS: 10m – nº de imágenes diarias: ~500 LTDN ± 10:30 horas Acceso lateral ±35° Ciclo repetición: 38 días Mínimo tiempo de revisita: 3 días (con ángulo de visión de 35º) Masa: ± 750 kg

• • •

•

PNOTS

PAZ Sistema dual, contribución a GMES Operativo en 2012 Modos de adquisición – Spot ( 10 X 5 km @ 1m) – Scan ( 100 km @ 15m) – Stripmap ( 30 km @ 3m) Más de 200 imágenes al día

SEGMENTO TIERRA • Segmento terreno común ubicado en el INTA. Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)

SEOSAT / Ingenio (Launch : 2016)

Future Spanish High resolution satellite • • • • • •

Sistema dual (civil-militar) Vida útil: 7 años. Masa: ± 750 kg. Potencia: 800W MAX Imágenes de alta resolución (2.5m PAN – 10m MX:R, G, B, NIR) Ancho de barrido en suelo 60 km Órbita polar heliosíncrona. Altura ~670Km. LTDN ± 10h

• • •

Acceso lateral ±35° Ciclo de repetición: 38 días Mínimo tiempo de revisita: 3 días (con ángulo de visión de 35º)

Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)

El Plan Nacional de Ortofotografía Aérea (PNOA)  

 

En marcha desde 2004 Vuelo Fotogramétrico digital multiespectral con NIR con pixel 50 cm o 25 cm Frecuencia de actualización: 3 años Modelo Digital del Terreno y de Superficies con precisión altimétrica de 2 m EMC / 1m 55

Cobertura de ortofoto 25‐50cm Años 2014 -2016

2 abril 2014

REUNION IGN-CNI

Cobertura de ortofoto 25‐50cm SITUACION ACTUAL DE LA COBERTURA DE ORTOFOTO

80 TB ALMACENADOS EN SERVIDOR: • 3 COBERTURAS NACIONALES COMPLETAS (imágenes aéreas comprimidas) • 4ª COBERTURA A LA MITAD (imágenes aéreas comprimidas) • ÚLTIMA COBERTURA DE ORTOFOTOS VALIDADA (comprimidas) + MDE

900 TB ALMACENADOS EN DISCOS DUROS PROXIMAS VALIDACIONES Resto de zonas voladas en 2013: •Andalucía Norte •Extremadura Sur

2 abril 2014

REUNION IGN-CNI

Vuelo Lidar de España: 2009-2014 Datos Lidar (0,5pulsos/m2; RMSE=15cm) Ficheros LAS 62.864.000.000 puntos /año ≈

LiDAR

Periodo 2008-2013

 4.474 km2 volados en 2008  173.850 km2 volados en 2009  188.000 km2 volados en 2010  24.403 km2 volados en 2011  29.767 km2 volados en 2012 Finalización: 2015

60 TB ALMACENADOS EN DISCOS DUROS Y SERVIDORES

UAVs para fotogrametría

60

5. Soluciones de almacenamiento, cálculo y diseminación masivas

Almacenamiento y backup de datos On line: RAID, Fibre Channel, SAN, NAS, robots de cintas LTO...

Off line: Discos SATA

62

Almacenamiento y distribución de productos ALMACENAMIENTO ALTA RESOLUCIÓN

MEDIA RESOLUCIÓN

BAJA RESOLUCIÓN

1 COBERTURA ANUAL:

22 COBERTURAS ANUALES:

COBERTURAS HISTÓRICAS:

1 COBERTURA ANUAL:

334 escenas 3.400 productos

1.020 escenas 4.100 productos

27.000 escenas 110.000 productos

1.825 escenas 3.900 productos

2,3 Tb / año

1 Tb / año

55 Tb (histórico)

DISTRIBUCIÓN

VISUALIZACIÓN

1,2 Tb / año

Enviar solicitud alta a [email protected] DESCARGA mediante registro de usuarios

Coberturas SPOT disponibles

IBERPIX

FTP IDEE 2007

2006

2005

2008

2009

65

65

6. Soluciones y tecnologías Big Data en observación de la tierra

7. El proyecto europeo Big Data “SenSyF”

Promoting Earth Observation Services

SenSyF “Sentinels Synergy Framework”

Promoting Earth Observation Services

• Infraestuctura para procesar un gran volumen de datos del Programa Copernicus (datos Sentinel) • Herramientas de procesado paralelo y cloud-computing • Enfocado a proveedores de servicios • Duración: 36 meses (Nov. 2012- Oct. 2016)

SIETE SERVICIOS A IMPLEMENTAR • Usuarios de los servicios son: Empresas (SME’s), instituciones y científicos

http://sensyf.eu/

Promoting Earth Observation Services

IMPLEMENTACIÓN •

Cloud-based Infrastructure o Escalable o Basado en ESA’s G-POD (Grid Processing On Demand)

•

Interface Layer o Herramientas de acceso a bases de datos o Acceso a librerías de procesado de datos comunes o Plataforma de visualización web (Basada en Glovisat)

•

Servicios o Inicialmente se implementarán 7 servicios demostrativos

Promoting Earth Observation Services

SenSyF SDK (Service Development Kit) • SenSyF SDK proporciona un kit de desarrollo de software a los proveedores de servicios: o Funciones de procesamiento en paralelo o Herramientas de acceso a bases de datos (Imágenes y datos Sentinels principalmente) o Herramientas para acceder a datos de test o Herramientas más comunes de pre-procesado de datos o Herramientas para el análisis y difusión de resultados (FTP, Web, etc.) • Proporciona una API que sirve de interface entre el framework y los servicios desarrollados en diversos lenguajes de programación (C++, Java, Python, Matlab...) • Las funciones son paralelizadas para explotar la infraestructura (Cloud Framework) mediante “Hadoop Streaming” • Los Servicios usarán las herramientas “cloud computing” de forma transparente y de acuerdo a sus necesidades

Promoting Earth Observation Services

SenSyF SDK (Service Development Kit) • El SDK está disponible dentro de la máquina virtual (VM) de cada servicio • Los servicios acceden al SDK usando la API, que está disponible en varios lenguajes de programación • El uso de la infraestructura es sencillo y transparente para los servicios • Varias librerías y “toolboxes” externas pueden ser utilizadas a través de la API (GDAL, BEAM, ORFEO, NEST,...)

Promoting Earth Observation Services

Participantes •

•

DEIMOS: o

Dirección

o

Interface layer (SenSyF SDK) y S6

•

•

Desarrollo de S4

ACRI-ST: o

Desarrollo de S1

Desarrollo de S6

University of Valencia: o

•

Desarrollo de S2 y S3

Instituto Superior Técnico: o

Instituto Geográfico Nacional (IGN): o

•

Cloud Infrastructure Framework

Northern Research Institute: o

Terradue: o

•

•

Desarrollo de S5

ARGANS •

Desarrollo de S7

Promoting Earth Observation Services

SenSyF Services S1: Monitorización de aguas continentales •

Monitorizar la calidad y cantidad del agua en las reservas continentales (ríos, lagos, embalses) ARGANS

S2: Monitorización etapa de crecimiento de vegetación en zonas alpinas y árticas •

Monitorizar la fase de crecimiento de la vegetación en zonas alpinas y del Ártico del norte de Europa Norut

S3: Hielo / deshielo del suelo •

Clasificación de zonas heladas y de deshielo en suelos basado en Sentinel-1 y 3 Norut

S4: Integración espectro temporal •

Integración espectro-temporal de datos de reflectancia de varios sensores IGN-CNIG (Spain)

Promoting Earth Observation Services

SenSyF Services S5: Clasificación de cobertura del suelo y detección de cambios multitemporal •

Pretende demostrar el potencial de los Sentinels para aplicaciones multitemporales. Aplicaciones: Detección de nubes multitemporal y Clasificación del suelo multitemporal Universidad de Valencia

S6: Soporte a la agricultura •

Soporte a agricultores y asociaciones agrícolas para mejorar la gestión del riego Deimos + Instituto Superior Tecnico

S7: Gestión del paisaje •

Introducir datos de teledetección en los sistemas de gestión del paisaje (parques naturales,

ARGANS

zonas urbanas, etc.)

XV Congreso de la AET – INTA –Madrid, 22-24 Oct.2013

S4: Spectro-temporal integration “cloud removal” and generation of synthetic daily composites

A few cloudy satellite images

365 cloud-free images

8. Modelos de negocio Big Data en observación de la tierra

La información geoespacial en el S. XXI Los usuarios quieren información: - simple - eficaz - útil - fiable - precisa - a tiempo - en el momento que la necesitan - económica (a ser posible gratis) - segmentada - dirigida a grupos o casos concretos

Los usuarios no quieren (ni se les puede “vender” ya) datos: - complejos - inconexos - incoherentes - incompletos - inadecuados - insuficientes - tardíos - caros

Modelos de negocio • Modelos de negocio antiguos: se basan en fomentar y gestionar la escasez de información, y en limitar el acceso a la misma (Ej: licencias de uso restrictivas,…) • Modelos de negocio nuevos: basados en gestionar la abundancia de información y en fomentar el acceso masivo, constante, ubicuo y gratuito (aparentemente) a la misma (Ejs: Google, wikipedia, google, youtube, facebook, …: - descubrir, organizar, mezclar - hacer interoperable, hacer comprensible - convertir datos en información - servir por internet - archivar, jerarquizar, valorar, filtrar, rellenar huecos - …..

9. Dificultades a superar

Dificultades para la transición: • Software comercial (licencias por CPU) vs Sofware libre • Windows  vs Linux • Programación en C#, Matlab vs C++, Java,  Python… • Paralelización (Hadoop,…) • Procesos interactivos vs “fully automated”  y “caja negra” • etc, etc, etc.

Promoting Earth Observation Services

Muchas gracias…

http://sensyf.eu/

XV Congreso de la AET – INTA –Madrid, 22-24 Oct.2013