“GeoDANE, Herramienta para la captura de información estadística georreferenciada”: Julian Alvarado

AGENDA 1. Evolución de la recolección de censos y encuestas 2. Arquitectura funcional del GeoDANE 3. GeoDANE en la modernización de la producción estadística

Evolución de la recolección de recuentos, censos y encuestas Hitos en la solución del problema  Censo 2005

Evolución de la recolección de recuentos, censos y encuestas Hitos en la solución del problema  Uso extensivo en las operaciones del DANE 2006 - 2013

Evolución de la recolección de recuentos, censos y encuestas Hitos en la solución del problema  3cer Censo Nacional Agropecuario 2013

Evolución de la recolección de recuentos, censos y encuestas Hitos en la solución del problema  SISBEN, registro San Andres con Open Data Kit – recolector DANE 2014-2015

First mass-produced PDA (Personal Digital Assistant/ palmtop) Palm Pilot

First massproduced

First Integrated

PDA-GPS receivers

Tablet PC

Garmin iQue 3600

Ipad

Smartphone

World’s First

(PDA + email) Blackberry 5810

Mobile Phone Motorola DynaTAC 8000X

Multi Touch screen

First handheld

Iphone

GPS Garmin Etrex First phone using

World’s First MassProduced

WAP

GSM Phone Nokia 1011

1983 1992

(Wireless Application Protocol) Nokia 7110

1996 1998 1999 2002

First phone using 3 G (i.e. better bandwidth) Nokia 7110

2003

Android

(open source mobile OS) HTC G1

2007

2008

2010

Evolución de la recolección de recuentos, censos y encuestas

• Las fortalezas de los sistemas de captura basados en dispositivos móviles – Las mallas de validación como garante de la calidad de los datos – Posicionamiento de GPS para el control de cobertura – Uso de cartografía basado en teselas para operaciones básicas

Teselas Flujo de trabajo: Diseño del mapa (Escalado)

Ventajas: • Tiempos de producción razonables • Velocidad de procesamiento • Almacenamiento SQLite • Integración de datos en Oracle • Visualización sin servidor de mapas Desventajas: • Proceso de mantenimiento para otros propósitos

Producción municipal i. ii. iii. iv.

200 mb 2 horas Nivel 17 Nivel 18 focalizado sqlite

Evolución de la recolección de recuentos, censos y encuestas •

Dificultades de los sistemas de captura basados en dispositivos móviles – Fugas de información – Duplicados – Software de captura en los DMC

https://www.dane.gov.co/censo/files/GRUPO2.1.pdf

El problema de la recolección de recuentos, censos y encuestas •

Dificultades de los sistemas de captura basados en dispositivos móviles – Fugas de información: Colapso de la red en medio del operativo y los múltiples pasos que las encuestas deberían dar antes de llegar a la base de datos central.

https://www.dane.gov.co/censo/files/GRUPO2.1.pdf

El problema de la recolección de recuentos, censos y encuestas •

Dificultades de los sistemas de captura basados en dispositivos móviles – Duplicados: Producto de los reprocesos a los que se recurrió, como medida de emergencia por el colapso de la red. • Transporte todos los medios magnéticos disponibles, generaron información duplicada en la base de datos. • Algoritmos de detección de duplicados • Control posterior contra los datos reportados en el operativo suponen la persistencia de duplicados.

https://www.dane.gov.co/censo/files/GRUPO2.1.pdf

El problema de la recolección de recuentos, censos y encuestas •

Dificultades de los sistemas de captura basados en dispositivos móviles – Software de captura en los DMC y su sincronización con los repositorios intermedios hasta la llegada a la base de datos central, no tenía la madurez necesaria, dado el corto tiempo que se dedicó a su puesta a punto

GeoDANE una quinta evolución de la captura de los datos en el DANE

GeoDANE una quinta evolución de la captura de los datos en el DANE

GeoDANE una quinta evolución de la captura de los datos en el DANE

GeoDANE una quinta evolución de la captura de los datos en el DANE

GeoDANE una quinta evolución de la captura de los datos en el DANE

GeoDANE una quinta evolución de la captura de los datos en el DANE Certificado de transmisión

Mapas Offline

Geolocalización basado en GPS, AGPS y networking

Arquitectura funcional del GeoDANE • • • • • • •

Modelo genérico de producción estadística Configuración de plataforma. Descarga de formularios. Ubicación de coordenadas Offline Escaneo de códigos QR Tipos de pregunta Certificado PDF de envío de formulario

Modelo genérico de producción estadística

Modelo genérico de producción estadística

Alineación Modelo Genérico – Modelo Georecolección.

Modelo de recolección de geodatos en línea

Configuración plataforma de captura

Inicio de la aplicación

Ingreso de URL de conexión, Usuario y contraseña

Descarga de formulario.

Ubicación de coordenadas Offline

Visualización del mapa precargado en la DMC

Escaneo de códigos QR

Tipos de pregunta

Selección única

Selección múltiple

Tipo texto

Tipo número

Certificado PDF de envío de formulario

Certificado de envío en PDF

Sistema Generador de formularios 1

Estructura del formulario en Excel

2

Convertidor de XLS a XML 3

Conversor

Sistema de artefactos en papel - carnets 1

Estructura del archivo

2

Aplicativo generador de carnets

3 Generación de Archivo

4 Carnet Generado

Sistema de artefactos en papel - stickers

1 Estructura archivo Stickers

2 Generador de Stickers

3 Sticker generado

Sistema de gestión de la recolección 1 Formulario XML

2 Agregador de formularios.

3

Formulario enviado al Agregador

Sistema de consolidación 1 Exportación de datos desde agregador a CSV

3 Archivo generado

2

Descarga de la información

Sistema de Análisis, Crítica y Codificación

Modelo de integración base de datos Fuente de Datos Meta data Estadística (XLS)

Integración Metadatos Formularios

Formularios Diligenciados

BD Cruda

Interpretación y Análisis de datosAcceso a los Datos Tema construcción Licencias de Construcción

Analítica Licencias de Construcción

Censo de Edificaciones

Analítica CEED

Índice de Avance Físico de Obras Civiles

Analítica Índice de Avance de Obras Civiles

….. Analítica Operacional

Recolección de datos fuente (DMC)

S-DWH

Micro Datos Anonimizados

Divulgación

Implementaciones de GeoDANE • •

Censo de edificaciones 2015 Formulario de entorno urbano y equipamientos 2015-2016 (XVII Censo de población y VIII de Vivienda)

GeoDANE esta basado en ODK • • • •

Open Data Kit es software libre Código fuente disponible para Android La programación de formularios es sencilla El agregador esta desarrollado en Java

http://www.google.com/earth/outreach/tools/index.html