Data Science An opinionated guide
[email protected]
@nanounanue
Hay que programar
[email protected]
@nanounanue
Filosofía
[email protected]
@nanounanue
Los sistemas interactúan con el mundo.
[email protected]
@nanounanue
=> Es percibible (con algunos sensores)
[email protected]
@nanounanue
No importa si la calidad de la sensación, lo que importa es la consistencia.
[email protected]
@nanounanue
Sistema Complejo Adaptable
[email protected]
@nanounanue
Datos + matemáticas ------------------------modelos
[email protected]
@nanounanue
Modelos -> Historias
[email protected]
@nanounanue
Los sistemas incluyen fenómenos, organizaciones, gobiernos y obviamente humanos
[email protected]
@nanounanue
“Metadata absolutely tells you everything about somebody’s life. If you have enough metadata, you don’t really need content…. It’s sort of embarrassing how predictable we are as human beings.” Stewart Baker, former general counsel of NSA Noviembre, 2013
[email protected]
@nanounanue
El científico de datos
Cuenta historias
[email protected]
@nanounanue
Tiempo Reporte -> Estudio -> Predicciones
[email protected]
@nanounanue
Enfoque ¿Qué? ¿Porqué? ¿Cómo mejorar?
[email protected]
@nanounanue
Método Correlación Causalidad
[email protected]
@nanounanue
Datos Pocos Algunos Muchos
Dark data* Metadata*
[email protected]
@nanounanue
Ejecución Una vez Regularmente
[email protected]
@nanounanue
El científico de datos
Cuenta historias (para tomar decisiones)
[email protected]
@nanounanue
Todos hablan de Big data...
[email protected]
@nanounanue
Little data Datos acerca de ti, recolectados para ti, analizados para ti. Obvio se complementa con Big data.
[email protected]
@nanounanue
Dark data No se está colectando Ó Es difícil de acceder en lugar y tiempo correcto Ó No ha sido aplicada o explotada
[email protected]
@nanounanue
Metadata Contexto Conocimiento implícito Relaciones ocultas
[email protected]
@nanounanue
Pipeline
[email protected]
@nanounanue
Recolectar Consolidar* Visualizar/Explorar Analizar
[email protected]
@nanounanue
Aunque los datos son importantes, el domain knowledge lo es aún más. Los datos sirven para dar contexto, para tomar decisiones.
[email protected]
@nanounanue
Algunos ejemplos
[email protected]
@nanounanue
Brazalete de Vigilancia para personas de la tercera edad
[email protected]
@nanounanue
Pulso Temperatura Aceleración Posición
[email protected]
@nanounanue
Diagrama de bloques
[email protected]
@nanounanue
Arritmias Depresión Caídas Hipotermia Ubicación
[email protected]
-> Alarmas
@nanounanue
Fraude en Tarjeta Bancaria
[email protected]
@nanounanue
Transaccional Tarjeta ATM Comercio Adversario -> Humano
[email protected]
@nanounanue
Explicación Generación/Selección de variables Almacenamiento Mejora de procesos Prevención Entrenamiento
[email protected]
@nanounanue
Perder el miedo
[email protected]
@nanounanue
autoNSA
[email protected]
@nanounanue
Descarga tus datos personales, en particular sólo nos interesan los metadatos
[email protected]
@nanounanue
Por ejemplo: Google Takeout Descarga tus correos, hangouts, g+, navegación y ubicación.
[email protected]
@nanounanue
Consulta la API de Facebook Twitter Linkedin Y descarga tus datos
[email protected]
@nanounanue
Sólo quédate con metadatos: IP Address Participantes Hora Fecha Sexo Subject*
[email protected]
@nanounanue
Visualiza Serie de tiempo Network Tema Geográfico Los datos son invisibles, hasta que los exploras visualmente
[email protected]
@nanounanue
Patrones ¿Puedes predecir que vas a hacer? ¿A qué hora duermes? ¿Dónde trabajas? ¿Quiénes son importantes? ¿Puedes acceder a los datos de esas personas? ¿Deducir que te interesa?
[email protected]
@nanounanue
Eso fue metadata,
¿Se puede hacer algo con little data? wearables
[email protected]
@nanounanue
¿Qué necesito? Un audífono Un vaso de unicel Una bolsa de plástico Audacity*
[email protected]
@nanounanue
Guarda en WAV el archivo (lee la documentación de como viene el archivo binario y tradúcelo a CSV)
[email protected]
@nanounanue
Grábate muchas ocasiones Graba a conocidos, ¿Puedes detectar diferencias? ¿Tienen alguna arritmia? ¿Cómo calculas el ritmo? http://www.nhlbi.nih.gov/health/healthtopics/topics/arr/types.html
[email protected]
@nanounanue
Otra técnica es la oximetría (detección de oxígeno en la sangre para detectar el pulso cardíaco) Cámara con lámpara Grabar tu dedo índice (1 min) ffmpeg para extraer los cuadros Repite las preguntas anteriores... ¿Por qué son diferentes las ondas?
[email protected]
@nanounanue
Otro proyecto aventurado: Usando SleepAsAnAndroid puedes detectar patrones de sueño y correlacionarlas con tu navegación al día siguiente Uno más: EEG https://sites.google.com/site/chipstein/homepage
[email protected]
@nanounanue
Proyectos en mente
[email protected]
@nanounanue
Lista de desaparecidos del GDF Scrap de la página web Análisis espacial Análisis de redes Análisis de imágenes Mezclarla con Alerta Amber Mezclarla con CNDH
[email protected]
@nanounanue
Hemeroteca de Revista Proceso Scrap de la hemeroteca Análisis espacial Análisis de redes Análisis de imágenes ¿Diferencia de perspectiva con otras fuentes? ¿Cómo se mueve la red de personajes?
[email protected]
@nanounanue
Análisis de las cámaras Scrap de las páginas Análisis de redes Análisis de textos -> Resúmenes, concordancias entre senadores y diputados con representados y partidos. Recuperación de memoria ¿Cómo se mueve la red de personajes? ¿La de leyes? ¿Impacto de las noticias?
[email protected]
@nanounanue
PyR
[email protected]
@nanounanue
Gracias
[email protected]
@nanounanue