Story Transcript
VISIÓN POR COMPUTADOR MASTER EN Automática, Robótica y Telemática
PERCEPCIÓN IR / VISUAL
Dr. J. RAMIRO MARTINEZ DE DIOS
Percepción IR/Visual
• Principios de percepción IR • Aplicaciones • Correspondencia de Visual / IR • Fusión IR / Visual
Principios de Percepción IR
La banda del infrarrojo Banda de λ entre [0.75, 1000] µm • • • •
Cercano: 0.75 -3 µm Medio: 3 - 6 µm Lejano: 6 - 15 µm Extremo: 15 - 1000 µm
Principios de Percepción IR
Radiación del cuerpo negro (I) • Cuerpo negro: trampa de radiación • Ley de Planck: distribución espectral en λ de radiación emitida 2πhc 2 Wλ = ch 5 λkT λ e − 1
– – – – –
Wλ radiación espectral h: cte de Planck T: Tª del cuerpo negro en Kelvin C: velocidad de la luz K: cte. De Boltzmann
Principios de Percepción IR
Radiación del cuerpo negro (II) • Ley de Wien: picos de radiación de un cuerpo negro λmax =
2898 T
Permite relacionar Tª y color del objeto Permite selección de banda de infrarrojos para cada aplicación
Principios de Percepción IR
Radiación del cuerpo negro (y III) • Ley de Stefan-Boltzmann: energía emitida por un cuerpo negro ∞
W = ∫ Wλ dλ = σT 4 0
– σ: cte. de Stefan-Boltzmann Se emplea para calibración de Tª de cámaras termográficas
Principios de Percepción IR
Radiación de cuerpos no negros • Absorción espectral: α(λ) • Reflectancia espectral: ρ(λ) • Transmitancia espectral: τ(λ) • Ley de Kirchhoff: α(λ)+ρ(λ)+τ(λ) =1 • Emisividad: ε(λ)=α(λ) • Tipos de objetos: – Cuerpos negros: ε(λ)=1, ρ(λ)=τ(λ) =0 – Cuerpos grises: τ(λ) =0, (materiales opacos) – Espejos perfectos: ε(λ)=0
Principios de Percepción IR
La transmisión atmosférica Transmitancia atmosférica
• Tres ventanas del infrarrojo: 3 bandas • Permite seleccionar banda: p.e. detección VS monitorización de incendios
Principios de Percepción IR
Detectores de infrarrojos • Parámetros: – Sensibilidad: relaciona flujo de radiación con señal del sensor Debe ser cte con la Tª y λ – SNR: cociente entre potencia de señal y ruido – NEP: potencia de ruido equivalente. Cota inferior de señal para ser diferenciada del ruido – Detectividad: inversa de NEP
Principios de Percepción IR
Detectores de infrarrojos • Tipos de detectores: – Detectores térmicos: radiación se transforma en calor por absorción del material sensible - Bolómetros: varía la conductividad del material, - Detectores piroeléctricos: general corriente por incre. de Tª - Termopilas: general tensión por efecto termodinámico - Detectores neumáticos: la señal es una variación de presión en la masa del gas al calentarse – Detectores cuánticos cociente
Principios de Percepción IR
Detectores de infrarrojos • Tipos de detectores: – Detectores cuánticos: señal depende del nivel de excitación de partículas del material sensible - Detectores fotoeléctricos: genera corriente por electrones arrancados del material: IR cercano - Detectores fotoconductores: genera cambio de conductividad por los electrones semilibres - Detectores fotovoltaicos: modificación de V de barrera en unión p-n
Principios de Percepción IR
Comparación de Detectores
Principios de Percepción IR
Refrigeración • Objetivo: evita la radiación de los detectores • Tipos: – Refrigeración en ciclo abierto – Refrigeración en ciclo cerrado
• Refrigeración mediante elementos de estado sólido – efecto termoeléctrico
Principios de Percepción IR
Ruido – – – – –
Ruido térmico: la Tª es superior a 0 K Ruido shot: fluctuaciones en la llegada de electrones Ruido flicker: 1/f Ruido de generación-recombinación Ruido fotónico
Principios de Percepción IR
Cámaras de Infrarrojos – Puntuales: pirómetros – Scanners de línea – Cámaras de infrarrojos
• Tipos: – Térmicas: dan medida cuantitativa – Termográficas: dan medida cualitativa de Tª calibración térmica
• Parámetros típicos: – NEI: iluminación equivalente al ruido – NETD: dif. de Tª equivalente al ruido – MDTD: dif. de Tª mínima detectable
Principios de Percepción IR
• Mitsubishi IRM300 – – – – –
Band 3-5 µm. (cryogenic - Stirling cycle cooler) Weight: 8 kg. Lenses: 30º Output: CCIR video Temperature estimation: NO
Principios de Percepción IR
• Raytheon 2000AS – – – – –
Band 7-14 µm. (uncooled) Weight: 120 gr. Lenses: 30º Output: CCIR video Temperature estimation: NO
Principios de Percepción IR
• Indigo Omega – – – – – –
Band 7.5 - 13.5 µm. (uncooled) Weight: 120 gr. Lenses: 30º Output: CCIR video, IEEE 1394 (Firewire) Temperature estimation: YES Control through IEEE 1394 and RS-232
Principios de Percepción IR
• FLIR ThermaCam P20 – – – – – – – – – –
Band 7.5 - 13 µm. (uncooled) Weight: 1.5 kg. Lenses: 12º, 24º and 45º width Output: CCIR video, JPG in Flash Card Temperature estimation: YES (-40 – 1500 ºC) Programmable image capture Thermal sensitivity: 0.08º @ 30º C High temperature filter Control through RS-232 ThermaCam Reporter
Principios de Percepción IR
• FLIR 550 Elite – – – – – – – – –
Band 3.6 - 5 µm. (cryogenic) Weight: 2 kg. Lenses: 10º and 20º width Output: CCIR video, JPG in Flash Card Temperature estimation: YES (-20 – 1500 ºC) Programmable image capture Thermal sensitivity: 0.1º @ 30º C Control through RS-232 ThermaCam Reporter
Principios de Percepción IR
Band
Range
Lenses
Interface
Control
Not Thermal
Not Thermal
30º
CCIR
RS-485
Weight Sensitivity
Mitsubishi IRM300
3-5 µm
Raytheon 2000AS
7-14 µm 120 gr.
Not Thermal
Not Thermal
30º
CCIR
RS-232
Indigo Omega
7,5-13,5 120 gr. µm
2º @ 30º C
[0, 200] ºC
30º
CCIR, Firewire
RS-232 Firewire
1.5 kg
[-40, 0.1º @ 30º 1500] ºC C
12º, 24º, 45º
CCIR, JPG in Flash Card
RS-232
2 kg
[-20, 0.1º @ 30º 1500] ºC C
10º, 20º
CCIR, JPG in Flash Card
RS-232
FLIR ThermaCa m P20
7,5-13 µm
FLIR 550 Elite
3.5-5 µm
8 kg.
Principios de Percepción IR
Aplicaciones de la visión IR • • • •
Seguridad Industria Medicina y veterinaria Medio Ambiente
Aplicaciones de Percepción IR
• Detección de fugas térmicas en edificios • Detección y seguimiento de objetos • Detección de incendios • Monitorización de incendios • Detección y Monitorización cooperativas con múltiples UAVs
Detección de fugas térmicas en edificios Reconocimiento de patrones Detección de fugas térmicas en ventanas - Estabilización de imágenes - Detección de fugas térmicas - Seguimiento
Detección de fugas térmicas en edificios Detección de fugas térmicas 1) Conversión a temperatura 2) Selección de zonas de interés Temperatura mínima calculada a partir de Tª ambiente
3) Clasificación vidrio
4) Clustering
Marco de ventana
THROI h1 (t ) = P(ω1 ) p(t | ω1 )
h2 (t ) = P(ω1 ) p(t | ω1 ) + P(ω2 ) p(t | ω2 )
Detección de fugas térmicas en edificios Experimentos. Diciembre 2005
Detección y seguimiento de objetos
• Objetivo: detección y seguimiento • Dos fases: – Detección – Seguimiento
• Control: – Posicionador – Cámara de infrarrojos
• Posicionador: 2 GDL • Motores paso-a-paso • Datos sensores: 200 ms.
Detección y seguimiento de objetos
• Control anticipativo de la cámara de infrarrojos – Horizonte T
imageni
imageni+1
• Control del posicionador imageni+1 predicha
– Predicción polinómica: Horizonte 5T
Ejemplos (I)
Ejemplos (y II)
Detección de Incendios. Reducción de falsas alarmas
Tasa de Detección: 100% Tasa de Falsa Alarmas: 1,93 %
90,0 % 85,4 % 24,0 % 9,1 %
proc. infrarrojo análisis de oscilación proc. imagen visual información geográfica
Fusión Sensorial Detección inteligente. Reducción de falsas alarmas sensor1
sensorS
Detección de Incendios. Reducción de falsas alarmas Análisis de falsas alarmas - Reflejos, objetos calientes, luces, actividades humanas
Información a integrar: - Análisis temporal de imágenes de infrarrojo - Análisis de imágenes visuales - Análisis del terreno: combustible, uso, pendiente - Análisis de actividades humanas - Índice de riesgo de incendio
Sistema Borroso para integración de información (1.0) SI (actividad_humana ES Muy Alta) ENTONCES (FF_posibilidad ES Extrem_Alta) (0.04) SI (pendiente ES Alta) ENTONCES (FF_posibilidad ES Alta)
Detección de Incendios. Reducción de falsas alarmas Falsas alarmas
Incendio
• Interpretación: – Redes de Neuronas Clásicas (BNP) • 10 neuronas 120 iteraciones
– Neuronas Wavelet no binarias • ME = 9 13 iteraciones
– Neuronas Wavelet binarias • MME: ME=9 6 iteraciones (PD=100% PFA=0%) • Al-Jaroudi: ME=9 E MME
6 iteraciones (PD=100% PFA=0%)
N 1 = N − ∑ u ((y i − T)(f(x i ) − T) ) N i =1
E JM
1 N = ∑ ln(1 - y i - f(x i ) ) N i =1
Monitorización de Incendios Fusión sensorial para mejorar medidas Objetivo: medir automáticamente parámetros del incendio en tiempo real Fuentes de incertidumbre: - Percepción en exteriores
- Específicos de percepción de incendios
Sensores de magnitudes heterogéneas en múltiples localizaciones - Redundancia espacial
- Redundancia de magnitudes
Sensores: - cámaras visuales o de infrarrojos
- GPS, medidor de distancias láser
Fusión sensorial para mejorar medidas Vista lateral B Vista lateral A
Vista aérea
Vista frontal
Fusión sensorial para mejorar medidas Percepción combinada: obtención indirecta de magnitudes
Fusión sensorial: magnitudes obtenidas de varias fuentes Mk =
∑ m jk ω jk j ∑ ω jk j
2 ω jk = F j r jk
Filtrado de Kalman
Posición frente
Ancho frente
Altura de llama
Frontal IR
0.89
0.76
--
Lateral IR
0.71
0.67
--
Frontal Visual
0.53
0.67
0.51
Lateral Visual
0.22
0.24
0.58
Fusión sensorial para mejorar medidas Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006
Puntos: evolución real
Líneas: evolución estimada
Fusión sensorial para mejorar medidas
Percepción Cooperativa en Entornos Multirrobot Detección y localización cooperativa Monitorización cooperativa
Robots heterogéneos – Plataformas: varios UAVs o robots terrestres – Sensores
Percepción Cooperativa en Entornos Multirrobot Misión general: 1) Vigilancia y detección
2) Confirmación
Vigilancia y detección – Área se divide dependiendo de características de UAVs y sus sensores – Cada UAV recorre su área buscando aplicando técnicas de detección
3) Monitorización
Percepción Cooperativa en Entornos Multirrobot Demostración del sistema para la detección de fuegos – Sensores: cámara IR, cámara visual, sensor de fuego
Vigilancia y detección 140
120
100
80
60
40
20
0 560
570
580
590
600
610
620
630
640
650
660
Percepción Cooperativa en Entornos Multirrobot Confirmación 1 0.9 0.8 0.7
Probability
0.6 0.5 0.4 0.3 0.2 0.1 0
460
480
500
Posición real del fuego Posición estimada (fusión) Desviación estándar estimada
520
540
560
580
600
620
Longitud
Latitud
Altura
564627
4443961
200
564628.9
4443961.4
200.04
1.5
2
0.28
Percepción Cooperativa en Entornos Multirrobot Monitorización y medición de fuegos
Percepción Cooperativa en Entornos Multirrobot Extensión a robots aéreos y robots terrestres
Hero 3. GRVC. Univ. Sevilla
Romeo 4R. GRVC. Univ. Sevilla
Auriga. Univ. Málaga
Correspondencia Visual/IR
• Problema:
Correspondencia Visual/IR
Paso 1 de 6: Selección de las imágenes 64x64 Sector representativo de imagen (píxeles)
128x128 256x256
Resolución/Rango de detección
512x512
Imagen visual de referencia
Imagen de infrarrojos a corregir
Correspondencia Visual/IR
Paso 2 de 6: Detección de bordes para hallar la rotación Suma cuadrática del gradiente bidireccional
Imagen visual
Normalización en el rango [0,255]
Igualación de histogramas
Imagen de infrarrojos
Correspondencia Visual/IR
Paso 3 de 6: Cálculo de la DFT
Visual
Elimina DC
IR
Correspondencia Visual/IR
log
ρ
Paso 4 de 6: Conversión a polar-semilogarítmica
Visual
log
θ
ρ
- Discretización logarítmica polar - Interpolación bilineal - Suavizado mediante un filtro de la mediana con máscara 5x5 - Filtro sinosoidal y ventana de Hanning
IR
θ
- Desplazamiento centro de masas umbralizado - SPOMF
Correspondencia Visual/IR
Paso 5 de 6: Preprocesamiento en detección de traslación Detector de bordes direccional Suma cuadrática del gradiente direccional
Visual
Normalización en el rango [0,255]
Infrarrojos Igualación de histogramas
255
255
255 191
Esquema de inversiones de intensidad
127
255
191 0
255
255
Correspondencia Visual/IR
Paso 6 de 6: Cálculo SPOMF para hallar la traslación Parámetro de calidad: Comparación entre picos máximos distantes para desestimar detecciones incorrectas
Superposición de imágenes
Desplazamiento vertical
Desplazamiento horizontal
Estabilización conjunta Visual/IR
Adquisición de imágenes
Representación por pantalla
Estabilización conjunta Visual/IR
Fusión IR/Visual o Ejemplo de fusión de imágenes:
Imagen visual
Objetos calientes sobre imagen visual
Imagen IR
Suma de ambas imagenes
Fusión IR/Visual
Fusión mediante selección de umbral
Fusión con media de niveles sobre la de IR
Fusión con media sobre la visual
Fusión con media ponderada sobre la de IR
PERCEPCIÓN AVANZADA MASTER EN Automática, Robótica y Telemática
PERCEPCIÓN IR / VISUAL
Dr. J. RAMIRO MARTINEZ DE DIOS