VISUAL

VISIÓN POR COMPUTADOR MASTER EN Automática, Robótica y Telemática PERCEPCIÓN IR / VISUAL Dr. J. RAMIRO MARTINEZ DE DIOS Percepción IR/Visual • Pr

2 downloads 208 Views 4MB Size

Story Transcript

VISIÓN POR COMPUTADOR MASTER EN Automática, Robótica y Telemática

PERCEPCIÓN IR / VISUAL

Dr. J. RAMIRO MARTINEZ DE DIOS

Percepción IR/Visual

• Principios de percepción IR • Aplicaciones • Correspondencia de Visual / IR • Fusión IR / Visual

Principios de Percepción IR

La banda del infrarrojo Banda de λ entre [0.75, 1000] µm • • • •

Cercano: 0.75 -3 µm Medio: 3 - 6 µm Lejano: 6 - 15 µm Extremo: 15 - 1000 µm

Principios de Percepción IR

Radiación del cuerpo negro (I) • Cuerpo negro: trampa de radiación • Ley de Planck: distribución espectral en λ de radiación emitida 2πhc 2 Wλ = ch   5  λkT λ e − 1    

– – – – –

Wλ radiación espectral h: cte de Planck T: Tª del cuerpo negro en Kelvin C: velocidad de la luz K: cte. De Boltzmann

Principios de Percepción IR

Radiación del cuerpo negro (II) • Ley de Wien: picos de radiación de un cuerpo negro λmax =

2898 T

Permite relacionar Tª y color del objeto Permite selección de banda de infrarrojos para cada aplicación

Principios de Percepción IR

Radiación del cuerpo negro (y III) • Ley de Stefan-Boltzmann: energía emitida por un cuerpo negro ∞

W = ∫ Wλ dλ = σT 4 0

– σ: cte. de Stefan-Boltzmann Se emplea para calibración de Tª de cámaras termográficas

Principios de Percepción IR

Radiación de cuerpos no negros • Absorción espectral: α(λ) • Reflectancia espectral: ρ(λ) • Transmitancia espectral: τ(λ) • Ley de Kirchhoff: α(λ)+ρ(λ)+τ(λ) =1 • Emisividad: ε(λ)=α(λ) • Tipos de objetos: – Cuerpos negros: ε(λ)=1, ρ(λ)=τ(λ) =0 – Cuerpos grises: τ(λ) =0, (materiales opacos) – Espejos perfectos: ε(λ)=0

Principios de Percepción IR

La transmisión atmosférica Transmitancia atmosférica

• Tres ventanas del infrarrojo: 3 bandas • Permite seleccionar banda: p.e. detección VS monitorización de incendios

Principios de Percepción IR

Detectores de infrarrojos • Parámetros: – Sensibilidad: relaciona flujo de radiación con señal del sensor Debe ser cte con la Tª y λ – SNR: cociente entre potencia de señal y ruido – NEP: potencia de ruido equivalente. Cota inferior de señal para ser diferenciada del ruido – Detectividad: inversa de NEP

Principios de Percepción IR

Detectores de infrarrojos • Tipos de detectores: – Detectores térmicos: radiación se transforma en calor por absorción del material sensible - Bolómetros: varía la conductividad del material, - Detectores piroeléctricos: general corriente por incre. de Tª - Termopilas: general tensión por efecto termodinámico - Detectores neumáticos: la señal es una variación de presión en la masa del gas al calentarse – Detectores cuánticos cociente

Principios de Percepción IR

Detectores de infrarrojos • Tipos de detectores: – Detectores cuánticos: señal depende del nivel de excitación de partículas del material sensible - Detectores fotoeléctricos: genera corriente por electrones arrancados del material: IR cercano - Detectores fotoconductores: genera cambio de conductividad por los electrones semilibres - Detectores fotovoltaicos: modificación de V de barrera en unión p-n

Principios de Percepción IR

Comparación de Detectores

Principios de Percepción IR

Refrigeración • Objetivo: evita la radiación de los detectores • Tipos: – Refrigeración en ciclo abierto – Refrigeración en ciclo cerrado

• Refrigeración mediante elementos de estado sólido – efecto termoeléctrico

Principios de Percepción IR

Ruido – – – – –

Ruido térmico: la Tª es superior a 0 K Ruido shot: fluctuaciones en la llegada de electrones Ruido flicker: 1/f Ruido de generación-recombinación Ruido fotónico

Principios de Percepción IR

Cámaras de Infrarrojos – Puntuales: pirómetros – Scanners de línea – Cámaras de infrarrojos

• Tipos: – Térmicas: dan medida cuantitativa – Termográficas: dan medida cualitativa de Tª  calibración térmica

• Parámetros típicos: – NEI: iluminación equivalente al ruido – NETD: dif. de Tª equivalente al ruido – MDTD: dif. de Tª mínima detectable

Principios de Percepción IR

• Mitsubishi IRM300 – – – – –

Band 3-5 µm. (cryogenic - Stirling cycle cooler) Weight: 8 kg. Lenses: 30º Output: CCIR video Temperature estimation: NO

Principios de Percepción IR

• Raytheon 2000AS – – – – –

Band 7-14 µm. (uncooled) Weight: 120 gr. Lenses: 30º Output: CCIR video Temperature estimation: NO

Principios de Percepción IR

• Indigo Omega – – – – – –

Band 7.5 - 13.5 µm. (uncooled) Weight: 120 gr. Lenses: 30º Output: CCIR video, IEEE 1394 (Firewire) Temperature estimation: YES Control through IEEE 1394 and RS-232

Principios de Percepción IR

• FLIR ThermaCam P20 – – – – – – – – – –

Band 7.5 - 13 µm. (uncooled) Weight: 1.5 kg. Lenses: 12º, 24º and 45º width Output: CCIR video, JPG in Flash Card Temperature estimation: YES (-40 – 1500 ºC) Programmable image capture Thermal sensitivity: 0.08º @ 30º C High temperature filter Control through RS-232 ThermaCam Reporter

Principios de Percepción IR

• FLIR 550 Elite – – – – – – – – –

Band 3.6 - 5 µm. (cryogenic) Weight: 2 kg. Lenses: 10º and 20º width Output: CCIR video, JPG in Flash Card Temperature estimation: YES (-20 – 1500 ºC) Programmable image capture Thermal sensitivity: 0.1º @ 30º C Control through RS-232 ThermaCam Reporter

Principios de Percepción IR

Band

Range

Lenses

Interface

Control

Not Thermal

Not Thermal

30º

CCIR

RS-485

Weight Sensitivity

Mitsubishi IRM300

3-5 µm

Raytheon 2000AS

7-14 µm 120 gr.

Not Thermal

Not Thermal

30º

CCIR

RS-232

Indigo Omega

7,5-13,5 120 gr. µm

2º @ 30º C

[0, 200] ºC

30º

CCIR, Firewire

RS-232 Firewire

1.5 kg

[-40, 0.1º @ 30º 1500] ºC C

12º, 24º, 45º

CCIR, JPG in Flash Card

RS-232

2 kg

[-20, 0.1º @ 30º 1500] ºC C

10º, 20º

CCIR, JPG in Flash Card

RS-232

FLIR ThermaCa m P20

7,5-13 µm

FLIR 550 Elite

3.5-5 µm

8 kg.

Principios de Percepción IR

Aplicaciones de la visión IR • • • •

Seguridad Industria Medicina y veterinaria Medio Ambiente

Aplicaciones de Percepción IR

• Detección de fugas térmicas en edificios • Detección y seguimiento de objetos • Detección de incendios • Monitorización de incendios • Detección y Monitorización cooperativas con múltiples UAVs

Detección de fugas térmicas en edificios Reconocimiento de patrones Detección de fugas térmicas en ventanas - Estabilización de imágenes - Detección de fugas térmicas - Seguimiento

Detección de fugas térmicas en edificios Detección de fugas térmicas 1) Conversión a temperatura 2) Selección de zonas de interés Temperatura mínima calculada a partir de Tª ambiente

3) Clasificación vidrio

4) Clustering

Marco de ventana

THROI h1 (t ) = P(ω1 ) p(t | ω1 )

h2 (t ) = P(ω1 ) p(t | ω1 ) + P(ω2 ) p(t | ω2 )

Detección de fugas térmicas en edificios Experimentos. Diciembre 2005

Detección y seguimiento de objetos

• Objetivo: detección y seguimiento • Dos fases: – Detección – Seguimiento

• Control: – Posicionador – Cámara de infrarrojos

• Posicionador: 2 GDL • Motores paso-a-paso • Datos sensores: 200 ms.

Detección y seguimiento de objetos

• Control anticipativo de la cámara de infrarrojos – Horizonte T

imageni

imageni+1

• Control del posicionador imageni+1 predicha

– Predicción polinómica: Horizonte 5T

Ejemplos (I)

Ejemplos (y II)

Detección de Incendios. Reducción de falsas alarmas

Tasa de Detección: 100% Tasa de Falsa Alarmas: 1,93 %

90,0 % 85,4 % 24,0 % 9,1 %

proc. infrarrojo análisis de oscilación proc. imagen visual información geográfica

Fusión Sensorial Detección inteligente. Reducción de falsas alarmas sensor1

sensorS

Detección de Incendios. Reducción de falsas alarmas  Análisis de falsas alarmas - Reflejos, objetos calientes, luces, actividades humanas

 Información a integrar: - Análisis temporal de imágenes de infrarrojo - Análisis de imágenes visuales - Análisis del terreno: combustible, uso, pendiente - Análisis de actividades humanas - Índice de riesgo de incendio

 Sistema Borroso para integración de información (1.0) SI (actividad_humana ES Muy Alta) ENTONCES (FF_posibilidad ES Extrem_Alta) (0.04) SI (pendiente ES Alta) ENTONCES (FF_posibilidad ES Alta)

Detección de Incendios. Reducción de falsas alarmas Falsas alarmas

Incendio

• Interpretación: – Redes de Neuronas Clásicas (BNP) • 10 neuronas 120 iteraciones

– Neuronas Wavelet no binarias • ME = 9 13 iteraciones

– Neuronas Wavelet binarias • MME: ME=9 6 iteraciones (PD=100% PFA=0%) • Al-Jaroudi: ME=9 E MME

6 iteraciones (PD=100% PFA=0%)

N 1  =  N − ∑ u ((y i − T)(f(x i ) − T) ) N i =1 

E JM

1 N = ∑ ln(1 - y i - f(x i ) ) N i =1

Monitorización de Incendios Fusión sensorial para mejorar medidas  Objetivo: medir automáticamente parámetros del incendio en tiempo real  Fuentes de incertidumbre: - Percepción en exteriores

- Específicos de percepción de incendios

 Sensores de magnitudes heterogéneas en múltiples localizaciones - Redundancia espacial

- Redundancia de magnitudes

 Sensores: - cámaras visuales o de infrarrojos

- GPS, medidor de distancias láser

Fusión sensorial para mejorar medidas Vista lateral B Vista lateral A

Vista aérea

Vista frontal

Fusión sensorial para mejorar medidas  Percepción combinada: obtención indirecta de magnitudes

 Fusión sensorial: magnitudes obtenidas de varias fuentes Mk =

∑ m jk ω jk j ∑ ω jk j

2 ω jk = F j r jk

 Filtrado de Kalman

Posición frente

Ancho frente

Altura de llama

Frontal IR

0.89

0.76

--

Lateral IR

0.71

0.67

--

Frontal Visual

0.53

0.67

0.51

Lateral Visual

0.22

0.24

0.58

Fusión sensorial para mejorar medidas Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006

Puntos: evolución real

Líneas: evolución estimada

Fusión sensorial para mejorar medidas

Percepción Cooperativa en Entornos Multirrobot  Detección y localización cooperativa  Monitorización cooperativa

Robots heterogéneos – Plataformas: varios UAVs o robots terrestres – Sensores

Percepción Cooperativa en Entornos Multirrobot Misión general: 1) Vigilancia y detección

2) Confirmación

Vigilancia y detección – Área se divide dependiendo de características de UAVs y sus sensores – Cada UAV recorre su área buscando aplicando técnicas de detección

3) Monitorización

Percepción Cooperativa en Entornos Multirrobot Demostración del sistema para la detección de fuegos – Sensores: cámara IR, cámara visual, sensor de fuego

Vigilancia y detección 140

120

100

80

60

40

20

0 560

570

580

590

600

610

620

630

640

650

660

Percepción Cooperativa en Entornos Multirrobot Confirmación 1 0.9 0.8 0.7

Probability

0.6 0.5 0.4 0.3 0.2 0.1 0

460

480

500

Posición real del fuego Posición estimada (fusión) Desviación estándar estimada

520

540

560

580

600

620

Longitud

Latitud

Altura

564627

4443961

200

564628.9

4443961.4

200.04

1.5

2

0.28

Percepción Cooperativa en Entornos Multirrobot Monitorización y medición de fuegos

Percepción Cooperativa en Entornos Multirrobot Extensión a robots aéreos y robots terrestres

Hero 3. GRVC. Univ. Sevilla

Romeo 4R. GRVC. Univ. Sevilla

Auriga. Univ. Málaga

Correspondencia Visual/IR

• Problema:

Correspondencia Visual/IR 

Paso 1 de 6: Selección de las imágenes 64x64 Sector representativo de imagen (píxeles)

128x128 256x256

Resolución/Rango de detección

512x512

Imagen visual de referencia

Imagen de infrarrojos a corregir

Correspondencia Visual/IR 

Paso 2 de 6: Detección de bordes para hallar la rotación Suma cuadrática del gradiente bidireccional

Imagen visual

Normalización en el rango [0,255]

Igualación de histogramas

Imagen de infrarrojos

Correspondencia Visual/IR 

Paso 3 de 6: Cálculo de la DFT

Visual

Elimina DC

IR

Correspondencia Visual/IR 

log

ρ

Paso 4 de 6: Conversión a polar-semilogarítmica

Visual

log

θ

ρ

- Discretización logarítmica polar - Interpolación bilineal - Suavizado mediante un filtro de la mediana con máscara 5x5 - Filtro sinosoidal y ventana de Hanning

IR

θ

- Desplazamiento centro de masas umbralizado - SPOMF

Correspondencia Visual/IR 

Paso 5 de 6: Preprocesamiento en detección de traslación Detector de bordes direccional Suma cuadrática del gradiente direccional

Visual

Normalización en el rango [0,255]

Infrarrojos Igualación de histogramas

255

255

255 191

Esquema de inversiones de intensidad

127

255

191 0

255

255

Correspondencia Visual/IR 

Paso 6 de 6: Cálculo SPOMF para hallar la traslación Parámetro de calidad: Comparación entre picos máximos distantes para desestimar detecciones incorrectas

Superposición de imágenes

Desplazamiento vertical

Desplazamiento horizontal

Estabilización conjunta Visual/IR 



Adquisición de imágenes

Representación por pantalla

Estabilización conjunta Visual/IR

Fusión IR/Visual o Ejemplo de fusión de imágenes:

Imagen visual

Objetos calientes sobre imagen visual

Imagen IR

Suma de ambas imagenes

Fusión IR/Visual

Fusión mediante selección de umbral

Fusión con media de niveles sobre la de IR

Fusión con media sobre la visual

Fusión con media ponderada sobre la de IR

PERCEPCIÓN AVANZADA MASTER EN Automática, Robótica y Telemática

PERCEPCIÓN IR / VISUAL

Dr. J. RAMIRO MARTINEZ DE DIOS

Get in touch

Social

© Copyright 2013 - 2024 MYDOKUMENT.COM - All rights reserved.