License Plate Detection using Neural Networks Luis Carrera, Marco Mora Les Fous du Pixel Image Processing Research Group Department of Computer Science Catholic University of Maule http://www.lfdp-iprg.net
Jose González, Francisco Aravena TUTELKAN http://www.tutelkan.com
4th International Workshop on Soft Computing Models in Industrial Applications IWANN-SOCO 2009
Reconocimiento de matriculas
Descripción El reconocimiento de matrículas (LPR) consiste en reconocer los caracteres de la patente, usando una imagen de la zona frontal o trasera del vehículo
Etapas • • • •
Adquisición de la imagen Localización de la patente Segmentación de los caracteres Reconocimiento de los caracteres
2
Localización de matriculas Descripción La localización consiste en localizar la región de la imagen donde se encuentra la patente
Objetivo Desarrollar un método robusto basado en redes neuronales para la localización de patentes 3
Método para la localización de patentes
Método • Adquisición y Preprocesamiento – Imagen (RGB) de 320*240 pixeles – Conversión a modo color HSV – Selección del Canal V • Clasificación mediante redes neuronales – Clasificación de descriptores estadísticos de regiones – Red neuronal MLP – Clasificación múltiple • Mejoramiento – Operaciones Morfológicas – Heurísticas de forma y tamaño
4
Algoritmo de Entrenamiento MLP
Desventajas MLP • Baja velocidad de convergencia : Gradiente Descendiente • Mala generalización:
Metodo Adoptado: Regularización Bayesiana • Alta velocidad de convergencia : Levenberg-Marquart • Buena generalización:
• Determinar número de neuronas capa oculta.
Efectos de la regularización
Sin Regularización
Con Regularización
Descriptores para caracterizar la patente
• • • • • • •
Media (m) Desviación estándar (σ), Medida de suavidad (R), Tercer momento estadístico (µ3) Medida de uniformidad (U) Entropía (e). Contraste z(min)/z(max). 7
Lo que piensa la mayoría !!!!
Se necesita tomar decisión compleja 1 experto – 1 opinión – poca información varios expertos – varias opiniones – mas información Como decidir mejor ? Cual es lo correcto?
Clasificación múltiple Ideas Claves • Se basa en que zonas en la imagen sean analizadas más de una vez • Se realizan varias clasificaciones, cada una de ellas con grillas que se encuentran parcialmente desplazadas. • Se determina la pertenencia de un pixel a la patente considerando el resultado mas frecuente entre todas las imágenes binarias.
9
Etapas de mejoramiento de la clasificación
Etapas • Erosión • Heurísticas de forma y tamaño • Dilatación
Resultado de la clasificación múltiple
Resultado de la etapa de mejoramiento 10
Etapa de erosión
Idea clave • Desconectar regiones conexas • Adelgazamiento de objetos • Eliminación de objetos pequeños
Resultado de la clasificación múltiple
Resultado de la etapa de mejoramiento 11
Algoritmo para Heurísticas de forma y tamaño Idea clave : • A partir de las región de mayor tamaño • Calcula el mínimo rectángulo que encierra la región • Aplicación de heurística de forma • Si no cumple heurística seguir con regiones de menor tamaño
Forma de rectángulos de patente
Forma de rectángulos de no patente
12
Etapa de dilatación
Idea clave • Devolver el tamaño original de los objetos
13
Resultados acertados (95%)
14
Resultados erróneos (5%)
15
Conclusiones y trabajos futuros
Conclusiones • Este paper ha presentado un nuevo método de detección de patentes basado en un MLP. • La clasificación múltiple ha contribuido a obtener un mejor resultado para la segmentación de regiones de patentes • Las operaciones morfológicas y heurísticas basadas en la forma y el tamaño de la patente, mejoran los resultados de la segmentación Trabajos futuros • El estudio de nuevos descriptores para caracterizar la patente. • Verificación de la región obtenida mediante otros criterios – Análisis de la firma de la patente mediante proyección • Proponer un esquema de reconocimiento basado en nuestro método de localización
16
Agregando Nuevos Puntos de Vista
RN (1) Fusion RN (n)
Metodo (1) Metodo (n)
Mejoramiento
Verificación
Resultados Recientes (sin publicar) Localización de la Matrícula basado en Fusión de Métodos
Transformación Morfológica 1: Top Hat Resaltar Fondo de la Patente (1) Imagen escala de grises
( 3) Imagen original - imagen resultante
(2) Erosión y Dilatación con mismo SE línea horizontal (Apertura)
(4) Binarización
Transformación Morfológica 2 : Bottom- Hat Resaltar Caracteres de la Patente (1) Imagen Original
(3) Imagen Resultante - Imagen Original
(2) Dilatación y Erosión con mismo SE- línea horizontal (Cierre)
(4) Binarización
Combinación Transformación 1 y 2 Entrega la información de región de patente (1) Imagen Original
(3) Transformacion 2
(2) Transformacion 1
(4) Combinacion T1 y T2
Transformación Morfológica en Imagen Binaria Entrega la información de región de patente