k

19

˜ OFICINA ESPANOLA DE PATENTES Y MARCAS

k 2 140 309 kN´umero de solicitud: 009701508 kInt. Cl. : B27J 5/00

11 N´ umero de publicaci´on: 21

6

51

˜ ESPANA

G06T 7/60

k

12

SOLICITUD DE PATENTE

k

71 Solicitante/s: CORCHOS DE MERIDA, S.A.

k

72 Inventor/es: Valverde Valverde, Jos´ e Mar´ıa;

k

74 Agente: Hern´ andez Covarrubias, Arturo

22 Fecha de presentaci´ on: 07.07.1997

43 Fecha de publicaci´ on de la solicitud: 16.02.2000

43 Fecha de publicaci´ on del folleto de la solicitud:

16.02.2000

k

Carretera Estaci´ on Km. 1 06500 San Vicente de Alc´ antara, Badajoz, ES UNIVERSIDAD DE EXTREMADURA

k

Duque Carrillo, Juan Francisco; S´ anchez Sinencio, Edgar y P´ erez-Aloe Valverde, Raquel

k

k kResumen:

54 T´ıtulo: M´ etodo de clasificaci´ on de tapones de corcho. 57

ES 2 140 309 A1

A1

M´etodo de clasificaci´on de tapones de corcho. M´etodo de clasificaci´on de tapones de corcho, a partir de -im´agenes de su superficie (26), que comprende: obtener a partir de las im´agenes de sus fases (27) una imagen binaria mediante un solo valor umbral de grises; filtrado de “extracci´ on de contornos y seguimiento” de las anteriores im´agenes (28); segmentaci´on adaptativa para obtener un valor de grises umbral de defectos y fondo de la superficie lateral (29); erosi´ on de la im´agen digitalizada de la superficie lateral, utilizando un filtrado morfol´ ogico (g); filtrado adicional (e) con patrones de la imagen de la etapa anterior, para eliminar defectos triviales; digitalizaci´ on referente a zonas con y sin defectos de las im´agenes superior e inferior (30); erosi´ on de las im´agenes de la etapa anterior digitalizadas por medio de un filtrado morfol´ ogico; y clasificaci´on del tap´ on (h)

Venta de fasc´ ıculos: Oficina Espa˜ nola de Patentes y Marcas. C/Panam´ a, 1 – 28036 Madrid

ES 2 140 309 A1 DESCRIPCION M´etodo de clasificaci´ on de tapones de corcho. 5

10

15

20

25

La presente invenci´on se refiere a un m´etodo y un sistema para la clasificaci´on de tapones de corcho. Corcho es la denominaci´on biol´ogica de un tejido producido por la mayor´ıa de los a´rboles alrededor de su tronco. El alcornoque es excepcional en el sentido en que el espesor del corcho es suficiente para ser procesado industrialmente. El producto derivado del corcho m´ as conocido e importante es el tap´ on de corcho, el cual se utiliza casi exclusivamente para tapar vino. En el tap´on de corcho concurren tres propiedades que lo diferencian de cualquier otro material o artificial, y que hacen que, hoy por hoy, sea insustituible para tapar botellas de vino. En primer lugar, el tap´ on de corcho evita la fuga del vino incluso en presencia de irregularidades en el cuello de la botella. Segundo, presenta una excelente inercia qu´ımica, lo cual evita que se produzca cualquier reacci´on con el vino que pudiera cambiar su sabor. Y por u ´ltimo, quiz´ as la caracter´ıstica m´ as sutil pero sin duda no menos importante, se encuentra en la capacidad para permitir cierto intercambio gaseoso con el exterior, lo que posibilita que la calidad del vino mejore a medida que pasa el tiempo. Este proceso es conocido como maduraci´ on. Puesto que el corcho es un material natural su aspecto externo es altamente heterog´eneo en lo que se refiere a defectos. De hecho, no hay dos tapones exactamente iguales. Esto ha constituido tradicionalmente un severo handicap en lo que a su control de calidad se refiere. B´asicamente se distinguen tres clases de defectos principales, en funci´on de los cuales se decide la calidad de un tap´ on de corcho. Estos defectos son: •agujeros: estos aparecen como puntos negros aproximadamente redondos y superficialmente distribuidos en forma y tama˜ no arbitrarios; •grietas: ´estas son defectos alargados y finos. Su longitud, ancho y localizaci´ on son caracter´ısticas importantes para la calidad final del tap´ on;

30

35

40

45

50

55

60

•defectos causados por insectos: estos son sin duda los defectos m´ as cr´ıticos, especialmente cuando aparecen en las bases del tap´on, ya que entonces penetran en el tap´ on de corcho en la direcci´on longitudinal, pudiendo dar lugar a fuga de vino de la botella cerrada. La industria corchera distingue ocho calidades diferentes de tapones. Tradicionalmente se ha llevado a cabo la clasificaci´on y el control de la calidad de los tapones de corcho por medio de expertos en la materia, lo que conllevaba la subjetividad de los criterios de clasificaci´ on y en consecuencia frecuentes conflictos entre fabricantes y compa˜ n´ıas embotelladoras. Recientemente se han comenzado a introducir sistemas electr´onicos para la clasificaci´ on de la calidad de los tapones de corcho. Los sistemas electr´onicos de la primera generaci´on solamente ten´ıan en cuenta el porcentaje de superficie del tap´on con un nivel de grises diferente del resto de la masa de corcho, determinando de este modo el porcentaje de defectos existentes en la superficie del tap´ on de corcho investigada y clasific´andola seg´ un niveles previamente establecidos por el usuario. Las prestaciones obtenidas con dichos sistemas son muy deficientes ya que el u ´ nico par´ ametro utilizado para la toma de decisi´on no tiene en cuenta el tipo de defecto, mientras que para un experto, entre otras variables, resulta algo fundamental. En este sentido, una cierta cantidad de pixeles con defectos uniformemente distribuidos ser´ıan para el sistema exactamente igual si estos estuvieran formando una grieta en alguna posici´on cr´ıtica. La segunda generaci´on de sistemas electr´onicos de clasificaci´on de tapones de corcho tiene en cuenta algunas otras variables. As´ı, existen sistemas que utilizan como variables el n´ umero de agujeros, las dimensiones del de mayor superficie y la m´ axima longitud de grieta. Todav´ıa otros sistemas determinan el n´ umero de agujeros, las grietas y adem´ as, donde aparecen estos defectos. As´ı, se distinguen si la(s) grieta(s) surge sobre una zona media de la superficie lateral o bien en zonas m´as pr´ oximas a la superficie superior o bien inferior de la geometr´ıa cil´ındrica del tap´ on de corcho. Todos los sistemas electr´onicos de la segunda generaci´on proporcionan unos resultados aceptables con tapones de buena calidad, en los cuales la densidad de defectos es reducida, sin embargo para muestras de calidades intermedias y bajas el n´ umero de ellas incorrectamente clasificadas puede superar el 30 % o 35 %, de forma que lo que se realiza en la pr´ actica consiste en hacer una revisi´on por un experto tras la clasificaci´on autom´ atica, lo que aumenta los costes adicionales de dicha clasificaci´ on.

2

ES 2 140 309 A1 El objetivo de la presente invenci´ on es, por lo tanto, proporcionar un m´etodo y un sistema autom´ atico de clasificaci´on de tapones de corcho que clasifique de forma fiable la calidad del corcho investigado, reduciendo notablemente el porcentaje de muestras err´ oneamente clasificadas. 5

Esta tarea se resuelve mediante el m´etodo y el sistema seg´ un la presente invenci´ on, donde se utilizan procedimientos m´as avanzados de extracci´on de caracter´ısticas y clasificaci´on. El procedimiento global de clasificaci´on de tapones de corcho en las diferentes clases, a partir de im´ agenes de las superficie lateral, superior e inferior de dichos tapones de corcho, comprende las etapas de:

10

a) obtenci´ on de las im´agenes binarias correspondientes a partir de las im´agenes superior e inferior del tap´on, mediante segmentaci´on con un nivel de grises fijo (alrededor de 90);

15

b) segmentaci´on adaptiva (SA) para obtener valores de grises umbrales δ capaces de separar adecuadamente los defectos del corcho y su fondo de la imagen superficial lateral, en presencia de condiciones de iluminaci´ on irregulares y/o diferentes tonos en la masa de corcho, aplicando la siguiente transformaci´ on iterativa: Ak (x, y) = Ak−1 (x, y) + m{prom(x,v,Wk)- Ak−1 (x, y)}, siendo

20

25

P P Ak−1 (i, prom(x,y,Wk )= W12 k iNx (Wk ) iNy (Wk )

j),

Nx = {x-[ W2k ],....,x+[ W2k ]}, Ny = {y-[ W2k ],....,y+[ W2k ]}, y

30

35

40

45

50

55

60

0< m < 1, k=1,2,...,N (N=n´ umero total de iteraciones) umero k y m Ak (x,y) es el valor de grises de pixel (x,y) en la iteraci´on n´ es la frecuencia de actualizaci´on Nx , Ny . de lo que resulta siempre una imagen adecuadamente binarizada para la posterior extracci´ on de caracter´ısticas; c) erosi´on de la imagen binarizada de la superficie lateral como m´etodo b´ asico de extracci´on de caracter´ısticas, utilizando filtrado morfol´ ogico con el fin de extraer informaci´ on sobre el tama˜ no, distribuci´ on y a´rea de defectos y repetiendo este procedimiento, con un tama˜ no del elemento de estructura S cada vez m´ as peque˜ no, con lo que se obtienen los valores #1, #2, #3, #4, #5 de entrada de datos al clasificador, y erosi´ on de las imagenes digitizadas en a) con un elemento de estructura fijo para extraer la caracter´ıstica de entrada #8 que es el valor normalizado de la suma de todos los pixeles despu´es de la erosi´on; d) filtrado adicional con patrones direccionales de la imagen de la etapa c) para eliminar los defectos triviales mediante una serie de patrones y simult´ aneamente enfatizar los defectos finos y alargados existentes en cualquier direcci´on; e) “extracci´on del contorno y seguimiento” (CEF) de la imagen lateral digitizada para detectar grietas finas y largas que no pueden ser detectadas por filtrado morfol´ ogico, y obteniendo los valores de entrada de datos #6, que es la longitud normalizada del defecto m´as largo detectado en la superficie lateral, y #7 que es la longitud normalizada del defecto m´ as largo detectado en la superficie lateral, que adem´ as se sit´ ua muy cercano a los cantos inferior y superior de la superficie lateral del cilindro; f) segmentaci´on de la im´agenes correspondientes a las superficies superior e inferior del cilindro con un nivel fijo de grises (alrededor de 45) para extraer los defectos de insectos, los cuales son habitualmente m´as oscuros que los restantes que aparecen en dichas superficies, y posterior aplicaci´ on del CEF para detectar cualquier defecto que es lo suficientemente grande como para ser considerado defecto provocado por insecto; y g) clasificaci´on del tap´ on de corcho investigado a partir de los valores de entrada de datos #1 a #8 por medio de una red neural borrosa (fuzzy) del tipo Perceptron Multicapa (MLP). 3

ES 2 140 309 A1

5

Adem´as se resuelve este objetivo mediante un sistema que contiene varias c´amaras CCD para tomar im´ agenes superficiales del tap´ on de corcho (im´ agenes lateral, superior e inferior), y consta de un motor de pasos con controlador para hacer girar de forma controlada el tap´ on de corcho a clasificar, siendo controlados todos los componentes mediante un ordenador, y porque se aplica el m´etodo anteriormente mencionado. A continuaci´ on se explica la presente invenci´on m´ as detalladamente por medio de un ejemplo de realizaci´on representado en los dibujos, en los que

10

la figura 1(a) muestra im´ agenes lateral, superior e inferior de un tap´ on de corcho perteneciente a la clase 1a¯ ; la figura 1(b) muestra im´ agenes lateral, superior e inferior de un tap´on de corcho perteneciente a la clase 3a¯ ;

15

la figura 1(c) muestra im´ agenes lateral, superior e inferior de un tap´on de corcho perteneciente a la clase 5a¯ ; 20

la figura 1(d) muestra im´ agenes lateral, superior e inferior de un tap´on de corcho que pertenece a la clase 8a¯ como consecuencia de su excesivo contenido de grandes agujeros; la figura 1(e) muestra im´ agenes lateral, superior e inferior de un tap´on de corcho que pertenece a la clase 8a¯ como consecuencia de una grieta larga; y

25

la figura 1(f) muestra im´ agenes lateral, superior e inferior de un tap´on de corcho que pertenece a la clase 8a¯ como consecuencia de defectos causados por insectos en sus superficies superior e inferior; la figura 2(a) muestra la forma cil´ındrica de los tapones de corcho a clasificar;

30

la figura 2(b) muestra un esquema de los componentes del sistema seg´ un la presente invenci´ on; la figura 3 muestra el esquema principal de la segmentaci´ on adaptivo para la determinaci´ on del nivel ´optimo de grises de cada zona local;

35

La figura 4 muestra los diferentes tama˜ nos de ventanas (zonas locales) en cada iteraci´on de la segmentaci´on adaptiva; la figura 5 muestra el algoritmo principal para la determinaci´ on de valor adaptivo de segmentaci´ on;

40

la figura 6(a) muestra una imagen original de un tap´ on de corcho; la figura 6(b) muestra la imagen enriquecida, correspondiente a la imagen de la figura 6(a);

45

la figura 6(c) muestra la imagen de la figura 6(a) segmentada aplicando el m´etodo de segmentaci´on adaptiva; la figura 6(d) muestra la imagen de la figura 6(a) segmentada con el m´etodo tradicional de un u ´nico valor umbral fijo;

50

la figura 7(a) muestra la imagen de un tap´ on de corcho sometida a erosi´on por filtrado morfol´ ogico con un elemento de estructura de 0x0 pixeles (imagen original) (F0 = 6844); la figura 7(b) muestra la imagen de la figura 7(a), sometida a erosi´on por filtrado morfol´ ogico con un elemento de estructura de 3x3 pixeles (F3 = 3982);

55

la figura 7(c) muestra la imagen de la figura 7(a), sometida a erosi´ on por filtrado morfol´ ogico con un elemento de estructura de 5x5 pixeles (F5 = 2097); 60

la figura 7(d) muestra la imagen de la figura 7(a), sometida a erosi´on por filtrado morfol´ ogico con un elemento de estructura de 7x7 pixeles (F7 = 982); la figura 8 muestra la serie de patrones utilizada en el filtrado direccional; 4

ES 2 140 309 A1

la figura 9(a) muestra una imagen digitizada de un tap´ on antes de aplicar el filtrado direccional;

5

la figura 9(b) muestra la imagen de la figura 9(a) despu´es de un filtrado direccional con los patrones de la figura 8(a); la figura 10(a) muestra el patr´ on de conectividad cuatro empleado en la “extracci´ on del contorno y seguimiento” (CEF);

10

la figura 10(b) representa esquem´aticamente la operaci´on de seguimiento de contorno; la figura 11(a) muestra la imagen original de un tap´ on de corcho; la figura 11(b) muestra la imagen de la figura 11(a) una vez aplicado la extracci´ on de contornos;

15

la figura 12 muestra el esquema de aprendizaje de la red neuronal borrosa MLP; la figura 13 muestra en un esquema las funcionalidades detalladas del m´etodo seg´ un la presente invenci´on; 20

la figura 14 muestra la representaci´ on gr´ afica de la matriz de confusi´ on proporcionada por el clasificador con 80 muestras de tapones por cada una de las 8 clases;

25

30

35

40

45

50

55

En las figuras 1(a) a 1(f) se muestran algunos ejemplos de im´ agenes laterales, superiores e inferiores de porciones de corcho, pertenecientes a tapones de diferentes clases. La imagen de la figura 1(a) corresponde a un tap´ on de corcho de la clase 1a ¯ la cual apenas presenta imperfecciones, mientras que en las im´ agenes de tapones de corcho de las clases 3a¯ y 5a¯ respectivamente (figura 1(b) y figura 1(c) s´ı pueden observarse una cierta cantidad de defectos (agujeros, grietas y canales). Las figuras 1(d) a 1(f) muestran im´ agenes de tapones de corcho pertenecientes a la clase 8, por causas diferentes. El corcho de la figura 1(d) tiene muchos agujeros grandes en la superficie, mientras que el corcho de la figura 1(e) presenta grietas largas y finas. El tap´ on de corcho de la figura 1(f) presenta defectos causados por insectos en las superficies superior e inferior, mientras la superficie lateral es tan perfecta como la de la figura 1(a). En la figura 2(a) puede verse las diferentes partes de las porciones de corcho (1) con forma cil´ındrica que son empleados como tapones de botellas, con su superficie lateral (3) y sus dos bases (2,4). Naturalmente, en general, puede emplearse el m´etodo y el sistema de la presente invenci´on para cualquier forma de las porciones de corcho y tambi´en para cualquier material cuya calidad se distingue por la morfolog´ıa superficial. La figura 2(b) muestra el sistema de captura de im´ agenes de los tapones de corcho (1). La imagen de la superficie lateral (3) se obtiene a trav´es de una c´amara lineal CCD (5), mientras que la porci´on de corcho se gira por medio de motor de pasos (8), controlado por un ordenador (9). Las im´ agenes superior e inferior se obtienen con al menos dos c´ amaras CCD (6,7), montadas sobre las partes superiores (2) e inferiores (4) del tap´ on de corcho. Este sistema proporciona im´ agenes en blanco y negro que pueden tener tama˜ nos de, por ejemplo, 288x263 pixel para la superficie lateral y 299x93 para las superficies superiores e inferiores. El m´etodo de la presente invenci´on utiliza un nivel de segmentaci´on adaptivo para la correcta binarizaci´ on de la imagen independientemente de condiciones irregulares de iluminaci´ on y los estados nouniformes de albedo del corcho en las im´ agenes. Adem´as se aplica un filtrado morfol´ ogico como m´etodo b´ asico de extracci´on de caracter´ısticas. Este m´etodo determina la informaci´ on referente al tama˜ no, la distribuci´ on y el a´rea de los defectos. La “extracci´on y seguimiento del contorno” (CEF) se utiliza para detectar grietas largas y finas que no se puede detectar con el filtrado morfol´ ogico. Anteriormente al CEF tambi´en se recurre al filtrado con patrones direccionales, con el fin de mejorar la eficacia del CEF. Estas t´ecnicas se explicar´an a continuaci´ on: A. Segmentaci´on adaptiva (SA)

60

Los defectos del fondo del corcho se extraen simplemente por medio de los valores de niveles de grises. En la mayor´ıa de los casos los defectos tienen una intensidad del nivel de grises alrededor de 50 a 90, mientras que las partes restantes del fondo tienen un valor de entre 100 y 130.

5

ES 2 140 309 A1

5

10

15

20

La finalidad de la determinaci´on del valor de segmentaci´on de grises es extraer pixeles que representan objetos (defectos) del fondo de la imagen. Desafortunadamente, en general, es muy dif´ıcil encontrar un u ´ nico valor umbral que sea o´ptimo para cualquier imagen de grises. Adem´as en el caso de plantas industriales de tapones de corcho es frecuente encontrar que la iluminaci´on sobre la imagen es diferente, bien debido a la propia fuente de luz, bien a diferentes colores de fondo de la masa de corcho incluso dentro de un mismo tap´ on, o bien a una curvatura no uniforme en la superficie. Por todas esas razones, puede resultar que objetos en ciertas partes de la imagen aparezcan m´as claros u oscuros que en otras. Resulta bastante inadecuado en consecuencia, aplicar un u ´ nico nivel de segmentaci´on fijo a la imagen completa y por ello se emplea un valor umbral diferente (adaptivo) para cada imagen basado en las propiedades locales de la imagen. El funcionamiento del SA se explicar´a a continuaci´on con la ayuda de la figura 3, que presenta una t´ıpica imagen de un tap´ on de corcho. Como puede apreciarse, el histograma (10) de la imagen original es demasiado denso y complicado para decidir un valor ´optimo capaz de separar los defectos del fondo. Sin embargo, en cada a´rea definida por diferentes tama˜ nos de ventana se observan los diferentes formas de los histogramas (11) de cada ´area local. A trav´es de la transformaci´ on (10a) dada en la ecuaci´on (1) se logra separar m´ as los niveles de grises de defectos y del fondo, que normalmente tiene un nivel de gris m´ as alto en promedio en cada a´rea local. Es decir, la imagen es enriquecida separando el nivel de grises de cada pixel del valor promedio de grises de su entorno usando un m´etodo iterativo. El histograma (12) de la imagen enriquecida resultante tambi´en puede verse en la figura 3. Para preservar eficientemente la informaci´on sobre los alrededores amplios y estrechos de cada pixel, se reduce el tama˜ no de la ventana (13) a medida que avance la iteraci´ on, tal y como de muestra en la figura 4. Ak (x, y) = Ak−1 (x, y) + m{prom(x,v,Wk)- Ak−1 (x, y)}, siendo

25

P P Ak−1(i, prom(x,y,Wk )= W12 k iNx (Wk ) iNy (Wk )

j),

Nx = {x-[ W2k ],....,x+[ W2k ]}, 30

35

40

45

50

55

60

Ny = {y-[ W2k ],....,y+[ W2k ]}, y 0< m < 1, k=1,2,...,N (N=n´ umero total de iteraciones) umero k y m Ak (x,y) es el valor de grises de pixel (x,y) en la iteraci´on n´ es la frecuencia de actualizaci´on Nx , Ny . El algoritmo principal de iteraci´ on aparece en la figura 5. Partiendo de una imagen grises A0 (14) se inicia (15) la iteraci´ on con una ventana (13) del tama˜ no W0 . Se actualiza (16) el nivel de gris de Ak (x,y) utilizando la ecuaci´ on (1). Se repite este proceso, reduciendo (20) el tama˜ no Wk de la ventana, hasta que el n´ umero k de iteraciones haya alcanzado el n´ umero predeterminado N (17). Entonces se fija (18) el nivel de gris δ en un n´ umero bajo, y se fija AN (x,y) igual a 1, si AN (x,y)