UNIVERSIDAD NACIONAL AUTONOMA DE MEXICO

PROGRAMA DE MAESTR Y DOCTORADO EN IA INGENIER IA

FACULTAD DE INGENIER IA

INVESTIGACION Y DESARROLLO DE SISTEMAS DE CONTROL MEDIANTE VISION TECNICA PARA MICROMAQUINAS HERRAMIENTAS Y MICROMANIPULADORES

TESISQUE PARA OPTAR POR EL GRADO DE:

DOCTOR EN INGENIER IA MECANICA - DISENO MECANICO P R E S E N T A:

GENGIS KANHG TOLEDO RAM IREZTUTORES: ERNST KUSSUL TATIANA BAIDYK

Ciudad Universitaria

Agosto 2007

Exbecario CONACYT

Jurado asignado:

Presidente: Secretario: 1er Vocal:

Dr. Lpez Parra Marcelo. o Dr. Dorador Gonzlez Jess Manuel. a u Dr. Kussul Ernst Mikhailovich.

1er Suplente: Dr. Santilln Gutirrez Sal Daniel. a e u 2o Suplente: Dra. Baidyk Tatiana.

Lugar donde se realiz la tesis: o Laboratorio de Micromecnica y Mecatrnica (LMM) del a o Centro de Ciencias Aplicadas y Desarrollo Tecnolgico (CCADET) o de la Universidad Nacional Autonoma de Mxico (UNAM). e

Tutores de tesis:

Dr. Ernst Kussul.

Dra. Tatiana Baidyk.

Este trabajo se desarroll en el Laboratorio de Micromecnica y o a Mecatrnica del Centro de Ciencias Aplicadas y Desarrollo Teco nolgico (CCADET) de la Universidad Nacional Autnoma de o o Mxico (UNAM) bajo la tutoria de los doctores Ernst Kussul y e Tatiana Baidyk. Se cont con el apoyo de una beca para estudios o doctorales del CONACYT y de una beca complemento DGEP - UNAM. Adems se cont con el apoyo parcial de los siguiena o tes proyectos: DGAPA PAPIIT IN118799, PAPIIT IN108606-3, PAPIIT IN116306-3, NSF-CONACYT 39395-U, DGAPA-PAPIIT IN112102 y CONACYT 33944-U.

El autor, sin perjuicio de la legislacin de la Universidad Nacional o Autnoma de Mxico, otorga el permiso para el libre uso, reproo e duccin y distribucin de esta obra siempre que sea sin nes de o o lucro, se den los crditos correspondientes y no sea modicada, en e especial esta nota. D.R. c Gengis Kanhg Toledo Ram rez, Mxico, D.F. 2007. e

Redaccin y edicin de tesis o oA con L TEX 2 , GNU-Emacs

y sistema operativo libre X GNU/LINU .

A Susy y Conenetl;mi familia

Vivimos en una sociedad altamente dependiente de la ciencia y de la tecnolog en a, la cual casi nadie sabe nada sobre ciencia y tecnolog a. Carl Sagan

Se ha vuelto espantosamente obvio que nuestra tecnolog ha excedido a nuestra a humanidad. Albert Einstein

Las mquinas y las computadoras debern volverse una parte funcional en un sistema a a social orientado por la vida y no un cncer que empieza por hacer estragos y acaba por a matar al sistema. Erich Fromm

AgradecimientosEn primer lugar deseo agradecer profundamente a mis tutores, los doctores Tatiana Baydik y Ernst Kussul por la gran conanza que me brindaron desde el primer momento, para la propuesta, el desarrollo y la conclusin de este trabajo. Gracias por su apoyo, sus sabios y pertinentes consejos, las o mltiples enseanzas que me dieron durante mi formacin as como la libertad que me permitieron u n o tomar para la elaboracin de este trabajo de investigacin. Algo fundamental para mi formacin o o o como investigador han sido sus innumerables gu que me han permitido no slo cumplir con as o las publicaciones y participaciones requeridas para alcanzar el grado de doctor, sino que me han compartido de corazn la gran experiencia que a lo largo de varias dcadas han acumulado en su o e trabajo de investigadores en varios pa y en mltiples congresos internacionales. Muchas gracias, ses u Spasibo! . En cada una de las tres etapas de este trabajo hubo personas a las cuales deseo agradecer especialmente. Durante la realizacin de este trabajo: el apoyo fundamental de mi novia, primero y o luego esposa Susana Torres Snchez Susy, sin el cul este trabajo no hubiese sido tan agradable a a y llevadero; a lo largo de todo el tiempo has sido un pilar de apoyo, emocional y de amor para mi Gracias Peque! Te amo! Agradesco a mi hijo Conenetl Pablo Ilhu catl, por todos los momentos de alegr y satisfaccin que me ha brindado. Sin ti, este documento no hubiese llevado tu ejemplo, a o el de algo bien hecho y agradable. Para iniciar mis estudios doctorales ha sido determinante la persuasin y consejos de mi gran amigo o Adolfo de Unanu Tiscareo, el ha sido el primero que descubri la vocacin en mi para hacer una e n o o carrera como investigador y en ese sentido me anim para realizar mi doctorado. Gracias Adolfo! o En el tramo nal de mi tesis sobresale mi tutora, la Dra. Tatiana, ya que sin su gu apoyo, consejos a, y su inters porque nalizara en buen trmino el documento, esta tesis no hubiese resultado lo que e e es ahora y en el tiempo previsto. No quiero dejar de agradecer a mis padres Germn Toledo Orozco y Rosa Marina Ram Arano de a rez Toledo su apoyo y sacricio que luego de lustros de cuidados y educacin han rendido frutos en mi o formacin profesional previa y en mi formacin como ser humano, mismos que me han permitido sin o o lugar a dudas realizar mi doctorado. As mismo, agradezco a mi hermano Rommel Toledo Ram rez por todo el apoyo que me ha brindado durante este trabajo, desde lo personal, ayudndome a a mudarme, hasta los apoyos acadmicos, de traduccin y puntos de vista que sin lugar a dudas han e o hecho de este trabajo algo mejor, al igual que agradezco a mi hermano Germn. Agradezco tambin a e a toda mi familia tanto natural como pol tica as como a mis amigos del SIV por su cario, aprecio y n amistad desinteresada. Agradesco al Mdico Flix Guillermo Mrquez Celedonio que indirectamente e e a inuy sobre este trabajo en aspectos personales, profesionales e intelectuales. o Agradezco mucho al estudiante de doctorado Oleksandr Makeyev Sasha quien me apoy bastante o en la traduccin y redaccin de mis trabajos, en especial mi primer art o o culo internacional. Agradezco tambin el apoyo y colaboracin de mi amigo y compaero Josu Enr e o n e quez Zrate as como tambin a e a mi amigo Jess Daniel Prez Castaeda por su amistad y por haberme invitado a dar una pltica u e n a sobre este trabajo en su institucin. o Durante mi visita a Ucrania donde expuse los primeros resultados de mi trabajo, recib la atencin o ix

y la hospitalidad muy amena y enriquecedora de los Drs. Taras K. Vintsiuk, Alexander V. Goltsev y Dmitri A. Rachkovskij, as como tambin de Danielok que tanto nos hizo conocer de su patria en tan e poco tiempo, adems, deseo agradecer a mis compaeros congresistas: Borbla Katalin Benk de a n a o Hungr y Tomasz Rusc de Polonia. aDuring my visit to Ukraine in which I exposed the rst results from my work, I received the attention and the very pleasant and enriching hospitality of Dr. Taras K. Vintsiuk, Dr. Alexander V. Goltsev and Dr. Dmitri A. Rachkovskij, as well as from Danielok who allowed to us to know his mother country in a short time, in addition, I want to thanks to my conference partners: Borbla Katalin Benk from Hungary and a o Tomasz Rusc from Poland. Durante la mayor parte de mi trabajo de investigacin y desarrollo utilic software libre, por lo que doy o e gracias a toda la comunidad internacional de software libre cuyo trabajo utilic con xito y de quienes e e aprend bastante tanto en lo tcnico como en lo humano. Gracias a todos ellos y a los proyectos en que e participan, me he convencido mediante los hechos durante mi trabajo que el software libre creado comunitariamente es superior al comercial en gran medida, en especial para el trabajo de investigacin. Thanks o very much to the international Free Software Community. Mis ms profundas gracias a todos mis compaeros del Laboratorio de Micromecnica y Mecatrnica a n a o (LMM), tanto doctores como acadmicos, trabajadores y estudiantes, con los cuales compart el laboratorio e y muchas cosas ms. Son muchos los compaeros del LMM, sin pretender dejar de recordar a alguien, deseo a n agradecer en especial al Dr. Leopoldo Ru al Dr. Alberto Caballero, a la Dra. Graciela y al Dr. Ascanio, z, as como al Maestro David Palomino y al Sr. Mario; y por supuesto, a todos mis compaeros estudiantes del n laboratorio: Hctor Silva, Anglica Zamora, Mauricio Algaln, Gerardo Carrera, Eugenio Mar Guillermo e e a n, Saavedra, Paulo Lpez, Paul Dom o nguez, Oscar Cuevas, Anabel Mart Bogar Patio, Germn Herrera, n, n a Octavio Ortigoza, Daniela Rovira, Tere, Oscar y todos los dems con los que compart el laboratorio. a Gracias a mis sinodales, miembros de mi jurado de examen de candidatura y de grado doctores Marcelo Lpez Parra, Jess Manuel Dorador Gonzlez y Sal Daniel Santilln Gutirrez por su tiempo, paciencia o u a u a e y comentarios que mejoraron este trabajo. Agradezco tambin al personal administrativo, acadmico y de la base trabajadora, tanto de la Facultad de e e Ingenier (FI) como del CCADET de la UNAM, por su apoyo brindado para este trabajo que ha ido desde a el prstamo de material, dotacin de insumos y apoyo en los trmites hasta mi aceptacin en el programa e o a o de posgrado de la FI as como el apoyo para acudir a un congreso internacional y muchas cosas ms. a No menos importante, sino fundamental es para mi agradecer al CONACYT que brind el apoyo econmico o o para mis estudios doctorales as como a la DGEP-UNAM, que adems de brindarme un apoyo complemen a tario ha hecho posible el programa de doctorado que he cursado junto con la FI. Tambin el PAPIIT e UNAM me apoyo en parte para mi trabajo. Muchas gracias a todas estas instituciones y programas as como aquellos que las fundaron. Agradezco a los siguientes proyectos que apoyaron en parte mi trabajo: DGAPA PAPIIT IN118799, PAPIIT IN108606-3 (Investigacin y desarrollo de manipuladores de baja inercia), PAPIIT IN116306-3 (Inveso tigacin y desarrollo de un sistema de visin computacional para microequipo, NSF-CONACYT 39395-U o o (Investigacin de sistemas de control basados en redes neuronales con aplicaciones en sistemas micromecnio a cos), DGAPA-PAPIIT IN112102 (Investigacin y desarrollo de sistemas de control para micromquinas o a herramientas y micromanipuladores) y CONACYT 33944-U (Desarrollo de microtecnolog mecnica para a a aplicaciones de clulas de produccin). e o Por ultimo agradezco a todos aquellos idealistas y activistas mexicanos y extranjeros que a lo largo de la historia de Mxico han permitido que hoy se pueda gozar de una educacin cient e o ca, tecnolgica, pblica, o u laica, gratuita y de calidad. A todas las personas y entidades mencionadas Much simas gracias! Gracias a todos ustedes he logrado alcanzar esta importante meta!.

Indice generalResumen Abstract 1. Introduccin o 1.1. Objetivos generales . . . . . . 1.2. Marco terico . . . . . . . . . o 1.2.1. Justicacin. . . . . . o 1.2.2. Metodolog a. . . . . . 1.3. Objetivo de la tesis . . . . . . 1.4. Contribucin de este trabajo o 1.5. Organizacin del trabajo . . . oXIX

XXI

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

1 1 2 2 2 3 3 4 5 5 5 6 6 7 7 8 8 8 9 9 9 10 10 10 10 10 11 11 11 11 11 12 12 13 13 14 17

2. Antecedentes y estado del arte 2.1. Microtecnolog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a 2.1.1. Aplicaciones de la microtecnolog . . . . . . . . . . . . . . . . . . . a 2.1.2. Sistemas Micro Electromecnicos (MEMS) . . . . . . . . . . . . . . a 2.1.3. Microfbricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a 2.1.4. Tecnolog de microequipo (MET) . . . . . . . . . . . . . . . . . . . a 2.1.5. Micromaquinado y microensamble . . . . . . . . . . . . . . . . . . . 2.1.6. Reconocimiento de piezas en una microfbrica . . . . . . . . . . . . . a 2.2. Visin por computadora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . o 2.2.1. Visin por computadora en microfbricas . . . . . . . . . . . . . . . o a 2.2.2. Reconocimiento de objetos . . . . . . . . . . . . . . . . . . . . . . . 2.2.3. Estado del arte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.3.1. Preprocesamiento de imgenes . . . . . . . . . . . . . . . . a 2.2.3.2. Mtodo de semejanza de patrones . . . . . . . . . . . . . . e 2.2.3.3. Mtodo de anlisis de componentes principales . . . . . . . e a 2.2.3.4. Mtodo de semejanza grca . . . . . . . . . . . . . . . . . e a 2.2.3.5. Transformacin Hough generalizada . . . . . . . . . . . . . o 2.2.3.6. Tcnica de supercuadrticos . . . . . . . . . . . . . . . . . e a 2.2.3.7. Mtodo de redes neuronales . . . . . . . . . . . . . . . . . . e 2.2.3.8. Extraccin de propiedades . . . . . . . . . . . . . . . . . . o 2.2.4. Reconocimiento de posicin . . . . . . . . . . . . . . . . . . . . . . . o 2.2.4.1. Mtodos basados en redes neuronales . . . . . . . . . . . . e 2.2.4.2. Mtodos basados en seguimiento de movimiento . . . . . . e 2.2.4.3. Tcnicas de segmentacin de imagen . . . . . . . . . . . . . e o 2.2.4.4. Reconocimiento de posicin de piezas en una microfbrica . o a

. . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . .

3. Sistema de visin por computadora para microensamble o 3.1. Investigacin en el Laboratorio de Micromecnica y Mecatrnica . . . . . . . . . . . . . . . o a o 3.2. Sistema automtico de manejo de piezas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a 3.3. Subsistema de visin tcnica (SVT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . o e

xi

4. Dise o del SVT n 4.1. Principio de operacin . . . . . . . . . . . . . . . o 4.2. Piezas seleccionadas para experimentos . . . . . . 4.3. Las imgenes del SVT . . . . . . . . . . . . . . . a 4.4. Seleccin de clasicadores . . . . . . . . . . . . . o 4.4.1. Resultados previos del clasicador LIRA . 4.4.2. Resultados previos del clasicador PCNC 4.5. Bases de datos de imgenes utilizadas . . . . . . a 4.5.1. Imgenes normalizadas . . . . . . . . . . . a 4.5.2. Descripcin de las bases de datos . . . . . o 4.6. Localizacin de piezas . . . . . . . . . . . . . . . o 5. Clasicador neuronal LIRA 5.1. Antecedentes . . . . . . . . . . . 5.1.1. Descriptor local aleatorio 5.2. Estructura . . . . . . . . . . . . . 5.3. Operacin . . . . . . . . . . . . . o 5.4. Proceso de entrenamiento . . . . 5.5. Distorsiones . . . . . . . . . . . . 5.6. Discusin . . . . . . . . . . . . . o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19 19 19 20 21 21 22 22 22 23 26 29 29 29 30 32 33 33 34 35 35 36 38 39 40 40 41 42 42 43 43 44 47 47 48 48 49 52 52 53 53 53 54 54 55 57 58 58 59 62 63 63 63 64 64 65

6. Clasicador Neuronal de Permutacin de Cdigos (PCNC) o o 6.1. Estructura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.1.1. Extractor de propiedades . . . . . . . . . . . . . . . . . 6.1.2. Codicador . . . . . . . . . . . . . . . . . . . . . . . . . 6.1.2.1. Codicacin de las propiedades . . . . . . . . . o 6.1.2.2. Ejemplo de permutaciones . . . . . . . . . . . 6.1.2.3. Propiedades de las permutaciones . . . . . . . 6.1.2.4. Vector cdigo V . . . . . . . . . . . . . . . . . o 6.1.2.5. Adelgazador dependiente de contexto (CDT) . 6.1.3. Clasicador neuronal . . . . . . . . . . . . . . . . . . . . 6.2. Proceso de entrenamiento . . . . . . . . . . . . . . . . . . . . . 6.3. Distorsiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4. Discusin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . o

7. Experimentos y resultados 7.1. LIRA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1.1. Experimentos preliminares . . . . . . . . . . . . . . . . . . 7.1.2. Unicidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1.3. Sintonizacin de parmetros . . . . . . . . . . . . . . . . . . o a 7.1.4. Distorsiones . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1.5. Ciclos de entrenamiento . . . . . . . . . . . . . . . . . . . . 7.1.6. Aleatoriedad de los conjuntos para entrenamiento y prueba 7.1.7. Mejores clasicadores LIRA . . . . . . . . . . . . . . . . . . 7.1.7.1. Base de datos A . . . . . . . . . . . . . . . . . . . 7.1.7.2. Base de datos B . . . . . . . . . . . . . . . . . . . 7.1.7.3. Base de datos D . . . . . . . . . . . . . . . . . . . 7.1.8. Prueba con conjunto de entrenamiento ampliado . . . . . . 7.2. PCNC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2.1. Experimentos preliminares . . . . . . . . . . . . . . . . . . 7.2.2. Unicidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2.3. Sintonizacin de parmetros . . . . . . . . . . . . . . . . . . o a 7.2.4. Distorsiones . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2.5. Ciclos de entrenamiento . . . . . . . . . . . . . . . . . . . . 7.2.6. Aleatoriedad de los conjuntos para entrenamiento y prueba 7.2.7. Mejores clasicadores PCNC . . . . . . . . . . . . . . . . . 7.2.7.1. Base de datos A . . . . . . . . . . . . . . . . . . . 7.2.7.2. Base de datos B . . . . . . . . . . . . . . . . . . . 7.2.7.3. Base de datos D . . . . . . . . . . . . . . . . . . .

xii

7.2.8. Prueba con conjunto de entrenamiento ampliado 7.3. Comparacin de clasicadores . . . . . . . . . . . . . . . o 7.3.1. Tiempos . . . . . . . . . . . . . . . . . . . . . . . 7.3.2. Estabilidad en la creacin de estructuras . . . . . o 7.3.3. Parmetros . . . . . . . . . . . . . . . . . . . . . a 7.3.4. Ciclos de entrenamiento . . . . . . . . . . . . . . 7.3.5. Conabilidad . . . . . . . . . . . . . . . . . . . . 7.3.6. Resultados . . . . . . . . . . . . . . . . . . . . . 7.4. Bsqueda y reconocimiento de posicin . . . . . . . . . . u o Conclusiones Trabajo futuro

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

66 66 66 67 68 68 68 68 69 73 75

Apndices eA. Software A.1. Mdulo Optik . . . . . . . . . . . . . . . . o A.2. Mdulo RNA . . . . . . . . . . . . . . . . o A.3. Mdulo Localizador . . . . . . . . . . . . o A.4. Interfaz . . . . . . . . . . . . . . . . . . . A.5. Implementacin de LIRA . . . . . . . . . o A.6. Software de l nea de comandos . . . . . . A.6.1. lira2007 . . . . . . . . . . . . . . . A.6.2. pcnc2007 . . . . . . . . . . . . . . A.6.3. Potencial para la experimentacin o B. Publicaciones Bibliograf a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7779 79 81 81 82 84 85 85 86 87 93 95

xiii

xiv

Indice de guras3.1. 3.2. 3.3. 3.4. 3.5. 4.1. 4.2. 4.3. 4.4. 4.5. 4.6. 5.1. 5.2. 5.3. 5.4. Mquinas de la primera generacin MET. . . . . . a o Sistema automtico de manejo de piezas. . . . . . a Sistema de Visin Tcnica. . . . . . . . . . . . . . o e Esquema de localizacin de una pieza reconocida. . o Diversas piezas utilizadas en el desarrollo del SVT. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 16 17 18 18 23 24 24 25 25 27 30 31 32 34 35 36 36 37 38 39 41 42 43 44 45 45 55 55 56 56 57 57 64 65 65 65 66 66 70 70 71

Ventajas de la ventana circular aplicada a las imgenes. a Las cinco clases en la Base de Datos . . . . . . . . . . . Ejemplos de las ocho clases en la Base de Datos A. . . . Ejemplos de las siete clases de la Base de Datos B. . . . Ejemplos de las siete clases de la Base de Datos D. . . . Esquema del movimiento de la ventana de bsqueda. . . u

Perceptrn de tres capas de Rosenblatt. . . . . . . . . . . . . . . . . o Estructura del clasicador neuronal LIRA. . . . . . . . . . . . . . . . Histogramas de distribucin de entradas en dos construcciones LIRA o Distorsiones para ampliar el conjunto de entrenamiento. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . entrenamiento. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . distintas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.1. Estructura del PCNC. . . . . . . . . . . 6.2. Procesos del extractor de propiedades. . 6.3. Seleccin de puntos espec o cos. . . . . . 6.4. Extraccin de propiedades. . . . . . . . o 6.5. Procesos del codicador. . . . . . . . . . 6.6. Permutacin y su representacin. . . . . o o 6.7. Permutaciones X. . . . . . . . . . . . . . 6.8. Permutaciones Y. . . . . . . . . . . . . . 6.9. Permutaciones XY. . . . . . . . . . . . . 6.10. Permutaciones Q. . . . . . . . . . . . . . 6.11. Clasicador neuronal LIRA dividido. . . 6.12. Distorsiones para ampliar el conjunto de

7.1. Imgenes reconocidas en la BD-A por el clasicador LIRA. . . a 7.2. Imgenes mal reconocidas en la BD-A por el clasicador LIRA. a 7.3. Imgenes reconocidas en la BD-B por el clasicador LIRA. . . a 7.4. Imgenes mal reconocidas en la BD-B por el clasicador LIRA. a 7.5. Imgenes reconocidas en la BD-D por el clasicador LIRA. . . a 7.6. Imgenes mal reconocidas en la BD-D por el clasicador LIRA. a 7.7. Imgenes reconocidas en la BD-A por el PCNC. . . . . . . . . . a 7.8. Imgenes mal reconocidas en la BD-A por el PCNC. . . . . . . a 7.9. Imgenes reconocidas en la BD-B por el PCNC. . . . . . . . . . a 7.10. Imgenes mal reconocidas en la BD-B por el PCNC. . . . . . . a 7.11. Imgenes reconocidas en la BD-D por el PCNC. . . . . . . . . a 7.12. Imgenes mal reconocidas en la BD-D por el PCNC. . . . . . . a 7.13. Localizacin y reconocimiento de piezas. . . . . . . . . . . . . . o 7.14. Localizacin y reconocimiento de piezas con redundancia. . . . o 7.15. Localizacin y reconocimiento de piezas que se tocan. . . . . . o

xv

A.1. A.2. A.3. A.4. A.5. A.6. A.7.

Diagrama a bloques del software OptikRNA. . . . . . . . . . Interfaz grca de usuario (IGU) de Optik. . . . . . . . . . . a Clases principales del mdulo RNA y su relacin de herencia. o o Interfaz grca de usuario del software RNA. . . . . . . . . . a Diagrama a bloques del software OptikRNA. . . . . . . . . . IGU Rna. Localizador de piezas. . . . . . . . . . . . . . . . . Clase neurona y sus clases derivadas. . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

80 81 82 83 83 84 85

xvi

Indice de tablas3.1. Generaciones de microequipo de acuerdo a su escala de reduccin. . . . . . . . . . . . . . . o 4.1. Caracter sticas de las bases de datos utilizadas. . . . . . . . . . . . . . . . . . . . . . . . . . 4.2. Las clases de las bases de datos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1. Experimento preliminar para la sintonizacin de parmetros o a 7.2. Experimento de unicidad con LIRA. . . . . . . . . . . . . . 7.3. Experimento con el parmetro w. . . . . . . . . . . . . . . . a 7.4. Experimento con el parmetro . . . . . . . . . . . . . . . . a 7.5. Experimento con el parmetro N . . . . . . . . . . . . . . . . a 7.6. Experimento con el parmetro p. . . . . . . . . . . . . . . . a 7.7. Experimento con el parmetro n. . . . . . . . . . . . . . . . a 7.8. Experimento con los parmetro p y n. . . . . . . . . . . . . a 7.9. Mejor conjunto de parmetros LIRA. . . . . . . . . . . . . . a 7.10. Experimento con distorsiones con LIRA. . . . . . . . . . . . 7.11. Experimento con diversos ciclos de entrenamiento. . . . . . 7.12. Experimento con conjuntos aleatorios. . . . . . . . . . . . . 7.13. Resultado con los mejores clasicadores LIRA. . . . . . . . 7.14. Experimento preliminar para la sintonizacin de parmetros o a 7.15. Experimento de unicidad con el PCNC. . . . . . . . . . . . 7.16. Experimento con el parmetro w. . . . . . . . . . . . . . . . a 7.17. Experimento con los parmetro p y n. . . . . . . . . . . . . a 7.18. Experimento con el parmetro S. . . . . . . . . . . . . . . . a 7.19. Experimento con el parmetro N . . . . . . . . . . . . . . . . a 7.20. Experimento con el parmetro K. . . . . . . . . . . . . . . . a 7.21. Experimento con el parmetro Dc . . . . . . . . . . . . . . . a 7.22. Experimento con el parmetro q. . . . . . . . . . . . . . . . a 7.23. Mejor conjunto de parmetros PCNC. . . . . . . . . . . . . a 7.24. Experimento con distorsiones con el PCNC. . . . . . . . . . 7.25. Experimento con diversos ciclos de entrenamiento. . . . . . 7.26. Experimento con conjuntos aleatorios PCNC. . . . . . . . . 7.27. Resultado con los mejores clasicadores PCNC. . . . . . . . 7.28. Tiempos empleados por los clasicadores. . . . . . . . . . . 7.29. Comparacin de unicidad entre los clasicadores. . . . . . . o 7.30. Conabilidad de los clasicadores. . . . . . . . . . . . . . . 7.31. Resultados de los clasicadores sobre las bases de datos. . . LIRA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . PCNC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 26 26 48 49 49 50 50 50 50 51 51 52 53 54 54 59 59 59 60 60 61 61 61 62 62 62 63 63 64 67 67 68 68

xvii

xviii

Investigacin y desarrollo de un sistema de visin por computadora o o para aplicaciones en micromaquinado y microensambleTesis doctoral

ResumenGengis Kanhg Toledo Ram rez Facultad de Ingenier - CCADET a Universidad Nacional Autnoma de Mxico o eLa presente tesis trata del desarrollo de un sistema de visin por computadora para reconocimiento y o localizacin de piezas. El objetivo del sistema es reconocer y localizar una determinada pieza aleatoriamente o ubicada en un rea de trabajo para que pueda ser manipulada automticamente. El trabajo contribuye a la a a automatizacin de los procesos de manipulacin y ensamble de una microfbrica. Si bien el sistema surge o o a como una necesidad de la microfbrica, ste puede ser utilizado en cualquier escala de trabajo. a e El sistema desarrollado nace dentro del proyecto de creacin de microfbricas totalmente automticas y o a a autoreproducibles. Proyecto iniciado en el Laboratorio de Micromecnica y Mecatrnica de la Universidad a o Nacional Autnoma de Mxico. Una necesidad fundamental del proyecto es la de lograr buen desempeo y o e n automatizacin de los diversos procesos. Una forma de satisfacer estas necesidades es mediante los mtodos o e de visin por computadora. Para exibilizar al mximo las tareas de micromanipulacin y microensamble o a o es fundamental contar con un sistema automtico de reconocimiento y seleccin de piezas. Es por esta a o razn que las investigaciones presentadas tuvieron como objetivo desarrollar un sistema que resolviese tales o necesidades. El objetivo general de los estudios realizados fue desarrollar un sistema capaz de reconocer y localizar con precisin aceptable una pieza de cierto tipo ubicada en un rea de trabajo para poder ser manipulada. Este o a objetivo general requiere del desarrollo de dos aspectos tcnicos, uno es el reconocimiento de piezas y el e otro es la localizacin de stas. o e El alcance de las investigaciones realizadas ha sido desarrollar un sistema fuera de l nea en fase experimental. Para lograr desarrollar el sistema se estudi la problemtica particular haciendo enfoque especial en las o a tareas cr ticas de clasicacin y localizacin de piezas. Para tales tareas es indispensable la utilizacin de o o o tecnolog y algoritmos de inteligencia articial. Se seleccionaron, adaptaron y aplicaron dos algoritmos as adaptivos basados en redes neuronales y en permutacin de cdigos. En tareas similares estos algorito o mos demostraron un desempeo sobresaliente. Los algoritmos se denominan clasicador neuronal LIRA y n Clasicador Neuronal de Permutacin de Cdigos (PCNC). o o Para el anlisis y pruebas del sistema se crearon tres bases de datos distintas con imgenes de piezas. Se a a utilizaron tornillos de diversas clases, tuercas, arandelas y otras piezas comunes en una l nea de ensamble. Las imgenes han sido tomadas a partir de imgenes originales que contienen diversas piezas localizadas a a aleatoriamente. Las bases de datos se integraron con seis o siete tipos distintos de piezas. Las imgenes a de las bases de datos presentan caracter sticas reales de un ambiente industrial tales como iluminacin no o especial, brillos y sombras, fondo no uniforme y en algunas ocaciones oclusin parcial o amontonamiento. o Dos bases de datos, llamadas A y B, se integraron con imgenes donde slo un tipo de pieza aparecia a la a o vez mientras que la otra, llamada D, se integr con imgenes donde todos los tipos de piezas se encuentran o a revueltas y amontonadas. Se realizaron mltiples experimentos de validacin y prueba de los algoritmos propuestos as como experiu o mentos de carcter prctico. Los porcentajes de reconocimiento alcanzados para las bases de datos A, B y a a D fueron, para el clasicador neuronal LIRA de 93.75 %, 94.14 % y de 90.47 % respectivamente, mientras que para el PCNC fueron de 96.87 %, 97.80 % y de 91.43 % respectivamente. El PCNC requiri el doble de o tiempo para el reconocimiento de una imagen con respecto al clasicador neuronal LIRA. El sistema logr, para ambos clasicadores utilizados, buen desempe o en reconocimiento de piezas. El o n mejor resultado de casi 98 % da buenas perspectivas al sistema desarrollado. El desempeo para la base de n datos D, con la existencia de piezas amontonadas, revueltas y particahnente ocluidas es alentador. En cuanto a la tarea de bsqueda y localizacin el sistema logr proporcionar las coordenadas de la pieza u o o requerida. Sin embargo para mejorar la precisin es necesario emplear ms tiempo de procesamiento lo que o a resta eciencia al sistema propuesto por lo que el mtodo de localizacin y bsqueda debe ser mejorado. e o u El trabajo marca una l nea de investigacin novedosa en visin por computadora aplicada a tareas de o o automatizacin en microensamble y micromaquinado; siendo la automatizacin de tales procesos una etapa o o fundamental para alcanzar la microfbrica totalmente automatizada. a

xix

xx

Research and development of a computer vision system for micro machiney and micro assembly applicationsDoctoral Thesis

AbstractGengis Kanhg Toledo Ram rez Faculty of Engineering - CCADET National Autonomous University of MexicoThe aim of this thesis is the development of a computer vision system for work pieces recognition and position location. The objective of the system is to recognize and to locate one certain work piece randomly located in a work area, so this work piece can be manipulated. The system contributes to the automatization of the machining and the assembly processes within a micro factory. Although the system had born as an automatization requeriment for a microfactory, the system can be used in any work scale. The developed system was born from the project that consists in the creation of fully automated and shelf-reproducing microfactories. This project started at the Micromechanics and Mechatronics Laboratory of the National Autonomous University of Mexico. One fundamental requirement of this project is to achieve performance and automation for its dierent processes. One way to reach such requirements is to use computer vision methods. Computer vision methods allow high exibility in the systems. For micro manipulation and micro assembly tasks, it is necessary to have a recognition and location system for work pieces. Therefore, the detailed researches in this thesis have the objetive of to develop such system allowing that these tasks will be done. The main goal of the researches that were done was to develop one system able to accurately recognize and to locate with acceptable precision one work piece of certain type randomly located in a work area for manipulation. In order to achieve this goal two technical aspects require to be develop, one of them is the recognition of work pieces and the other one is the location of the position of such work pieces. The main reach of the investigations has been to develop an o-line working system in experimental stage. In order to manage the system develop the particular problematic was studied with special approach in the critical tasks. These tasks are the classication and the localization of work pieces. For these tasks it is fundamental to use technologies and algorithms from articial intelligence. Two algorithms were selected, adapted and applied. These algorithms are based in articial neural networks and code permutation paradigms. Both algorithms allowed very good performance in similar tasks. The algorithms are called neural classier LIRA and Permutative Code Neural Classier (PCNC). For the analysis and proves of the system, three dierent databases of images from work pieces were created. The used work pieces were screws of several types, nuts, washers and other common used work pieces found in an assembly line. The images were taken from source images that contain several ramdomly located work pieces. The data bases were made with six or seven types of work pieces. The images of the databases have real characteristics actually found in the industrial enviroment such as no special illumination condition, shines, shades and not uniform background. Two databases, which are called A and B, were made with images that have only one type of work piece at a time whereas the third one, which is called D, was made with images that contains all the types of work pieces turned around and heaped up. For the selected algorithms several experiments for validation and testing were done as well as concrete experiments with practical characteristics. The recognition rates reached for data bases A, B and D were, for the neuronal classier LIRA 93.75 %, 94.14 % and 90.47 % respectively, whereas for the PCNC were 96.87 %, 97.80 % and 91.43 % respectively. The PCNC required double amount of time for image recognition with respect to the neuronal classier LIRA. For both used classiers the system obtained good performance in the recognition task. The best result of almost 98 % gives us good perspective for the developed system. The performance for the data base D, with the existence of heaped up, turned round and partially occluded work pieces is encouraging. About the work pieces location task the system is able to provide the coordinates of the required work piece. Nevertheless to improve its precision it is necessary to use larger processing time which reduces the ecience of the proposed system. Thus, the searching and location method must be improved. This work marks a novel research line on the computer vision problem for automation of microassembly and micromachinery. The automation of such processes means a fundamental stage in order to achieve the fully automatic microfactory.

xxi

xxii

Cap tulo 1

Introduccin oEl auge global por la miniaturizacin de productos y dispositivos gracias al desarrollo de nuevas tecnoo log [13] hace necesario desarrollar objetos, maquinaria y equipo de pequeas dimensiones. Desde 1998 as n el Laboratorio de Micromecnica y Mecatrnica (LMM) del Centro de Ciencias Aplicadas y Desarrollo Teca o nolgico (CCADET) de la UNAM dirigido por el Dr. Ernst Kussul tiene como objetivo crear microfbricas o a de escritorio totalmente automatizadas. El plan global incluye crear generaciones de microfbricas en las a cuales los componentes de cada generacin son producidos por la generacin anterior, siendo cada vez estas o o generaciones, de menores dimensiones. Esta tecnolog es llamada Tecnolog de Microequipo o MET a a (por sus siglas en ingls) [4, 5]. e Una tarea fundamental para lograr los objetivos mencionados es la automatizacin de los procesos de o micromanufactura y microensamble. Mediante la automatizacin de estos procesos se alcanzar eciencia o a y precisin en los microequipos a desarrollar [6, 7], tanto para su manufactura como para su operacin. Los o o sistemas de visin por computadora son indispensables para lograr la automatizacin deseada [812]. o o Entre las tecnolog disponibles de visin por computadora, las que utilizan redes neuronales articiales as o son de especial inters ya que han demostrado capacidad para tratar con los problemas que se presentan, e i.e., reconocimiento automtico de piezas, inspeccin de calidad, deteccin de posicin, entre otros [13]. a o o o Las aplicaciones de visin por computadora para los procesos de ensamble de una microfbrica son divero a sas, la aplicacin que desarrollamos en el presente trabajo tiene que ver con el reconocimiento de piezas o aleatoriamente distribuidas as como la identicacin de sus posiciones. o Dentro de las investigaciones del LMM se han desarrollado un par de clasicadores neuronales. El primero de ellos llamado LIRA o formalmente Clasicador Neuronal LIRA, est basado en una modicacin de la a o red neuronal articial Perceptrn [14]. Este se prob primeramente con xito en la tarea de reconocimiento o o e ptico de caracteres [15], desde entonces tambin ha sido probado con buenos resultados en aplicaciones o e de visin por computadora aplicadas a problemas de micromecnica [16]. El segundo clasicador llamado o a PCNC, o formalmente Clasicador Neuronal de Permutacin de Cdigos, est basado en los principios de o o a redes neuronales de proyeccin asociativa desarrollados desde los aos 80s [17, 18]. Este se ha probado o n tambin en la tarea de reconocimiento ptico de caracteres con excelentes resultados [19]. e o El presente trabajo trata sobre la investigacin en torno a los clasicadores neuronales mencionados o aplicndolos a la tarea de reconocimiento de piezas y de sus posiciones suponindolas en un ambiente a e real de trabajo. La investigacin parte del anlisis del problema a resolver as como de las caracter o a sticas requeridas por un sistema que le de solucin. Analiza el estado del arte de los sistemas de visin por o o computadora enfocndose a la problemtica particular. Describe y analiza ampliamente los dos clasicaa a dores propuestos y describe con detalle las bases de datos utilizadas para la experimentacin con dichos o clasicadores. Se realizan mltiples experimentos y los resultados son presentados y comparados entre s u . Adems un mtodo de localizacin de piezas es presentado y probado. Los resultados obtenidos dan cuenta a e o de la eciencia alcanzada en cada uno de los casos y para cada uno de los clasicadores utilizados.

1.1.

Objetivos generales

Esta tesis est comprendida dentro de diversas l a neas de investigacin del LMM que tienen que ver con la o aplicacin y desarrollo de sistemas de visin por computadora. En lo general estas l o o neas de investigacin o buscan la automatizacin y el aumento de la precisin en el equipo micromecnico usando algoritmos o o a adaptivos basados en visin por computadora. o

1

Cap tulo 1Las metas a largo plazo de estas l neas de investigacin son la investigacin y desarrollo de sistemas de o o control automtico para todos los niveles de una fbrica sobre mesa. Estos sistemas pueden usar redes a a neuronales, algoritmos genticos u otros mtodos de inteligencia articial o control automtico [20]. e e a Las metas a mediano plazo contemplan todas las tareas encaminadas a desarrollar el sistema de manipulacin automtica de piezas, abarcando la investigacin y desarrollo de cada uno de los subsistemas requeridos o a o as como la integracin y funcionamiento en l o nea de todo el sistema. Las lineas de investigacin que enmarcan el trabajo presentado son las siguientes: o Investigacin de redes neuronales y de clasicadores neuronales basados en estas redes para el recoo nocimiento de imgenes. a Investigacin y desarrollo de sistemas de control adaptivo para la automatizacin total de los procesos o o de produccin en micromquinas herramientas. o a Investigacin de los algoritmos de reconocimiento de patrones basados en redes neuronales. o

1.2.

Marco terico o

Uno de los principales retos asociados con el desarrollo de sistemas de control de microfbricas se encuentra a relacionado con la automatizacin apoyada en sistemas de visin por computadora . En este trabajo se o o describen los resultados de la investigacin de un sistema de visin por computadora basado en clasicadores o o neuronales, probado en modo fuera de l nea.

1.2.1.

Justicacin. o

En el LMM se desarrolla microequipo para producir dispositivos micromecnicos. Investigaciones similares a se han hecho en pa ses desarrollados como Japn, Alemania, Suiza y Estados Unidos [1, 5]. La diferencia o en los trabajos del LMM es que en ste laboratorio se usan componentes de bajo costo. Esta diferencia da e la posibilidad de promover los resultados de investigaciones a la industria y lanzar los productos micromecnicos al mercado mas rpido. Sin embargo el uso de componentes de bajo costo implica decremento a a de precisin en el microequipo. Para obtener precisin comparable con el microequipo creado por pa o o ses desarrollados es necesario usar algoritmos adaptivos, incluidos los algoritmos basados en visin por compuo tadora. Los trabajos preliminares hechos en el LMM muestran que el empleo de algoritmos adaptivos dan por resultado un aumento muy grande de precisin. Por ejemplo, un algoritmo adaptivo permiti producir o o en la micromquina-herramienta mexicana desarrollada en el LMM, una echa de latn de 50 micrmetros a o o de dimetro, resultado que ha sido producido con un microtorno japons mucho ms costoso. Los algorita e a mos de visin por computadora mostraron que es posible usarlos en procesos de microensamble [4]. Estas o pruebas preliminares constituyen la base para estudios ms avanzados de algoritmos de control basados en a visin por computadora. Estas investigaciones forman la base de la presente tesis. o La parte esencial de este trabajo es un sistema de visin para manipulacin de piezas en modo automatizado, o o el cual sea capaz de reconocer y localizar un determinado tipo de pieza para su manipulacin en funcin o o a las tareas de procesado que se requieran ejecutar. Para lo anterior se dise un sistema de visin de no o micro piezas probando dos algoritmos, seleccionados entre los existentes, para automatizar el proceso de micromanipulacin y microensamble buscando el mejor desempeo posible. o n

1.2.2.

Metodolog a.

En primer lugar se hizo un anlisis de la literatura relacionada y se detallaron las tareas de investigacin, a o que para esta investigacin han sido las que tienen como meta desarrollar un sistema de identicacin o o y localizacin automtico de piezas de trabajo para su utilizacin en la microfbrica proyectada en el o a o a LMM. Como base terica para este objetivo se han investigado diversos algoritmos adaptivos basados o en redes neuronales y en permutacin de cdigos. Con base en trabajos preliminares con procesos de o o microensamble usando visin por computadora se desarrollaron los algoritmos de control de microensamble o usando un sistema de visin por computadora en modalidad fuera de l o nea (o-line). Hemos decidido el uso de los clasicadores neuronales LIRA y PCNC por los buenos resultados obtenidos en experimentos previos relacionados [16, 19]. Para la implementacin de stos algoritmos se realiz un sistema de cmputo, o e o o que adems de contener todas las caracter a sticas y parmetros que el algoritmo requiere, posee mdulos a o para la experimentacin con diversas bases de datos de piezas. Para la creacin de la base de datos para los o o experimentos se han utilizado piezas de trabajo reales bajo condiciones reales esperadas en una microfbrica. a

2

Introduccin oSe han realizado mltiples experimentos de validacin y prueba de los algoritmos propuestos as como u o experimentos concretos con tareas prcticas. Adicionalmente se ha desarrollado un algoritmo de localizacin a o de piezas que se ha construido en base a los resultados de los experimentos anteriores y a la validacin de o los algoritmos utilizados inicialmente. Los sistemas clasicadores desarrollados y el algoritmo de bsqueda han sido probados mediante mltiples u u experimentos y los resultados obtenidos son mostrados en el cap tulo correspondiente.

1.3.

Objetivo de la tesis

Como objetivo propio de la presente tesis se busc disear un sistema basado en las investigaciones de las o n tecnolog y mtodos existentes as como en las desarrolladas recientemente en el LMM, adaptndolos para as e a que sean utiles a las tareas propias de la clasicacin y localizacin de piezas destinadas al microensamble y o o el micromaquinado. Se logr disear y probar un novedoso sistema de identicacin y localizacin de piezas o n o o para la microfbrica basado en visin por computadora, el cul es eciente y automtico, es un sistema a o a a capaz de reconocer diferentes piezas as como hallar sus posiciones, considerando las caracter sticas reales y diversas en tamao y forma que pueden tener las piezas a manipular. n Para alcanzar los objetivos mencionados fue necesario: Analizar las tareas requeridas. Elegir las tecnolog mas apropiadas (algoritmos genticos, redes neuronales, etc.). as e Desarrollar e implementar el sistema utilizando un lenguaje de cmputo orientado a objetos. o Probar el sistema con piezas de trabajo reales. Investigar, probar y sintonizar los clasicadores seleccionados. Corregir las estructuras y los algoritmos del sistema. Analizar los resultados obtenidos y realizar las correcciones pertinentes.

1.4.

Contribucin de este trabajo o

Este trabajo marca una l nea de investigacin nueva en visin por computadora aplicada a tareas de autoo o matizacin de ensamble y micromaquinado. Diversos sistemas particulares existen para reconocer objetos, o sin embargo el trabajo aqu presentado desarrolla una investigacin aplicada a una tarea espec o ca. El sistema se ha probado con piezas reales con las que podr trabajar y en las condiciones reales de utilizacin. a o El sistema desarrollado ha logrado una eciencia m nima de poco ms del 90 % y una eciencia mxima de a a poco ms del 98 % en identicacin de piezas; adems de una eciencia aceptable en localizacin de piezas. a o a o Una publicacin internacional de prestigio ha merecido este trabajo [21] y otra ms editada en Mxico [22]. o a e Los resultados logrados se han expuesto en diversos congresos tanto internacionales [13] como nacionales [23]. Una nueva publicacin internacional est preparndose. o a a Espec camente, se desarroll un sistema de visin por computadora para el reconocimiento de piezas dirio o gido a una microfbrica. Para el reconocimiento de piezas y de sus posiciones se adaptaron e implementaron a el clasicador neuronal LIRA escala de grises [24] y el Clasicador Neuronal de Permutacin de Cdigos o o [19]. Los sistemas se calibraron y probaron con tres bases de datos formadas con piezas de trabajo bajo condiciones comunes. El primer prototipo de este sistema trabaja fuera de l nea (o-line). Este sistema de visin por computadora es exible, genera un incremento en el nivel de automatizacin de o o los procesos de manipulacin de piezas utilizado en los procesos de micromanufactura y microensamblado. o Recordando la propuesta basada en generaciones sucesivas para el desarrollo de microequipo [25], podemos asegurar que este sistema de identicacin y ubicacin de piezas proporciona una etapa fundamental para o o lograr la automatizacin completa de una microfbrica, permitiendo as avanzar en uno de los objetivos o a primordiales del LMM que es producir micro piezas con buenas caracter sticas de precisin a bajo costo [4]. o Para la investigacin y experimentacin utilizando el Clasicador Neuronal LIRA y el PCNC se ha desarroo o llado software orientado a objetos en C++ estndar, este software asiste el proceso de creacin de bases de a o datos para el entrenamiento y prueba de los clasicadores, implementa los clasicadores mismos, implementa el sistema de localizacin de piezas entre muchas otras funciones secundarias. El software desarrollado o es exible, fcil de utilizar y ha sido diseado con capacidad de ser fcilmente ampliado y mejorado. a n a

3

Cap tulo 1

1.5.

Organizacin del trabajo o

La presente tesis se organiza de la siguiente forma. El Cap tulo 1 da una introduccin sobre el presente o trabajo, enmarcndolo en las l a neas de investigacin a las que pertenece, brindando su marco terico y o o sus objetivos para acabar explicando su contribucin. El Cap o tulo 2 trata de los antecedentes bsicos a en microtecnolog y visin por computadora. Estos antecedentes se enfocan en la relacin que guardan a o o entre s ambos conceptos. Se revisa el estado del arte de la tcnica de visin por computadora respecto e o a los problemas de reconocimiento de objetos y de localizacin de los mismos. El Cap o tulo 3 sita el u sistema desarrollado dentro de las investigaciones que se llevan a cabo dentro del proyecto de microfbricas a del LMM. El Cap tulo 4 describe el sistema de visin tcnica propuesto en este trabajo y presenta los o e algoritmos utilizados as como las bases de datos de imgenes creadas para probar el sistema. El Cap a tulo 5 est dedicado a la estructura, proceso de entrenamiento y discusin del clasicador neuronal LIRA mientras a o que el Cap tulo 6 hace lo propio para el PCNC. El Cap tulo 7 se ocupa de los experimentos realizados con los clasicadores LIRA y PCNC, se justican y describen los experimentos realizados, se muestran los resultados obtenidos y la eciencia de los mtodos investigados. Por ultimo se proporcionan las conclusiones e del presente trabajo resumiendo los resultados obtenidos. En el Apndice se describe el software desarrollado e para realizar esta investigacin y se listan las publicaciones realizadas con base en este trabajo. o

4

Cap tulo 2

Antecedentes y estado del arteEl presente cap tulo se dedica a los antecedentes sobre el trabajo presentado. Se divide en dos partes: Microtecnolog y Visin por computadora. Se dan los antecedentes y conceptos bsicos sobre la microteca o a nolog haciendo nfasis en la micromecnica y en las microfbricas. Se explican diversos problemas de las a e a a microfbricas que pueden resolverse mediante mtodos de visin por computadora. Se orienta la discusin a e o o hacia el problema de reconocimiento de objetos, que es el rea sobre la que trata este trabajo. La segunda a parte se dedica a la visin por computadora en el tema de reconocimiento de piezas (objetos) y sus posicioo nes. El tema se enmarca en el mbito de las microfbricas y se da un repaso breve al estado del arte sobre a a este tema. Se habla tambin del estado del arte para localizacin de objetos enmarcando esta tarea en el e o mbito de una microfbrica. a a

2.1.

Microtecnolog a

La microtecnolog se reere a aquellas tecnolog enfocadas a producir objetos, dispositivos y equipos de a as escala micromtrica. En 1959 el f e sico Richard Feynman advirti por primera vez del enorme potencial de o las tecnolog de escala reducida [26]. as La microelectrnica fue la primera de las microtecnolog en ser desarrollada, se inici en la dcada de o as o e los 60s mediante la integracin de cientos de transistores en una oblea de silicio de pocos cent o metro cuadrados, desde entonces la popularidad de la microelectrnica ha venido en aumento no requiriendo mayor o presentacin. En la dcada de los 80s diversas investigaciones sugirieron la posibilidad de aplicar los mtoo e e dos de la microelectrnica a la fabricacin de dispositivos mecnicos naciendo con esto la micromecnica o o a a [27]. Desde entonces la microtecnolog se ha basado mayoritariamente en los mtodos de produccin de a e o semiconductores, dado que el silicio es el material ms utilizado en la industria electrnica tambin lo ha a o e venido siendo en la micromecnica1 . Nuevas aplicaciones de la microtecnolog han venido desarrollndose a a a tales como las aplicaciones energticas y qu e micas. Muchos campos microtecnolgicos requieren de enfoques o multidisciplinarios por lo que han surgido la micro mecatrnica y los sistemas micro opto-electromecnicos o a (MOEMS, por sus siglas en ingls) [28, 29]. Las aplicaciones energticas, como las celdas de almacenamiento e e de energ sufren calentamientos en el material que el silicio no soporta con eciencia con respecto a otros a, materiales [30]. Igualmente en muchas aplicaciones qu micas el silicio no es el mejor material. Lo anterior ha impulsado la investigacin microtecnolgica con materiales diversos como plsticos, cermicas, cristales o o a a o metales como aluminio y acero inoxidable. Dado lo reciente de estas investigaciones en microtecnolog as, existe la necesidad de utilizar nuevos materiales cuyos usos no estn bien desarrollados con respecto al a silicio. Materiales que requieren otras tecnolog de manufactura inclusive. as

2.1.1.

Aplicaciones de la microtecnolog a

Entre las reas ms importantes de aplicacin de la microtecnolog se encuentran la industria automotriz, a a o a la ingenier mdica, la electrnica, el control del ambiente, la tecnolog aeroespacial, los sistemas de visin, a e o a o la automatizacin industrial y la domtica entre otras menos importantes [31]. El mercado potencial para o o los microproductos fue estimado en ms de 30 mil millones de euros para el ao 2002 [32]. El impacto de la a n1 Dado que se tiene mucho conocimiento tecnolgico sobre este elemento adems de las instalaciones para su o a tratamiento.

5

Cap tulo 2microingenier para el n del siglo XX fue sealado mediante las cotas de participacin en diversas reas a n o a de la ingenier El rea informtica y de telecomunicaciones representar un 37 % del mercado mundial a. a a a de microtecnolog la industria automotriz un 31 %, la industria mdica un 6 % y la de automatizacin as, e o un 2 %. El 24 % restante se repartir entre las ingenier restantes. Para el ao 2004 la mayor parte de a as n las aplicaciones microtecnolgicas reportadas eran sensores siendo destinadas a computadoras o a sistemas o micro electromecnicos (MEMS, por sus siglas en ingls) [30]. El resto de las aplicaciones microtecnolgicas a e o eran microactuadores y en menor cantidad dispositivos ms elaborados de carcter experimental. a a Existen diversas aplicaciones espec cas para cada una de las principales reas de aplicacin de las mia o crotecnolog [27, 33]. Entre las reas de aplicacin destacan las aplicaciones mdicas como los sistemas as a o e de anlisis de aire para respiracin y sangre, componentes para sistemas de catters y endoscpicos, insa o e o trumentos para microcirug microbombas y microvlvulas, componentes para suministracin gradual de a, a o frmacos, transductores ultrasnicos y electrodos para estimulacin nerviosa. Para la industria automotriz a o o destacan las aplicaciones mecatrnicas para los sistemas de inyeccin e ignicin, inyeccin inteligente de o o o o combustible, sistemas de navegacin y gu sintetizadores de voz, seguridad y autodiagnstico, control o a, o de temperatura, presin, distancia, etc. En el campo de las comunicaciones y la informacin destacan las o o aplicaciones de microconectores, equipo de prueba, cabezales para impresoras de inyeccin de tinta, gu o as de ondas electromagnticas, dispositivos de microondas adems de acopladores y multiplexores pticos. e a o

2.1.2.

Sistemas Micro Electromecnicos (MEMS) a

La microtecnolog que ha experimentado ms auge despus de la microelectrnica ha sido la micromecnica. a a e o a Sin embargo sta se ha desarrollado acompaada muchas veces de microelectrnica. Dado lo anterior y a la e n o diversidad de pa participantes en su desarrollo sta se conoce con diversos nombres. A esta tecnolog en ses e a Japn se le conoce como tecnolog de micromquinas (MMT, por sus siglas en ingls), en Europa como o a a e Tecnolog de microsistemas (MST, por sus siglas en ingls) y en los Estados Unidos como Sistemas a e Micro Electromecnicos (MEMS, por sus siglas en ingls). Los trminos anteriores estrictamente signican a e e conceptos similares pero no iguales, esto se debe a las variantes en l neas de investigacin de cada uno de o los pa implicados. Sin embargo el objeto de estudio y aplicacin de todas estas tecnolog es el mismo. ses o as En el futuro los criterios debern generalizarse y una sola denominacin tendr que ser adoptada sobre las a o a otras. En el presente trabajo se ha preferido utilizar MEMS por ser el trmino ms empleado en nuestro e a pa s. El trmino MEMS lo propuso el Profesor R. Howe en 1989 en Estados Unidos [34]. En lo general los MEMS e estn basados en las tecnolog de silicio y los procesos de fabricacin son similares a los de generacin de a as o o circuitos integrados. Las principales ventajas que ofrecen los MEMS son la capacidad de miniaturizacin o de dispositivos existentes (e.g. sensores), el desarrollo de nuevos dispositivos bajo principios f sicos que slo o funcionan en la pequea escala micromtrica (e.g. biochip) y el desarrollo de nuevas herramientas para n e interactuar con los dispositivos MEMS creados (e.g. microscopio de efecto de tnel) [35]. u Los MEMS se producen mayoritariamente con los mtodos de produccin de los semiconductores. Para el e o ao 1997 ms del 99 % de los MEMS comerciales utilizaban la litograf como tecnolog de produccin n a a a o [36]. Por esto solo se permite fabricar piezas de dos dimensiones (2D) con cierto grosor y solo se permite el uso de materiales compatibles con la tecnolog del silicio [4]. a Existen tres ventajas sobresalientes por las que el desarrollo de MEMS es tan demandado [33, 37]. La primera es debida a que las deformaciones por calor en los materiales disminuyen con las dimensiones. La segunda tiene que ver con la reduccin en el material necesario para producir, lo cual se logra principalmente por la o reduccin en el material de desecho. Por sto se pueden utilizar materiales mas caros. La tercera ventaja o e se da en las vibraciones; dado que las amplitudes de las vibraciones se reducen mucho ms a prisa que la a reduccin de las dimensiones del equipo. Esto ultimo es debido a que las fuerzas inerciales se decrementan o por un factor de cuarta potencia respecto a la dimensin, mientras que las fuerzas elsticas lo hacen a slo o a o un factor de potencia dos.

2.1.3.

Microfbricas a

El concepto de microfbrica fue propuesto por el Laboratorio de Ingenier Mecnica de Japn en 1990 [38]. a a a o Las microfbricas tienen su base en el desarrollado de la micromecnica. El objetivo es crear una fbrica a a a funcional de tamao reducido capaz de producir microproductos. Una fbrica con estas caracter n a sticas debe tener un alto grado de automatizacin o contar con interfaces para operarios humanos. La tendencia global o en fbricas, sin embargo, es la reduccin de las operaciones humanas. Las ventajas mas destacables de a o una microfbrica son su alta capacidad de ahorrar espacio y su reducido peso. Adems se busca que una a a microfbrica sea exible para que pueda producir gran diversidad de productos [39]. a

6

Antecedentes y estado del arteUna microfbrica automtica debe tener diversos componentes. Como m a a nimo requiere de mquinas herraa mientas automticas, dispositivos de ensamble automtico, robots para alimentar las mquinas herramiena a a tas, dispositivos o sistemas de inspeccin de calidad, sistemas de eliminacin de desechos, as como sistemas o o de inspeccin y reemplazo de herramental. o La idea de la creacin de microfbricas est apoyada por investigadores de diversos pa [3, 4, 40]. o a a ses Un proyecto especial para el desarrollo de microfbricas basado en herramientas de micromquinas mia a niatura fue iniciado en Japn [40], el Laboratorio de Ingenier Mecnica desarroll una microfbrica sobre o a a o a mesa [7, 41]. Esta microfbrica consiste de mquinas herramienta, tales como un torno, una fresadora, una a a prensa; y mquinas de ensamble como lo son un brazo de transferencia y una mano con dos dedos. Esta a microfbrica portable tiene dimensiones externas de 625490380 mm3 y un peso total de 34 Kg. a En Suiza, se han desarrollado los detalles del control de precisin de movimiento y los principios de microo manipulacin para futuras microfbricas [3]. o a En Ucrania se inici el desarrollo de un microcentro de maquinado [25, 42, 43]. Este desarrollo continua en o Mxico donde se ha construido y caracterizado un microcentro de maquinado con dimensiones de 130160 e 85mm3 . Este centro de maquinado ha permitido manufacturar objetos de materiales diversos como acero y diversos plsticos de entre 50 y 5mm [4]. La propuesta ucraniano-mexicana est basada en la tecnolog a a a de microequipo (MET 2 ). Esta propuesta tiene como base ideolgica el bajo costo comparada con los otros o desarrollos que utilizan componente ultraprecisos que elevan el costo de los equipos considerablemente. La microfbrica mexicana pretende compensar la falta de precisin del equipo de bajo costo mediante a o tcnicas de inteligencia articial. El bajo costo de la MET no slo implica ahorrar recursos, si no que tiene e o por objetivo hacer la tecnolog para microequipo accesible a pa a ses, instituciones o grupos con recursos tecnolgicos y econmicos limitados. o o Uno de los principales retos, comn a todas las microfbricas mencionadas, es el de su total automatizacin. u a o Esto es con el n de lograr produccin masiva y exible a costos reducidos. o Respecto a Estados Unidos, no se encontraron desarrollos importantes en micromquinas ni existen trabajos a similares referenciados en los trabajos consultados. Por lo anterior se piensa que tal desarrollo existe en ese pa de forma secreta, ya que no es posible pensar que la actual potencia mundial no tenga inters en esta s e rea. La alternativa es que toda su apuesta est concentrada en la nanotecnolog a e a.

2.1.4.

Tecnolog de microequipo (MET) a

Ante la necesidad de lograr desarrollos tecnolgicos sin las limitaciones que tiene la tecnolog de MEMS o a varios investigadores han propuesto utilizar tecnolog convencionales adaptndolas a pequeas escalas as a n [6, 33, 36, 4446]. En 1996 el Dr. Ernst Kussul y sus colaboradores desarrollaron las bases de una nueva tecnolog [25]. Propusieron desarrollar micromquinas-herramientas y micropiezas con los mtodos tradia a e cionales agrupndolas en generaciones relacionadas entre s por herencia; esto es, cada generacin ser una a o a celda de manufactura con micromquinas-herramientas, micromanipuladores y dems sistemas necesarios a a que funcionando en forma automtica sern capaces de fabricar las piezas, y despus las mquinas, que a a e a formen la segunda generacin, igual que la anterior, pero de dimensiones ms reducidas; y as sucesivamente o a [42, 43]. A esta propuesta se le ha llamado Tecnolog de Micro Equipo o MET (Micro Equipment Tecnoa logy) [4]. La tecnolog MET requiere de micromquinas herramientas y de dispositivos para microensamble a a que sean capaces de producir las piezas y luego las mquinas de una generacin siguiente. La primera gea o neracin es desarrollada con tecnolog mecnica convencional pero siguiendo un diseo que permita la o a a n subsecuente reduccin de los componentes, es decir un diseo MET. La caracter o n stica principal de dicho diseo es que no se incluyen piezas o partes con detalles relativamente pequeos de modo que el diseo n n n general pueda ser reducido y fabricado sin grandes inconvenientes. Una caracter stica fundamental de la MET es su bajo costo. Con respecto a tecnolog similares que usan mtodos de mecnica convencional, as e a la MET propone reducir considerablemente los costos. Tal reduccin se logra mediante la sustitucin de o o equipo de alta precisin (e.g. interfermetros y codicadores3 ) mediante el uso intensivo de tcnicas de o o e inteligencia articial. Una de estas tcnicas es la visin por computadora, misma que se aborda en este e o trabajo.

2.1.5.

Micromaquinado y microensamble

Dos procesos fundamentales en una microfbrica son el micromaquinado y el microensamble [6, 7]. Estos a procesos son responsables de la generacin de micropiezas y de su posterior ensamble para concretar un o2 Esta 3 Mejor

se explica en la siguiente seccin. o conocidos por su nombre en ingls: encoders. e

7

Cap tulo 2dispositivo o producto. Es por lo anterior que la mayor de los trabajos sobre microfbricas se orientan a a sobre alguno de estos procesos. Ambos procesos mencionados poseen caracter sticas particulares de acuerdo a las dimensiones de la microfbrica. El micromaquinado deber tomar en cuenta las caracter a a sticas y dimensiones de las impurezas del material que se ocupe a medida que las dimensiones de trabajo cambien. El microensamble requerir maa yor precisin en los equipos encargados de la sujecin, manipulacin, alineacin y dems tareas propias de o o o o a este proceso. Las tecnolog de micromanufactura y microensamble requieren automatizar los sistemas de manipulacin as o y de maquinado para que sean capaces de adaptarse a los requerimientos [47]. Un sistema para ensamble ha sido propuesto por Mardanov et al [48]. La estacin de ensamble propuesta tiene mdulos lgicos y rutas o o o de informacin comunes de modo que pueda ser fcilmente integrada en un sistema completo de ensamble. o a

2.1.6.

Reconocimiento de piezas en una microfbrica a

En una microfbrica automtica es imprescindible un sistema automtico de manipulacin de material. a a a o Se busca que este sistema al igual que el conjunto de la microfbrica sea exible. La exibilidad es una a caracter stica requerida de modo que las microfbricas no se dediquen a producir un solo producto, sino a que stas sean capaces de producir una amplia gama de productos o al menos variaciones de un mismo e producto en forma masiva. Esta necesidad lleva a desarrollar un sistema de manipulacin de piezas y o materiales capaz de identicar un determinado tipo de pieza aleatoriamente localizado en alguna supercie de trabajo. Un sistema que sea capaz de identicar cierta pieza requerida y de localizarla de modo que la pieza deseada pueda ser sujetada para su manipulacin. Este problema exige la aplicacin de mtodos de o o e visin por computadora para reconocimiento de objetos. La resolucin de esta tarea es fundamental para o o alcanzar los objetivos sealados para las microfbricas. n a

2.2.

Visin por computadora o

La visin por computadora, tambin llamada visin articial o visin tcnica, es una disciplina cient o e o o e ca y tcnica diversa y en proceso de maduracin, se considera parte de la inteligencia articial. La visin e o o por computadora es una ciencia por que requiere de mltiples herramientas y conocimientos propios de u las ciencias exactas y de las ciencias naturales (matemticas, f a sica, estad stica, neurolog etc.). Es una a, tcnica porque la implementacin de sistemas prcticos requiere desarrollar tcnicas, equipos y dispositivos e o a e que permitan experimentar con las propuestas tericas y alcanzar nes prcticos [49]. o a Por lo general no existe una tcnica o un mtodo particular o genrico para los problemas de visin por e e e o computadora, ms bien son aplicados mltiples conocimientos y tcnicas de diversas reas. Ha sido hasta a u e a los aos 70s que la tecnolog microelectrnica e informtica ha permitido el despegue de este campo a n a o a travs del incremento en la capacidad de cmputo, misma que posibilit el trabajo con imgenes de forma e o o a acelerada y exible. En visin por computadora son escasos los avances genricos y en general existen mltiples soluciones y o e u propuestas para cada grupo de problemas planteados, siendo stas frecuentemente muy particulares a la e tarea en que se aplican. Desde la dcada de los 90s se han dado avances importantes con sistemas con e autoaprendizaje y dedicados a los problemas de visin en 3D. o

2.2.1.

Visin por computadora en microfbricas o a

Dadas las caracter sticas de una microfbrica se requiere que sean aplicadas diversas tcnicas de automaa e tizacin. La automatizacin de sistemas se sirve de diversas disciplinas cient o o cas y tecnolgicas las cuales o se basan mayoritariamente en hardware, algoritmos y mtodos computacionales. La automatizacin puede e o dividirse en blanda y dura4 . La automatizacin dura se reere a las tcnicas de control automtico de tareas o e a espec cas y bien determinadas como es el caso del control numrico, los controladores lgicos programables e o (PLC, por sus siglas en ingls) y los manipuladores bsicos [50]. La automatizacin blanda se reere al uso e a o de mtodos de inteligencia articial (IA) para controlar y automatizar tareas que tienen un cierto grado de e racionalidad o asemejan conductas humanas complejas como es el caso de algoritmos genticos, sistemas e expertos, lgica fuzzy y redes neuronales articiales. o4 No existe consenso en la clasicacin para la automatizacin, sin embargo diversos autores se reeren siempre a o o dos grandes grupos que en buena medida son iguales, estos se denominan adems de blanda/dura, procesal/racional, a simple/compleja y algor tmica/racional.

8

Antecedentes y estado del arteEs por lo anterior que los sistemas de visin por computadora tienen importantes aplicaciones en las o microfbricas. Estas aplicaciones estn relacionadas con los procesos de ensamble, de inspeccin y de mania a o pulacin de piezas. En los procesos de ensamble, las tolerancias en la precisin de los clculos generados por o o a estas tareas son muy cerradas. Es por esto que para realizar la unin de dispositivos o piezas, es necesario o un alto grado de exactitud del sistema. En los procesos de inspeccin se requiere medir el tamao de micro o n piezas maquinadas y evaluar la calidad de sus supercies, detectar el nivel de contaminacin por material o cortado, inspeccionar el estado de las herramientas, determinar las posiciones relativas entre herramientas y materia prima, entre otras tareas. En cuanto a los procesos de manipulacin, se requiere que sean lo ms o a exibles posibles, es decir, que puedan trabajar con una amplia gama de tareas, procesos y piezas, es por ello que el reconocimiento automtico de piezas y de sus posiciones tiene funciones muy importantes. a Existen diversas propuestas para construir los sistemas de visin computacional para los propsitos meno o cionados: [5154]. En los trabajos [16, 55, 56] se propone una alternativa para producir microdispositivos mediante ensamble automtico basado en un sistema de visin por computadora. a o Entre los diversos sistemas automticos necesarios en una microfbrica orientados a los procesos de microa a maquinado y microensamble se requiere un sistema automtico de manipulacin de material y productos. a o Un sistema de este tipo deber tener las siguientes funciones: carga de material a los equipos de microa maquinado, extraccin de las partes maquinadas, identicacin espacial de las piezas requeridas para su o o sujecin, transporte, posicionamiento y liberacin. o o Con el objetivo de contribuir al desarrollo de una microfbrica automtica, en el presente trabajo es dea a sarrollado un sistema de reconocimiento y localizacin de piezas mediante visin por computadora. Este o o trabajo tiene como bases los resultados obtenidos y presentados en diversas publicaciones [13, 21]. Dicho sistema pensado para ser parte de una microfbrica es presentado en el Cap a tulo 3.

2.2.2.

Reconocimiento de objetos

El problema del reconocimiento de objetos as como diversos mtodos para su solucin han sido presentados e o en [8, 9]. Existen muchos mtodos y propuestas para resolver el problema del reconocimiento de objetos e [11, 12, 54, 5761]. A menudo la primera etapa de estos mtodos es la extraccin de ciertas caracter e o sticas. Una de estas caracter sticas ampliamente utilizada son los contornos de la imagen que incluye el objeto que se desea reconocer.

2.2.3.

Estado del arte

En la presente seccin se resume el estado del arte de la visin por computadora aplicada a reconocimiento de o o objetos. Diversas etapas son utilizadas para resolver estas tareas. En primer lugar se explica el preprocesamiento de imgenes que es por lo general la primera etapa utilizada en reconocimiento. Despus se describen a e y discuten brevemente seis mtodos reportados frecuentemente en la literatura sobre reconocimiento de obe jetos de dos dimensiones. Los mtodos presentados son: semejanza de patrones (pattern matching), anlisis e a de componentes principales (principal components analisys), semejanza grca (graph matching), transfora mada Hough generalizada (generalised Houg transformation) [60], tcnica de supercuadrticos y tcnica con e a e redes neuronales. Los primeros cuatro requieren de una etapa de preprocesamiento en que se aplique algn u algoritmo de extraccin de contornos. Estos seis mtodos pueden tener o no diversas variantes. En especial o e la tcnica de redes neuronales es muy utilizada en reconocimiento de imgenes por lo que gran cantidad e a de investigaciones han sido realizadas con estas, siendo ms apropiado hablar de tcnicas basadas en redes a e neuronales debido a la diversidad existente. Al nal de la seccin se menciona la extraccin de propiedades, o o que es una etapa comnmente utilizada por mtodos basados en redes neuronales y otros mtodos similares. u e e

2.2.3.1.

Preprocesamiento de imgenes a

Las etapas de preprocesamiento son ampliamente utilizadas para la preparacin de las imgenes destinadas o a a reconocimiento de objetos. Diversas tcnicas de preprocesamiento son utilizadas segn la tcnica espec e u e ca a utilizar sobre ellas. Las tcnicas ms ampliamente utilizadas son: deteccin de bordes, segmentacin de e a o o partes, extraccin de propiedades y clculo de parmetros geomtricos. La etapa de preprocesamiento puede o a a e tomar un gran porcentaje de los recursos de cmputo y de tiempo con respecto al total de lo necesario para o toda la etapa de reconocimiento.

9

Cap tulo 2 2.2.3.2. Mtodo de semejanza de patrones e

La diferencia de cuadrados entre una imagen I y una imagen plantilla T es sumada respecto a sus p xeles: r(x, y) = XXiT jT

(I(x + i, y + j) T (i, j))2

(2.1)

Si la suma resultante es mayor que un cierto umbral obtenido experimentalmente, el objeto plantilla es encontrado en I [62]. Este mtodo consume bastante memoria y tiempo de procesador adems que no es e a capaz de trabajar adecuadamente con cambios de brillo o escalamiento de las imgenes. a

2.2.3.3.

Mtodo de anlisis de componentes principales e a

Este mtodo es una tcnica basada en correlacin. Esta tcnica tiene dos faces, una de aprendizaje y otra e e o e de aplicacin. La imagen se almacena en un vector, para reducir el tiempo de cmputo este vector se o o transforma en otro de dimensin ms pequea mediante una transformacin vectorial T . Este vector de o a n o transformacin se escoge de tal manera que maximice la variacin de las transformaciones de los vectores o o de imagen. En la etapa de aplicacin, la imagen a ser procesada es transformada con el vector T y luego se o busca la correlacin con las imgenes de la base de datos [10]. Este mtodo posee estabilidad en la deteccin o a e o y es capaz de realizar ciertas correcciones, sin embargo funciona slo si el objeto puede ser diferenciado o claramente respecto al fondo de la imagen.

2.2.3.4.

Mtodo de semejanza grca e a

Este mtodo funciona sobre un modelo del contorno de un objeto en una imagen [60, 63]. La idea es analizar e segmentos de recta ortogonales que crucen ciertos puntos del contorno del objeto a reconocer. La bsqueda u de caracter sticas de la imagen se hace sobre de estas l neas. Las caracter sticas similares son utilizadas para comparar un modelo con una imagen dada para el reconocimiento de objetos. Cualquier caracter stica puede ser implementada con este mtodo (e.g. color, brillo, textura o contraste). Este mtodo requiere bastante e e memoria, sin embargo el tiempo de cmputo es reducido. Con condiciones espec o cas este mtodo puede e trabajar con imgenes de objetos parcialmente ocultas, ampliadas, reducidas o giradas. Este mtodo no a e funciona con imgenes que contengan varios objetos adems de que el reconocimiento de objetos pequeos a a n se torna complicado.

2.2.3.5.

Transformacin Hough generalizada o

En este mtodo los contornos son aproximados mediante un conjunto de puntos tomados del contorno e del objeto en la imagen [64]. Cada punto sobre el contorno del objeto se describe en trminos de un e punto de referencia ubicado dentro del contorno. La imagen de contorno para este mtodo puede ser e obtenida aplicando un ltro Laplaciano de Gauss. Con este mtodo pueden reconocerse imgenes de objetos e a parcialmente ocultos, con diversa escala o girados. Este mtodo no consume demasiada memoria sin embargo e el tiempo de cmputo requerido es elevado, adems no funciona con objetos pequeos en las imgenes. o a n a

2.2.3.6.

Tcnica de supercuadrticos e a

La tcnica de supercuadrticos es utilizada para el reconocimiento de objetos y para modelado [11]. Los e a supercuadrticos consisten en una familia de guras descritas paramtricamente, que para el caso de dos a e dimensiones (2D) estn denidas como: a a1 cos X() = (2.2) a2 sin donde X es un vector 2D que describe el contorno de la imagen de un objeto; es el ngulo de orientacin; a o es el parmetro de la gura; a1 y a2 son parmetros de tamao [12]. Esta funcin describe un amplio a a n o grupo de guras geomtricas tales como c e rculos, rectngulos y rombos adems de guras ms complejas a a a como elipses. Mediante la combinacin de estas guras bsicas la tcnica de supercuadrticos puede usarse o a e a para modelar un sinnmero de objetos ms complejos. Los supercuadrticos son utilizados tambin en u a a e reconocimiento tridimensional (3D) [53]. Los supercuadrticos son invariables ante variaciones de tamao a n y orientacin de los objetos. La tcnica de supercuadrticos sin embargo tiene diversos problemas para o e a reconocer objetos de geometr compleja como el caso de objetos o seres naturales u objetos mecnicos con a a muchas aristas.

10

Antecedentes y estado del arte 2.2.3.7. Mtodo de redes neuronales e

Para el reconocimiento de objetos el mtodo de redes neuronales es utilizado [15, 54, 55, 57, 65]. Algunas e caracter sticas muy utiles de las redes neuronales son su capacidad de aprendizaje adaptivo, exibilidad y capacidad para reconocimiento en tiempo real. Existen algunos trabajos de reconocimiento de objetos aplicando como tcnica bsica las redes neuronales [13, 54, 57]. Por ejemplo, para la tarea de reconocimiento e a de objetos circulares del tipo MEMS, los autores Radjenovic y Detter utilizan las imgenes de los objetos a generadas por una etapa de preprocesamiento como entradas para un clasicador neuronal. El mejor porcentaje de reconocimiento obtenido por ellos fue 97.7 % para tres clases de objetos. El tiempo de la etapa de preprocesamiento fue de 1.2 s y de 0.4 s para la etapa de reconocimiento. Los autores Mitzias y Mertzios [57] utilizan en su trabajo un clasicador multineuronal, ste consiste en tres redes neuronales trabajando e en paralelo. Una etapa distinta de preprocesamiento es utilizada para cada una de stas redes, as que cada e clasicador trabaja con diferentes caracter sticas de la imagen a ser procesada tales como brillo, textura o contornos. Para probar el mtodo utilizan nueve objetos delgados e irregulares, todos con un agujero al e centro. Este mtodo requiere demasiados recursos de cmputo para lograr reconocimiento en tiempo real. e o

2.2.3.8.

Extraccin de propiedades o

Diversos mtodos utilizan una etapa de extraccin de propiedades sobre los objetos que se desean reconocer. e o Esta etapa consiste en la extraccin de propiedades predenidas en las imgenes de los objetos o en las o a imgenes preprocesadas, como en el caso de imgenes de contornos. Las propiedades a extraer pueden ser a a de naturaleza geomtrica, de textura, de color u otra [57]. Las propiedades ms largamente empleadas e a en la literatura son las geomtricas que incluyen momentos, descriptores de Fourier, anlisis sintcticos y e a a aproximacin de pol o gonos [66].

2.2.4.

Reconocimiento de posicin o

Un sistema ideal de manipulacin de piezas debe identicar una pieza determinada en una posicin no o o predenida dentro de una cierta rea de trabajo. El sistema debe resolver la posicin de la pieza en sus seis a o variables, tres coordenadas lineales (x,y y z) y tres coordenadas angulares (wx ,wy ,wz ). Algunas publicaciones dan cuenta de los esfuerzos en la solucin de esta tarea ya sea parcial o completamente [57, 65, 67]. A o continuacin se resumen los mtodos de localizacin de objetos ms reportados en la literatura. Entendemos o e o a por localizacin de piezas a la determinacin de la localizacin espacial de un objeto dado dentro de un o o o rea de trabajo utilizando mtodos de visin por computadora. a e o

2.2.4.1.

Mtodos basados en redes neuronales e

Un grupo de mtodos para la localizacin de objetos utiliza redes neuronales articiales. El principio general e o en el que se basan estos mtodos se resume a continuacin. Se utiliza una red neuronal para la posicin e o o de cada eje coordenado en que se desea ubicar un objeto. El caso general es emplear dos redes neuronales para utilizarlas sobre un plano (caso de 2D). Cada red neuronal es entrenada en intervalos jos sobre el plano para cada posicin del objeto a localizar. De esta manera el objeto podr ubicarse en cualquier o a sector del plano y ser reconocido mediante sus coordenadas con una aproximacin similar al tamao del o n intervalo utilizado. La precisin de este mtodo depende del intervalo o los intervalos escogidos as como o e de la arquitectura de la red neuronal particular que se utilice. Este mtodo es eciente para aproximar la e posicin pero para obtener buena precisin requiere aumentar la disponibilidad de recursos, es decir, reducir o o el intervalo de entrenamiento aumenta el nmero de stos por lo que los recursos de computo necesarios u e (memoria y hardware) aumentan as como el tiempo necesario para su procesamiento. Dos trabajos que hacen uso de este principio son [16, 65]. Existe un inconveniente para este principio de localizacin de objetos en aplicaciones para micromaquinado y o microensamble. El sistema debe ser entrenado con cada objeto en una gran cantidad de posiciones distintas. Lo que hace que la tarea de entrenamiento sea sumamente demandante en recursos, sobre todo en tiempo. Esto resta exibilidad al sistema cada vez que una nueva pieza de trabajo necesite ser reconocida por el sistema.

2.2.4.2.

Mtodos basados en seguimiento de movimiento e

Otro mtodo de localizacin de objetos mediante visin por computadora es reportado en [67]. Este mtodo e o o e trabaja con objetos en movimiento en tiempo real. El mtodo puede trabajar con objetos en 3D y parciale mente ocultos. Este mtodo requiere de dos cmaras (estreo-visin) y para cada objeto a localizar de un e a e o

11

Cap tulo 2premodelado CAD de ste y de una gran cantidad de memoria para almacenamiento de sus imgenes de e a perspectivas generadas. Este mtodo requiere objetos en movimiento no quedando clara su ecacia con objetos en reposo en la e literatura. Adems los recursos requeridos en memoria de cmputo son demasiado elevados. a o

2.2.4.3.

Tcnicas de segmentacin de imagen e o

Una tcnica para localizar un objeto dentro de una imagen tiene relacin con extraer el contorno de sta e o e y aplicar algoritmos de separacin mediante seguimiento de los contornos. Con esto se consigue partir una o imagen que contenga varios objetos en varias subimgenes. Con sto se puede reconocer el objeto en un a e segmento determinado y aproximar as su posicin dentro de la imagen original. o

2.2.4.4.

Reconocimiento de posicin de piezas en una microfbrica o a

Un sistema de localizacin de piezas debe ser congruente con los principios de exibilidad de una mio crofbrica.