Sofw de Identificación

Tema 4: Soft Computing en Identificación Forense

Master en Soft Computing y Sistemas InteligentesCurso: Soft Computing y Visión por Ordenador

Parte I: Registrado de Imágenes mediante Computación Evolutiva

Universidad de Granada

Oscar Cordón García

Soft Computing y Visión por OrdenadorParte I: Registrado de Imágenes mediante Computación Evolutiva Oscar Cordón García2/67

Contenidos

1. Identificación Forense por Supraproyección Fotográfica

2. Registrado de Imágenes

3. Registrado de Imágenes, Incertidumbre e Identificación Forense = Soft Computing

4. Primera Etapa: Reconstrucción 3D de Cráneos con Algoritmos Evolutivos

5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica Fuzzy

6. Conclusiones


La identificación de personas vivas o fallecidas es uno delos aspectos esenciales de la medicina forense

Tarea previa para seleccionar la muestra

1. Identificación Forense por Supraproyección FotográficaIntroducción a la Identificación Forense

IDENTIFICACIÓNBASADA EN ELESQUELETO

(antropología forense)

Si se dispone de información suficiente se pueden aplicar otrastécnicas de identificación: huellas digitales, autopsias, ADN, …

En caso contrario



3. RI, Incertidumbre e Identificación Forense = Soft Computing

4. Primera Etapa: Reconstrucción 3D de cráneos

5. Segunda etapa: Superposición craneofacial

6. Conclusiones

CONTENIDO


1. Identificación Forense por Supraproyección FotográficaIntroducción a la Identificación Forense


1. Identificación Forense por Supraproyección FotográficaFundamento

La supraproyección fotográfica es una técnica de identificaciónforense basada en la comparación de un “modelo” del cráneoencontrado y una foto de una persona desaparecida

Proyectando uno sobre otro(superposición craneofacial), elantropólogo forense puededeterminar si pertenecen a lamisma persona






6. Conclusiones

CONTENIDO


1. Identificación Forense por Supraproyección Fotográfica Landmarks de Cráneo y Cara

Puntos craneométricos Puntos cefalométricos






6. Conclusiones

CONTENIDO


1. Identificación Forense por Supraproyección Fotográfica Emparejamiento de Landmarks

Correlación entre los puntos






6. Conclusiones

CONTENIDO


?

?

?

2. Superposicióncraneofacial

manual

3. Identificación: positiva, negativa, positiva muy probable, positiva poco probable, indeterminada.

1. Identificación Forense por Supraproyección FotográficaMetodología

1. Obtención de lafoto y el modelo

del cráneo






6. Conclusiones

CONTENIDO


1. Identificación Forense por Supraproyección FotográficaHistoria y Visión Crítica

Surge en 1880. Se usa en el siglo XIX para identificar los restos deDante. Recientemente, en el desastre del tsunami del Índico

En las primeras identificaciones se empleaban fotos: negativos decráneo y cara, y revelado del positivo de su superposición manual.Boom en los últimos años por las técnicas de imagen digital

No existe un método sistemático, cada forense aplica el suyopropio, adaptándose al material disponible

Críticas: Por si misma, es una técnica muy sólida pero:En ningún momento se han establecido los criterios metodológicosbásicos que le otorguen una fiabilidad concretaEn causas delictivas, por el momento, será usada como pruebaexcluyente y nunca como inculpatoria






6. Conclusiones

CONTENIDO


1. Identificación Forense por Supraproyección FotográficaEjemplo de un Caso Real






6. Conclusiones

CONTENIDO


2. Registrado de ImágenesDefinición

Registrado de imágenes (RI): tarea encargada de hacercoincidir/superponer dos imágenes similares en un mismosistema de coordenadas

¿ PROBLEMA ?

Imágenes en sistemas decoordenadas diferentes

Relación de correspondenciadesconocida






6. Conclusiones

CONTENIDO


Planificación de intervenciones quirúrgicas

Integración de imágenes: multimodalidad, 2D/3D, etc.

2. Registrado de ImágenesAplicaciones (I)






6. Conclusiones

CONTENIDO


Teledetección: mosaicos para cartografía

2. Registrado de ImágenesAplicaciones (II)

Reconstrucción de piezas: en industria, arqueología,antropología forense, etc.






6. Conclusiones

CONTENIDO


2. Registrado de ImágenesFormulación

Imágenes escena (Ie ⊂ R2/R3) y modelo (Im ⊂ R2/R3)

Transformación (f: R2/R3 R2/R3)

Métrica de similitud (F)

Optimizador (búsqueda de f óptima)

Componentes de un sistema de RI:

Registrado de imágenes (RI): tarea encargada de hacercoincidir/superponer dos imágenes similares en un mismosistema de coordenadas






6. Conclusiones

CONTENIDO


2. Registrado de ImágenesFormulación y Esquemas de Resolución

Algoritmos de resolución:

• Exactos: encuentran la solución óptima (NP-duros)

• Aproximados: consiguen soluciones próximas a la óptima entiempo aceptable

La formulación del problema es análoga a la de otros deoptimización en los que se precisa la selección de laconfiguración más apropiada de un conjunto de opciones

Métodos de RI clásicos atrapados en óptimos locales

Los AEs abordan este problema con gran éxito






6. Conclusiones

CONTENIDO


2. Registrado de ImágenesEsquema Genérico de Resolución

Rotación = {5°, 25°, 0°} Traslación = {2, 0, 1}

f ’

f ´ ≅ f * Evaluar f’

Búsqueda de los mejores parámetros de f(Método de optimización)

Cálculo del punto delmodelo más próximo acada punto de la escena






6. Conclusiones

CONTENIDO


El Registrado de Imágenes de Rango (RIR) es el empleadopara obtener modelos 3D de objetos reales mediante el usode escáneres de rango

2. Registrado de ImágenesReconstrucción de modelos 3D a partir de Vistas Parciales

Camera

Laser

(x,y)

Objeto

Fundamento






6. Conclusiones

CONTENIDO


Escaneo de múltiplesvistas del objeto

Registrado de imágenesde rango

2. Registrado de ImágenesReconstrucción de modelos 3D a partir de Vistas Parciales

Refinamiento

Modelo 3D






6. Conclusiones

CONTENIDO


3. RI, Incertidumbre e Identificación Forense = Soft ComputingRegistrado de Imágenes y Supraproyección Fotográfica

Existen distintas tareas en antropología forense que requieren dela obtención de modelos 3D de objetos forenses (cráneos, huesos,cadáveres, …) capturados mediante escáneres de rango 3D

En los laboratorios forenses más avanzados se usan modelos 3Ddel cráneo para la identificación por supraproyección fotográfica






6. Conclusiones

CONTENIDO


?

?

?

2. Superposicióncraneofacial

manual

3. Identificación: positiva, negativa, positiva muy probable, positiva poco probable, indeterminada.

3. RI, Incertidumbre e Identificación Forense = Soft ComputingRegistrado de Imágenes y Supraproyección Fotográfica

1. Obtención de lafoto y el modelo

del cráneo

Registrado2D-3D

Reconstruccióndel modelo3D (RIR)






6. Conclusiones

CONTENIDO


3. RI, Incertidumbre e Identificación Forense = Soft ComputingImagen Digital y Supraproyección Fotográfica

Escánerde rango

Torno

Reconstrucción 3D del cráneo (RIR de las vistas)

Vistas 3D parciales1. Identificación Forense por Supraproyección Fotográfica





6. Conclusiones

CONTENIDO



Superposición craneofacial (manual)






6. Conclusiones

CONTENIDO



Caso real de superposición craneofacial (manual)






6. Conclusiones

CONTENIDO


3. RI, Incertidumbre e Identificación Forense = Soft ComputingProblemática

Ausencia de un método sistemático

El antropólogo forense no suele tener muchas habilidadespara la calibración del escáner ni para establecer lacorrespondencia de las diferentes vistas del cráneo

El software del escáner sólo estima correctamente laalineación si se usa el torno

El proceso manual de superposición craneofacial es muycostoso en tiempo

Existe incertidumbre en el emparejamiento de landmarksen la superposición, y en la decisión de la identificación¡OPORTUNIDAD PARA EL SOFT COMPUTING!

Necesidad de técnicas automáticas que trabajencorrectamente con información incompleta

Clara situación de emparejamiento parcial: los landmarksse sitúan en posiciones distintas en el cráneo y la cara,algunos no tienen correspondencia, …

Incertidumbre y grados de confianza en el resultado de laidentificación






6. Conclusiones

CONTENIDO


Diseño de una herramienta específica para automatizar elproceso de identificación forense por supraproyecciónfotográfica:

1. Diseño de métodos automáticos de RIR paraobtener modelos 3D de cráneos en cualquiercondición (con AEs)

2. Diseño de métodos de registrado 2D/3D para lasuperposición craneofacial (con AEs y lógica fuzzy)

3. Diseño de sistemas de ayuda a la decisión (conlógica fuzzy)

• Proyecto Plan Nacional I+D+I MEC (2006-09) y Proyecto deExcelencia de la Junta de Andalucía (2007-10)

3. RI, Incertidumbre e Identificación Forense = Soft ComputingProyecto de Automatización de la Supraproyección Fotográfica






6. Conclusiones

CONTENIDO


Preprocesamiento

Superposición craneofacial (AE y LF)

Identificación (LF)

Escaneo de las vistas

Modelo 3D ¿Torno?

Modelo 3D (AE)

Sí No

Identificación landmarks cara y cráneo

Validación forense de landmarks

Validación forense de superposición

Validación forense

Organigrama del proceso completo






6. Conclusiones

CONTENIDO


4. Primera Etapa: Reconstrucción 3D de Cráneos con AEsProblemática, Requisitos y Herramientas

Escenarios de alta complejidad:Vistas cada 45º (8 vistas cráneo completo): solapamientoreducido entre las vistas adyacentes (alta oclusión)SimetríasGran cantidad de datos (unos 100,000 puntos por vista)Habitual escaneo erróneo de las vistas del cráneo por elantropólogo forense, incluso con torno y, sobre todo, sin él

Se requiere un método automático de RIR que manejeestos escenarios y obtenga modelos 3D con precisión demilímetros en un tiempo razonable

La flexibilidad de los algoritmos evolutivos (AEs), susbuenos resultados en RI y nuestra experiencia previa ensu uso para RI médicas nos hicieron emplear esta técnica






6. Conclusiones

CONTENIDO


RIR basado en ICP: Necesita de torno y poca desalineaciónpara conseguir resultados de calidad. De lo contrario:

ICP atrapado en óptimos locales

ICP

4. Primera Etapa: Reconstrucción 3D de Cráneos con AEsJustificación de la Metodología Considerada

SOLUCIÓN: método de RIR en dos etapas

AE






6. Conclusiones

CONTENIDO


• Representación: Vector de parámetros con codificaciónreal, transformación rígida:

α Axisx Axisy Axisz tx ty tz

• Función objetivo: Error cuadrático mediano

Uso del EC mediano en lugar de medio debidoal bajo solapamiento existente entre las vistas

4. Primera Etapa: Reconstrucción 3D de Cráneos con AEsPropuesta basada en Scatter Search e ICP

• Uso de GCP: estructura de indexación espacial paraacelerar el cálculo del punto más próximo






6. Conclusiones

CONTENIDO


• Generador de Diversidad:uso de una aleatorización controlada según una memoria de frecuencias

• Mejora: búsqueda local estocástica y adaptativa de Solis&Wets


Scatter Search: AE que potencia la combinación de un conjuntoreducido (RefSet) de soluciones «elite» de gran calidad1. Identificación Forense

por Supraproyección Fotográfica





6. Conclusiones

CONTENIDO


• Generación de Subconjuntos:todas las parejas posibles de soluciones de RefSet

• Combinación: BLX-α

• Actualización de RefSet:reemplazo estático según calidad de la solución







6. Conclusiones

CONTENIDO


• RIR de cinco vistas de un cráneo obtenidas con el escánerdel Laboratorio de Antropología de la Universidad deGranada (Konica-Minolta© 3D Lasserscanner VI-910 ):

• RIR automático: Sin procesamiento de la imagen

0º 45º 90º- 45º

109.936 76.794 68.751 91.590 104.441

Muestreo aleatorio del 15% de puntos de las imágenes (≈ 12.000 – 15.000 puntos por imagen)

4. Primera Etapa: Reconstrucción 3D de Cráneos con AEsExperimentación






6. Conclusiones

CONTENIDO


0º 45º 90º- 45º- 90º

986 1.322 1.3631.181

• RIR semiautomático: suavizado de la imagen yextracción de líneas de cresta

Procesamiento de la imagen laborioso y dependiente de la experiencia del experto







6. Conclusiones

CONTENIDO

1.380



Problemas de RIR: Aplicamos cuatro transformacionesdistintas al registrado de cada par de vistas, simulando laausencia del torno

Criterio de parada:Tiempo: 20 seg. para RIR semiautomático y 100 seg. para RIRautomático

Ejecuciones: 15, con inicializaciones aleatorias que simulanescaneos erróneos realizados por el forense

Validación del RIR: ECM entre registrado estimado yregistrado óptimo obtenido con tabla de giro






6. Conclusiones

CONTENIDO


• Resultados experimentales

RIR semiautomático







6. Conclusiones

CONTENIDO


• Análisis de resultados

RIR semiautomático (20 seg.) RIR automático (100 seg.)







6. Conclusiones

CONTENIDO


4. Primera Etapa: Reconstrucción 3D de Cráneos con AEsExperimentación con Otros Cráneos

ReconstrucciónVistas 3D: entrada1. Identificación Forense por Supraproyección Fotográfica





6. Conclusiones

CONTENIDO


4. Primera Etapa: Reconstrucción 3D de Cráneos con AEsTrabajos en Curso

Aumentar la robustez y reducir el tiempo de ejecución:

Estudio de nuevos algoritmos meméticos para la prealineación(CHC, DE y SS combinados con varias búsquedas locales yvarios esquemas de integración) → ¡HECHO!

Eliminación del método de refinamiento (ICP), incluyendo unaetapa en el propio AE con una medida específica de error

Automatizar el proceso en un mayor grado:

Estudio de nuevos métodos de extracción de puntos, basadosen medidas de profundidad, que no requieran la intervencióndel usuario (antropólogo forense) → ¡HECHO!






6. Conclusiones

CONTENIDO


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyProblemática, Requisitos y Herramientas

De nuevo, alta complejidad:Las fotografías disponibles, proporcionadas por los familiares, nosiempre son de buena calidadLa pose no es la ideal (individual, de frente, tipo DNI), lo queprovoca oclusiones de landmarks y complica la superposición

La resolución por un proceso manual de prueba y error es muycostosa en tiempo y muy molesta para el forense

Hay una incertidumbre intrínseca en el emparejamiento de loslandmarks debido a la ausencia de carne

Se requiere un método automático de superposición craneofacial(RI 2D-3D) de una alta precisión en tiempo razonable

Nos basaremos en la flexibilidad de los AEs para RI y de lalógica fuzzy para el manejo de emparejamientos parciales






6. Conclusiones

CONTENIDO


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyMetodología Considerada






6. Conclusiones

CONTENIDO

Rotación = {60°,(0,1,0)} Traslación = {2, 0, 1}…

f ’

f ´ ≅ f * Evaluación f ’

Medir la distanciaentre cada par de

puntos de referencia

Búsqueda de la mejor superposición(Red Neuronal, Algoritmo Evolutivo)

Error de Registrado


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyMétodos Existentes

Ghosh y Sinha (Forensic Science International 117 (2001))propusieron un método basado en dos redes neuronales y enemparejamientos fuzzy de los landmarks

Presenta muchos problemas, que provocan que no sea útil enaplicaciones reales:

Las redes se entrenan por separado y cada una superponeuna parte distinta del cráneo (parte superior y frontal), conlo que interfieren una con la otraLa parte superior nunca se superpone correctamenteEs muy lentoSólo funciona con fotos frontales






6. Conclusiones

CONTENIDO



Nickerson et al. (Forensic Science International 36 (1991))presentan un método basado en algoritmos genéticos (AGs),muy antiguo pero pionero y bien desarrollado

AG binario para aprender los parámetros de una transformaciónde similitud (traslación 3D, rotación 3D y escalado) y deproyección de perspectiva 3D-2D

Usa sólo cuatro landmarks para determinar la superposición:sistema de ecuaciones indeterminado con ocho ecuaciones ydoce incógnitas (parámetros de la transformación)

Función de fitness: Suma de las distancias entre los landmarksde la cara y las proyecciones de los del cráneo

No consigue buenos resultados en problemas reales






6. Conclusiones

CONTENIDO



Landmarks considerados:1. Identificación Forense






6. Conclusiones

CONTENIDO


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyNueva Propuesta

Extensión de la de Nickerson:

Mejora de la transformación de registrado: traslación, rotación,

escalado y proyección. Doce parámetros

Esquema de codificación real, mejor adaptado al RI

AEs más avanzados: AG elitista con codificación real, torneobinario, cruces BLX-α y SBX, y mutación aleatoria. CMA-ES

Uso de un número variable de landmarks, dependiendo de lascondiciones de la foto y el cráneo

Función de fitness: Suma del cuadrado de las distancias entrelos landmarks de la cara y las proyecciones de los del cráneo






6. Conclusiones

CONTENIDO


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyExperimentación

Caso real resuelto por el Lab. de Antropología Física de la UGRcon los Cuerpos de Seguridad del Estado (pose no totalmentefrontal, con landmarks ocultos):

AGCR-BLX-α. Parámetros:Criterio de parada: 300 generaciones300 cromosomas, torneo binario, Pc= 0.9, Pm=0.2, BLX-α=0.730 ejecuciones independientes

SieteLandmarks






6. Conclusiones

CONTENIDO



Sólo se dispone de una foto familiar, en la que el sujeto sesitúa en una esquina:






6. Conclusiones

CONTENIDO



Buena aproximación inicial aunque no válida parasolucionar el problema

Resultados preliminares:

Superposición AGCR Superposición AGBin1. Identificación Forense






6. Conclusiones

CONTENIDO



Una ejecución tarda 2.25 segundos, contra las más de 24horas que necesitó el forense para hacerlo manualmente

Hablando con los forenses, nos comentaron que sólousaron seis landmarks, aunque nos dieron siete…

Superposición AGCR






6. Conclusiones

CONTENIDO



Superposición AGCR

Comparativa solución manual - automática

Superposición manual1. Identificación Forense






6. Conclusiones

CONTENIDO


Uso de nuevas funciones de fitness para mejorar la precisión:

Función 1 (ECM): Media del cuadrado de las distancias entre loslandmarks de la cara y las proyecciones de los del cráneo

Función 2 (MinMax): Minimización de la máxima distancia entre unlandmark de la cara y su proyección en el cráneo

Función 3 (Media): Media de las dos anteriores

Parámetros:Criterio de parada: 300 generaciones300 cromosomas, torneo binario, Pc= 0.9, Pm=0.2Parámetro de control del cruce BLX-α= {0.1,0.3,0.5,0.7,0.9}30 ejecuciones independientes

5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyExperimentación (II): Nuevas funciones de fitness






6. Conclusiones

CONTENIDO


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyExperimentación (II)

Resultados1. Identificación Forense






6. Conclusiones

CONTENIDO

El método es muy robusto para los valores del parámetro αy la función de fitness

Los mejores resultados individuales y en media se obtienencon la función 1 y con α=0.3


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyExperimentación (III): Nuevos casos

Otro caso real resuelto por el Lab. de Antropología Física dela UGR con los Cuerpos de Seguridad del Estado (variasposes distintas):

Seis, ocho, ocho y seis landmarks

Pose 1 Pose 2

Pose 3 Pose 4






6. Conclusiones

CONTENIDO


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyExperimentación (III): Diseño experimental

En este caso, las fotos son de mayor calidad y se dispone de unmayor número de ellas, lo que facilita la identificación:

AGCR-BLX-α. Parámetros:Criterio de parada: 300 generaciones300/600 cromosomas, torneo binario, Pc= 0.9, Pm=0.2Parámetro de control del cruce BLX-α= {0.1,0.3,0.5,0.7,0.9}30 ejecuciones independientes

Pose 3






6. Conclusiones

CONTENIDO

Pose 2


5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyExperimentación (III)

Resultados pose 1 (300 crom.)1. Identificación Forense






6. Conclusiones

CONTENIDO

El método es menos robusto que antes, pero todas lasfunciones tienen un valor de α que da buenos resultados

Los mejores resultados individuales y en media se obtienencon la función 3 y con α=0.7-0.9



Resultados pose 1 (600 crom.)1. Identificación Forense






6. Conclusiones

CONTENIDO

Los mejores resultados individuales y en media se obtienencon la función 3 y con α=0.7-0.9

Se mejoran los resultados con 300 cromosomas y lascombinaciones más eficaces consideran α’s altos, lo quedemuestra que el problema requiere diversidad



Superposición AGCR

Comparativa solución manual – automática pose 1







6. Conclusiones

CONTENIDO



Superposición CMA-ES

Comparativa solución manual – automática pose 1Superposición manual






6. Conclusiones

CONTENIDO

25 segundos24 horas



Superposición RCGA








6. Conclusiones

CONTENIDO











6. Conclusiones

CONTENIDO

25 segundos24 horas



Pose 4

Soluciones AGCR poses 2 y 4

Pose 21. Identificación Forense






6. Conclusiones

CONTENIDO











6. Conclusiones

CONTENIDO

25 segundos24 horas


Caso real resuelto por el Lab. de Antropología Física de laUGR con los Cuerpos de Seguridad del Estado (pose nototalmente frontal, con landmarks ocultos):

Mismo diseño experimental que en el caso anterior

5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyExperimentación (III): Un caso muy conocido…

SeisLandmarks






6. Conclusiones

CONTENIDO



Resultados (300 crom.)1. Identificación Forense






6. Conclusiones

CONTENIDO

El método es menos robusto que antes, pero todas lasfunciones tienen un valor de α que da buenos resultados

Los mejores resultados individuales y en media se obtienencon la función 1 y con α=0.5



Superposición AGCR

Comparativa solución manual - automática







6. Conclusiones

CONTENIDO


Validar en más casos reales, tanto positivos como negativos

Mejorar la precisión, empleando otros AEs avanzados comoScatter Search

Considerar la incertidumbre en la localización de los landmarks

Mejorar la robustez:Consideración de emparejamientos parciales de los landmarks decara y cráneo para reflejar la incertidumbre existente. Diseño de unafunción de fitness con distancias fuzzy

Inicialización heurística de los parámetros de registrado con técnicasforenses de estimación de medidas fisonómicas

Abordar la tercera etapa para sugerir decisiones de identificaciónal forense analizando la mejor superposición






6. Conclusiones

CONTENIDO

5. Segunda Etapa: Superposición Craneofacial con AEs y Lógica FuzzyTrabajos en Curso


6. Conclusiones

Hemos afrontando la automatización de la identificación porsupraproyección fotográfica para asistir al antropólogoforense

El Soft Computing es muy adecuado para esta tarea por lascaracterísticas intrínsecas de esta técnica de identificación

El trabajo está aún en pleno desarrollo. De las tres etapas:la reconstrucción automática de modelos 3D está casiconsolidada,se han obtenido unos resultados muy prometedores en lasuperposición craneofacial, yen breve, comenzaremos a afrontar la toma de decisión final






6. Conclusiones

CONTENIDO


6. ConclusionesEquipo Investigador

Dr. Miguel BotellaDirector Lab. Antropología

Física. Universidad de Granada

Dra. Inmaculada AlemánTécnico Lab. Antropología

Física. Universidad de Granada

Dr. Oscar CordónInvestigador Principal ECSC

Dr. Sergio DamasInvestigador Asociado ECSC

Dr. José SantamaríaProfesor Universidad de Jaén






6. Conclusiones

CONTENIDO

D. Oscar IbáñezInvestigador Predoctoral ECSC

Documents

Sofw de Identificación