Download pdf - IMPACT implicación de la BNE-UA y resultados preliminares del proyecto. Isabel Bordes Cabrera

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

TALLER FESABID 2011 26 MAYO

IMPACT implicación de la BNE-UA (Universidad de Alicante) y resultados preliminares del proyecto

FESABID, XII Jornadas Españolas de Documentación- 26 mayo de 2011


2TALLER FESABID 2011 26 MAYO

AntecedentesEl texto no digitalizado es “virtualmente” invisible

Disponibilidad de material digitalizado demasiado lento, pequeñas cantidades y pocas fuentes

Tecnología OCR (reconocimiento óptico de caracteres) no resultados satisfactoriospara documentos históricos

Falta de conocimiento institucional y especialización ineficiencia y “reinventar la rueda”



Texto histórico: típicos resultados OCR

VVt Venetien den 1.Junij, Anno 1618.DJgn i f paffato te S' aö'Jifeert mo?üen/bah .)etgi'uotbciraetail)i.r/JtmelchontDecht te /sbnbe bele btr felbrr geiufttceert baer bnber eeniglje jprant o^fen/bie ftcb .metbeSpaenfcbeu enbeeemgljen bifet Cbeiiupcen berbonbru befe



Retos OCR: páginas dañadas, alabeadas, tintas traspasadas, maquetación compleja, fuentes históricas…etc.



Retos lingüísticos: variantes ortográficas, variantes de grafía, formas conjugadas, declinadas…y más

Variantes históricas para la forma verbal hubo:hubo, huvo, uvo, vuo, uuo, huuo…

Variantes históricas para la palabra holandesa ‘wereld’ (mundo):werelt weerelt wereld weerelds wereldt werelden weereld werrelts waerelds weerlyt wereldtsvveerelts waereld weerelden waerelden weerlt werlt werelds sweerels zwerlys swarels swereltswerelts swerrels weirelts tsweerelds werret vverelt werlts werrelt worreld werlden wareld weireltweireld waerelt werreld werld vvereld weerelts werlde tswerels werreldts weereldt wereldje waereldje weurlt wald weëled



Reto institucional: falta de conocimiento y experiencia →ineficiencia



Cómo afrontar estos retos: La visión de IMPACT

• Digitalizar los textos impresos históricos en Europa mejor, más rápido , más barato

• Proporcionar herramientas, servicios e instalaciones para continuar avanzando en este campo



El proyecto en cifrasApoyado por la Comunidad Europea a través de la línea ICT del FP7Coordinación Biblioteca Nacional de Países Bajos (KB)Tipo de proyecto: Proyecto de integración a Gran EscalaFinanciación de la UE : € 11 500 000 Fecha de inicio: 1 enero 2008 Duración: 48 mesesA partir de 2012: Centro de competencia sostenibleContacto: [email protected] web: www.impact-project.eu



Consorcio IMPACT - InicialBibliotecas

– National Library of the Netherlands (KB)– The British Library (BL)– Bibliothèque nationale de France (BNF)– German National Library (DNB)– Bavarian State Library (BSB)– Göttingen State and University Library

(UGOE) – Austrian National Library (ONB)– University of Innsbruck Library (UIBK)

Universidades y Centros de Investigación– Dutch Institute for Lexicology (INL)– National Centre for Scientific Research –

Demokritos (NCSR)– University of Salford (USAL)– University of Munich (CIS group)– University of Innsbruck (InfMath group)– University of Bath (UKOLN)

Proveedores comerciales– IBM (Haifa Research Lab)– ABBYY (Moscow)



OBJETIVOSMejora significativa de la digitalización masiva del texto impreso históricos mediante:

Innovación del software OCR y tecnologías en torno a los idiomas

Compartir conocimientos y poner en pie habilidades a nivel europeo

Garantizar existencia a largo plazo herramientas y servicios al finalizar el proyecto

Conseguir el intercambio de procesos o datos entre sistemas heterogéneos (‘interoperabilidad’)

Proporcionar una Guía de Mejores Prácticas en el ámbito de la digitalización

Atender las necesidades de usuarios en diversos idiomas



Inicio 2010 nuevos socios i.a.:

…………

PLPSNCPoznań Supercomputing and Networking Center25

ESBVCFundación Biblioteca Virtual Miguel de Cervantes24

ESBNEBiblioteca Nacional de España23

……...…

BNE/UA = marzo de 2010





Extensión de objetivos Utilizar las herramientas de IMPACT para construir un léxico eficiente para idiomasfuera de los objetivos iniciales de IMPACT→ Inicialmente: inglés, alemán, holandés→ Dp: lenguas romance y eslavas ej españolDemostrar y difundir los resultados del proyecto en Europa del Sur y del Este, y apoyar la adquisición de conocimientos en digitalización en dichos paísesReforzar la cooperación y mejorar la explotación de las sinergias de I+D sobre ICT a lo largo de la Unión EuropeaEstablecer vínculos estratégicos con el fin de avanzar en:

el acceso al conocimiento, desarrollo de estándares y soluciones interoperables



Estructura del proyecto: 4 subproyectosOPERATIONAL CONTEXT (OC)

Requisitos, documentación wfs y mediciones

Mejores prácticas y directrices

Marco de trabajo e integración técnica - interoperabilidad

CAPACITY BUILDING (CB)

Publicación recursos

Formación y apoyo

Demostraciones

TEXT RECOGNITION (TR) -5 WG

Pre-procesamiento y segmentación

OCR adaptativo y experimental

Modelos y diccionarios

ENHANCEMENT & ENRICHMENT (EE)

Corrección colaborativa

Lexica e índices geográficos

Metadatos estructurales



Herramientas de OCRTecnologías para la extracción de texto en formato digital a partir de una página

Motor de OCR adaptativo: Clave del proyecto IMPACT, software de primera líneaadaptado específicamente a las necesidades de las bibliotecas y que se adapta durante el proceso de OCR, integrando otras herramientas:

Image enhancement toolkitSegmentation toolkitMódulos de post-correcciónOtros motores OCR

Prototipos y herramientas experimentalesPrototipo OCR sobre textos escritos a máquina (Typewritten OCR prototype)Wordspotting…

OC

CB

TR EE



Herramientas de enriquecimiento (tecnología lingüística)Conseguir que los resultados de OCR sean más precisos y accesibles

Corrección colaborativaSistema de corrección colaborativa a través de web: plataforma web, adecuada paraparticipación voluntaria masiva, valida y corrige resultados OCR. La primera herramienta de este tipo que se relaciona directamente a un motor de OCR

Lexicon e índices geográficosLéxicos generales y NER (nnll-uk-ger)Herramientas para proporcionar medios que permitan superar barrera lingüísticahistórica

Metadatos estructuralesFEP: un conjunto de servicios web que pueden explotarse para detectar y etiquetarautomáticamente metadatos estructurales del material escaneado

OC

CB

TR EE



Herramientas y servicios estratégicosSitio web proporciona acceso a todos los resultados del proyecto y constituye el núcleo de una red virtual formadapor todos los centros de competencia europeos en materia de digitalización y las actividades de investigaciónasociadas

Un conjunto de herramientas de Apoyo a la Toma de Decisiones que puede utilizarse para inciar, organizar, gestionar y evaluar el coste de los proyectos de digitalización masiva

Recursos de aprendizaje (learning resource toolbox) con directrices de funcionamiento que sirvande guía para la implementación real de todas las herramientas producidas en el proyecto.

Formación y apoyoSistema Help Desk peticiones, ayuda entre usuarios, socios del proyecto, centros de competencia de digitalización.Programa de formación sobre temas y tecnologías en torno a la digitalización a gran escala con una ampliagama de documentación de apoyo disponible a través del sitio web del proyecto

Demos OC

CB

TR EE



Herramientas del entorno de trabajo



Repositorio de imágenes aportadas por las bibliotecas participantes que sirven de ejemplo para los diversos planes proyectados

PRIMA

Home



PRIMA: Groundtruth-formato PAGE



Plataforma o entorno de desarrollo donde investigadores intercambian ideas, desarrollos y planes

MyExperiment

Home





TAVERNAHerramienta creada por un Grupo de Trabajo (myGrid) , de código libre (JAVA), que permite el diseño y ejecución de Flujos de Trabajos

Servicio Web:Interoperabilidad Facilidad acceso Dinamismo

Flujos simples & complejos



TAVERNA: flujos simples o complejos



Funcionamiento Taverna en Impact



























Visión general del proceso y algunas de las herramientas desarrolladas en IMPACT



Esquema del proceso OCR

CONVERSIÓN

DE FICHEROS

CORRECCIONES

GEOMÉTRICAS/ELIM.

MÁRGENES

“BINARIZACIÓN”

OCRPOST-PROCESO

+EVALUACIÓN



Datos en el formato adecuado para cada aplicación

Módulos disponibles:

GIMP , ImageMagickimpact_gimp_tif_to_png_conversion_202058.t2flow

OpenJPEGXML

Basic IMPACT Abbyy FRE 9 PAGE Exporterbasic_impact_abbyy_fre_9_page_xml_creator_392392.t2flow

Iconv

Conversión

Ir



Correcciones geométricas/Elim. márgenes¿Porqué?

rotadas, márgenes no deseados, ‘curvas’, páginas alabeadas …



A.-Correcciones geométricas

Basic IMPACT NCSR Geometric Correction Page Curl V3


ABBYY FineReader Engine

NCSR Geometric Correction “Page Curl”

TAVERNA: basic_impact_ncsr_geometric_correction_page_curl_550389.t2flow

NCSR Border Removal

TAVERNA:

basic_impact_ncsr_border_removal_v4_603318.t2flow

OCRopus Deskewing









Basic IMPACT NCSR BorderRemoval

B.- Eliminación de márgenes







‘Binarización’ de imágenes¿Porqué?

Tinta de una cara ha traspasado a la otra caraSombras de la otra cara de la hoja


ABBYY FineReader EngineTAVERNA: basic_abbyy_fre_10_binarisation_936808.t2flow

OCRopus









Reconocimiento Óptico de Caracteres (OCR)


ABBYY FineReader EngineIBM Adaptative OCRTesseract

Segmentar el texto en las divisiones más sencillas (letras, caracteres)

Facilitar el análisis por la máquina.

Se identifica el carácter y se comprueban sus características o propiedades con una BD interna hasta que encuentra con la que mejor “encaja”

texto editable a partir de una imagen.



Post-proceso / Evaluación

– mejorar una vez más el rendimiento al corregir los documentos digitalizados.

– Groundtruth, que viene a ser una réplica exacta análisis cuantitativocualitativo.

Módulos disponibles i.a.:UIBK Functional Extension ParserIBM CONCERTNCSR Word Spotting (en fase de pruebas )



FEP (Functional Extension Parser)

Web para identificar automáticamente la estructura ( número de página, encabezamientos, índice, tabla de contenido …) del material digitalizado Segmentación jerárquica

Puede reconocer el espacio de impresión y crear una tabla vinculada de contenidos, muy útil para la producción de libros electrónicos

PROTOTIPO



CONCERT (Cooperative Engine for Correction of Extracted Text)

Servicio Web como sistema para la corrección en colaboración o en convocatoria abiertaEvita la instalación en ‘cliente’Intuitiva3 pasos:

Carácter: presenta al usuario un listado con los caracteres identificados como la misma letraPalabra: las anteriores letras se presentan en el contexto de la palabra y el usuario eligirá las válidasPágina: las anteriores selecciones se muestran a nivel de página



WORDSPOTTING

Aplicación multiuso para detectar palabras clave en los documentos utilizando una variedad de métodos de búsquedaPermite organización, gestión y administración de la colección de documentosNiveles: administradores y usuariosUso de base de datos lo que proporciona un rapidez y fiabilidad en el almacenamiento y la recuperación.



Papel de la BNE y de la UA en IMPACT



Biblioteca Nacional de España (CB)Entró a formar parte en marzo de 2010, II Fase del proyecto , en colaboración con la Universidad de Alicante

Aportación de más de 60.000 imágenes (UA-BVMC) y subida a PRIMA (md):Escala grises, color, 300 dpi, TIFFObras anteriores XIX ej: Teatro Siglo de OroObras cuyo OCR no está ofreciendo buenos resultados

– En 3 sets: Development (Lexicon Building) – Evaluation - Demonstration

Probar las funcionalidades realizadas por los desarrolladores participantesDemonstration datasetLotes, repositorio resultados

Difundir el proyecto (presentaciones a nivel interno, FESABID, T4 2011)



Universidad de Alicante (EE-CB)Colaboración en carga en el servidor de imágenes PRIMA

Gestión de contrato GroundTruth (evaluación), control de calidad y subida a PRIMA

Difundir el proyecto

Creación de léxico español antiguo para conectar a las soluciones de OCR





Resultados clave de IMPACT1. Un Centro de Competencia en digitalización textual con un modelo de negocio que pueda

sostenerse por sí mismo durante 3 años

2. Entorno de trabajo interoperable basado en sw Open Source con herramientas y recursosextensibles para evaluar y demostrar resultados

3. Serie de herramientas y recursos modulares para mejorar el reconocimiento textual, la implementación en workflows de digitalizaciones masivas

4. Prototipos que mejoran la investigación de 1ª línea en materia de reconocimiento textual.

5. Medios para poner en pie especialización en digitalización en Europa



IMPACT productos y servicios



Entorno de trabajo interoperable

Entorno de trabajo basado en Sw open Source y Libre que permiten:

Ofrecer herramientas comoservicios web, crear workflows con herramientasde IMPACT y externasinstrumentos y recursos paradeomostrar y evaluar resultados


65TALLER FESABID 2011 26 MAYO 65

HerramientasEvaluación

HerramientasGT

Ground Truth

HerramientasOCR

Resultados

Repositoriode

imágenes

MedicionesEvaluación

Resultados Evaluación

Compatibilidad a través de un formato común

Escenarios de Evaluación

Ejemplo: Entorno para la evaluación del rendimiento



Herramientas IMPACT: Ejemplos

CONCERT: OCR Corrección participación voluntaria

FunctionalExtension Parser:metadatos estructurales



Prototipos de Investigación: Ejemplo

PlataformaMejora de imagen y segmentación



Puesta en pie de especialización en digitalización:ejemplos

Digitisation Health Check: expertos para evaluar y mejorarworkflows de digitalización actuales y recomendaciones paraponer en práctica nuevos flujos de trabajo.

Herramientas comunitarias. :– Helpdesk– Recursos de aprendizaje. – Comunidad web…



Un único centro al que acudan todos los depositarios de contenido de EuropaObjetivo principal: digitalización más rápida, de mejor calidad y más barataPlataforma adaptaple productos y servicios diferentes a clientes distintosModelo de negocio Freemium

– Productos y servicios básicos gratuitos, – Pago por servicios, productos premium/especiales– Permitir generación de ingresos para posibilitar sostenibilidad



Tres Segmentos de Clientes

Tienen productos quedeseen poner a disposición de CH/Rr

Fundamentalmentesector privado

70

institutionesdepositarias de textoshistóricos que deseandigitalizar.

Sector público y privado

institutiones e individuosrelacionadas con investigación dentrodel alcance de IMPACT

Sector público y privado



IMPACT Centre of Competence in Text Digitisation

Content Holders Researchers Service & Product Providers

Registration (Free)

IMPACT ToolsIMPACT KnowledgeBase

Toolset EvaluationTraining & Education (online tutorials)

IMPACT ToolsResearcher Evaluation

Research DatasetTraining & Education (online tutorials)

IMPACT ToolsTraining & Education (online tutorials)

IMPACT ToolsReports & Publications

Tools OnlineToolset Evaluation (configurable)

Training & Education Community Tools

IMPACT ToolsReports & PublicationsTraining & Education

Community Tools

IMPACT ToolsTraining & Education (Sponsorship)

Community Tools

Subscription (fee)

IMPACT ToolsDigitisation Health Check

Training & Education (inc. Conference)Training & Education (inc. Conference) Training & Education (Sponsorship)

Premium (pay as you go)



Tres niveles de acceso (propuestas)Registro (gratuito)SuscripciónPay as you go

3º trimestre 2011

date footertext 72



Cómo estar al día sobre IMPACTEn Twitter

Unión al LinkedIn group

Visita el blog y el website

Lista de correo del proyecto para recibir el boletín trimestral

Canal Youtube

Para cualquier pregunta ó feedback: contactar con IMPACT helpdesk



Twitter: @impactocr, #impactproject

Tweets sobre últimas noticias en IMPACT

(Re)tweets de noticias en torno a la digitalización, tecnología OCR y lingüística

Tweets en vivo durante conferencias, talleres



LinkedIn group: IMPACT Improving Access to Text

Comunidad online

Canal para obtener feedback sobre los entregables IMPACT(versiones posteriores)

Discusiones sobre digitalización, tecnología OCR y lingüística



IMPACT blog: impactocr.wordpress.com

Utilizado para talleres y días de demostraciónIncorporación de– Presentaciones– Vídeos



www.impact-project.eu



Boletín trimestral IMPACT

Secciones:

NovedadesEspecial en torno a una herramientaFotos e informes sobre contribuciones de IMPACT a conferenciasEntrevistas equipo humano IMPACT



Canal de IMPACT en Youtube www.youtube.com/user/theimpactproject

Breves introducciones sobre cada subproyecto y cada uno de los líderes de los distintos workpackage

Vídeo de presentación deIMPACT elaborado por la KB

Video de IBM sobreCONCERT



IMPACT Helpdesk

80

www.impact-project.eu/helpdesk



GRACIAS POR SU ATENCIÓNIsabel Bordes Cabrera

Jefe de Servicio de Biblioteca Digital, [email protected]