Saa 2011-snac anila

EAC-CPF et les Réseaux SociauxPrésentation au congrès de la SAA

Chicago, aôut 2011

Daniel Pitti (Institute for Advanced Technology in the Humanities, University of Virginia)

Ray Larson - (School of Information, University of California, Berkeley)

Adrian Turner et Brian Tingle -(CAD - California Digital Library, University of California)

Version abrégée de la version d’origine, avec traduction en français des explications textuelles.Présentée aux groupes d’experts AFNOR sur l’EAD et l’EAC, par Anila AngjeliLa version complète, présentée au congrès de la SAA est accessible à l’adresse:

http://www.slideshare.net/tinglebrian/saa-2011-snac

Financement et durée• Subventionné par : National Endowment for the

Humanities• Axe: préservation et accès, recherche et développement • Durée : deux ans (mai 2010-avril 2012)

• Daniel Pitti (chef de projet) et Worthy Martin (IATH - Institute for Advanced Technology in the Humanities, University of Virginia)

• Ray Larson (School of Information, University of California, Berkeley)

• Adrian Turner et Brian Tingle (CAD - California Digital Library, University of California)

Equipe du projet

ObjectifsSituation actuelle:• Les instruments de recherche confondent souvent la description

des documents d’archives et celle des producteurs de ces documents

Le projet vise à:• Utiliser les technologies avancées dans un processus continu de

transformation de la description archivistique – En facilitant la séparation de la description des “personnes” (au sens

large du terme) de la description des documents d’archives– En utilisant EAC-CPF: standard international de contrôle d’autorité

But:donner un élan à l’économie et à l’efficacité de la description archivistique pour une meilleure accès et compréhension de la part des utilisateurs des archives, des bibliothèques et des musées

SNAC et les documents d’archives: principes

• Les documents d’archives :– émanent de personnes, qui vivent et agissent individuellement, en groupes

organisés, en familles – donnent de l’information sur la vie et l’œuvre des personnes

• Les personnes:– Evoluent dans des contextes socio-professionnels et en relations avec

d’autres personnes

• Les documents d’archives – nous informent sur ces relations

• Les documents d’archives produits par une même entité – sont réunis en fonds ou collections et c’est l’ensemble qui est décrit

• On y trouve de l’information détaillée sur les producteurs• Mais aussi on y fait référence à plusieurs autres “personnes”

• Les descriptions archivistiques– documentent les relations complexes entre les personnes et les documents

d’archives

Les données exploitées

• Instruments de recherche en EAD– Library of Congress (1 159)– Online Archive of California (~15 400 )– Northwest Digital Archive (5 160)– Virginia Heritage (8 390)

• Notices d’autorité – Library of Congress: NACO/LCNAF (3,8M noms de personnes;

900K noms de collectivités)– Getty Vocabulary Program: Union List of Artist Names (293K

noms de personnes et de collectivités)– Virtual International Authority File (5M+ noms de personnes)

Méthodes et traitements

• Extraction (génération) de notices EAC-CPF à partir des descriptions existantes en EAD– Extraction des noms de producteurs et de tous les autres noms CPF

référencés dans les instances EAD• “Matcher” les notices EAC-CPF les unes avec les autres et avec

les notices d’autorité existantes (ULAN, VIAF, LCNAF); fusionner les notices correspondant à la même entité– Enrichir et améliorer les notices EAC-CPF en normalisant les points

d’accès, en ajoutant des formes alternatives de noms, des titres (VIAF), des données historiques (ULAN)

• Créer un prototype pour un système d’accès – Aux données historiques et relatifs aux réseaux socio-professionnels– Liens avec les ressources des archives, des bibliothèques, et des

musées

Situation des données source en EAD• Encoded Archival Description

– Description de producteurs de documents d’archives confondus avec des noms associés aux contenus des documents d’archives

– Description détaillée des producteurs de documents d’archives

• Qualité très variable– Dans le nombre des noms identifiés et encodés– Dans la forme des noms (directe, inversée, utilisation des majuscules, ponctuation, etc.)– Dans la catégorisation des noms (personnes, collectivités, familles)

• De nombreux noms apparaissent mais ne sont pas identifiés en tant que tels

• Dans la majorité se trouvent dans la description des biographies/histoires et dans la description des correspondances

• L’extraction a initialement visé les « fruits murs » (« low hanging fruit »), c.a.d. les noms balisés en tant que tels

• Les autres noms qui ne sont pas identifiés en tant que tels seront progressivement traités

Source: J. Robert Oppenheimer Papers (LoC)

<origination> <persname source="lcnaf">Oppenheimer, J. Robert, 1904-1967</persname>

</origination>

<controlaccess><persname source="lcnaf" encodinganalog="100" role="creator">Oppenheimer, J. Robert, 1904-1967</persname><persname source="lcnaf" encodinganalog="600" role="subject">Bethe, Hans Albrecht, 1906- --Correspondence</persname> <!-- […] --><persname source="lcnaf" encodinganalog="600" role="subject">Born, Max, 1882-1970 --Correspondence</persname><persname source="lcnaf" encodinganalog="600" role="subject">Boyd, Julian P. (Julian Parks), 1903- --Correspondence</persname><persname source="lcnaf" encodinganalog="600" role="subject">Bush, Vannevar, 1890-1974 --Correspondence</persname><persname source="lcnaf" encodinganalog="600" role="subject">Casals, Pablo, 1876-1973 --Correspondence</persname> <!-- […] --><corpname source="lcnaf" encodinganalog="610" role="subject">Institute for Advanced Study (Princeton, N.J.)</corpname><corpname source="lcnaf" encodinganalog="610" role="subject">Los Alamos Scientific Laboratory</corpname> <!-- […] -->

</controlaccess>

Source: Leonard Bernstein Collection (LoC) <c02> <did> <container type="box">1</container> <unittitle>Aaltonen, Erkki <unitdate era="ce" calendar="gregorian">1981</unitdate> </unittitle> <physdesc> <extent>1</extent> </physdesc> </did></c02><c02> <did> <unittitle>Abbado, Claudio <unitdate era="ce" calendar="gregorian">1963-90</unitdate> </unittitle> <physdesc> <extent>5</extent> </physdesc> </did></c02>[…]

<bioghist> <head>Biographical Sketch</head> <p>José Marcos Mugarrieta, prior to his term as Mexican consul in San Francisco 1857-1863, served in the Mexican army from 1837. He saw action in numerous battles and campaigns – Jamaica, under General Canalizo in 1841; Campeche, 1842-1843; Merida, 1843; Veracruz, 1845; Mexico City, 1846; Angostura and Cerro-gordo, 1847; Guanajuato, 1848, and Sierra-Gorda under Bustamante, 1848-1849; and Matamoros, 1849-1850. […] </p> <p>In April 1857 Mugarrieta received an appointment from the Comonfort government for the consulship in San Francisco. He did not actually begin his new duties until September 1, 1859, due to illness and to the political situation in Mexico. […]</p> </bioghist>

<bioghist> <head>Chronology</head> <chronlist> <chronitem> <date>1900</date> <event>Born on Jan. 20 in Hastings, Minnesota.</event> </chronitem> <chronitem> <date>1922</date> <event>Received baccalaureate from Princeton University, major in philosophy.

</event> </chronitem> […] <chronitem> <date>1965</date> <event>Died on April 4.</event> </chronitem> </chronlist> </bioghist>

<identity><entityType>person</entityType><nameEntry scriptCode="Latn" xml:lang="eng">

<part>Oppenheimer, J. Robert, 1904-1967.</part><authorizedForm>AACR2</authorizedForm>

</nameEntry><nameEntry localType="VIAF:MainHeading">

<part>Oppenheimer, J. Robert (Julius Robert), 1904-1967</part><alternativeForm>VIAF</alternativeForm>

</nameEntry><nameEntry localType="VIAF:MainHeading">

<part>Oppenheimer, Julius Robert, 1904-1967</part><alternativeForm>VIAF</alternativeForm>

</nameEntry><nameEntry localType="VIAF:x400"><part>Oppenheimer, Robert</part><alternativeForm>VIAF</alternativeForm>

</nameEntry><nameEntry localType="VIAF:x400">

<part>Ou-pẽn-hai-mo, 1904-1967</part><alternativeForm>VIAF</alternativeForm>

</nameEntry></identity>

Standard utilisé: EAC-CPF

<existDates><dateRange>

<fromDate standardDate=“1904-04-22”>1904, Apr. 22</fromDate><toDate standardDate=“1967-02-18”>1967, Feb. 18</toDate>

</dateRange></existDates><!-- ... --><localDescription localType="subject">

<term>Science--Societies, etc.</term></localDescription><localDescription localType="VIAF:nationality">

<placeEntry countryCode="US"/></localDescription><localDescription localType="VIAF:gender">

<term>Male</term></localDescription><languageUsed>

<language languageCode="eng"/></languageUsed><occupation>

<term>Physicists.</term></occupation><!-- ... -->

<chronList><chronItem>

<date>1904, Apr. 22</date><placeEntry>New York, N.Y.</placeEntry><event>Born, New York, N.Y.</event>

</chronItem> <!-- ... --><chronItem>

<date>1943-1945</date><placeEntry>Los Alamos, N. Mex.</placeEntry><event>Director, Los Alamos Scientific Laboratory, Los Alamos, N.

Mex.</event></chronItem> <!-- ... --><chronItem>

<date>1954</date><event>(1) Denied security clearance […] (2) Published Science and the

Common Understanding […] </event>

</chronItem> <!-- ... --><chronItem>

<date>1967, Feb. 18</date><placeEntry>Princeton, N.J.</placeEntry><event>Died, Princeton, N.J.</event>

</chronItem></chronList>

<cpfRelation xmlns:xlink="http://www.w3.org/1999/xlink" xlink:type="simple"xlink:role="http://RDVocab.info/uri/schema/FRBRentitiesRDA/Person" xlink:arcrole="correspondedWith"><relationEntry>Bush, Vannevar, 1890-1974.</relationEntry><descriptiveNote>

<p>recordId: DLC.ms998007.r007</p></descriptiveNote>

</cpfRelation>

<resourceRelation xmlns:xlink="http://www.w3.org/1999/xlink" xlink:arcrole="creatorOf"xlink:role="archivalRecords” xlink:type="simple” xlink:href="http://hdl.loc.gov/loc.mss/eadmss.ms998007"><relationEntry>J. Robert Oppenheimer Papers, 1799-1980 (bulk

1947-1967)</relationEntry><objectXMLWrap><did xmlns="urn:isbn:1-931666-22-9” >

<unittitle>Papers <unitdate normal="1799/1980” era="ce” calendar="gregorian">1799-1980

</unitdate><unitdate label="Bulk Dates" type="bulk" normal="1947/1967”era="ce” calendar="gregorian">(bulk 1947-1967)</unitdate></unittitle><unitid countrycode="US" repositorycode="US-DLC">MSS35188</unitid><origination label="Creator">

<persname>Oppenheimer, J. Robert, 1904-1967</persname></origination> <!-- ... --><repository><corpname>Manuscript Division. Library of Congress</corpname></repository><abstract>Physicist and directorof the Institute for Advanced Study, Princeton, New Jersey. [...] Topics include

theoretical physics, development of the atomic bomb, the relationship between government and science, nuclear energy, security, and national loyalty. </abstract>

</did></objectXMLWrap>

</resourceRelation>

Premières observations - Extraction

• La profondeur de l’analyse et la qualité de description des entités CPF varie largement d’un instrument de recherche en EAD à l’autre– Dans LoC, de nombreux noms obéissent au

contrôle d’autorité– Dans OAC et NWDA on trouve moins de noms et

le niveau de contrôle est variable

Etape suivante dans l’extraction

• Affiner les procédures de l’extraction, en appliquant des outils de Traitement Automatisé de la Langue (TAL), ex:– Vérifier le type du nom : C, P ou F– Reformater les noms (normaliser les formes)– Identifier les chaînes de caractères qui sont potentiellement

des noms mais ne sont pas identifiés en tant que tels– Utiliser l’information contextuelle pour de meilleurs

résultats dans les “matching”, ex.: date/dates de correspondance, ou l’occupation du producteur des documents

Au delà du projet• Créer une infrastructure pour un système national d’autorité

pour les archives – IMLS vient d’annoncer la subvention d’un projet pour deux ans,

octobre 2011- septembre 2013• Ateliers SAA sur l’EAC-CPF : 140 bourses d’étude• Planification d’un programme coopératif national portant sur les autorités

dans les archives « National Archival Authorities Cooperative »

• SNAC II: proposition pour étendre SNAC– Beaucoup plus de données– NARA, Smithsonian Institution, notices MARC WorldCat, encore

plus d’instruments de recherche• Appel à contribution avec des données (instruments de

recherche EAD et notices EAC-CPF) à la communauté internationale

SNAC« matching » et fusion

Ray Larson

Université de Californie, BerkeleySchool of Information

Objectif de l’équipe de Berkeley• Combiner les ressources de données

provenant de multiples archives et d’autres sources d’information

Méthodes et traitements• Extraction (génération) de notices EAC-CPF à partir des

descriptions existantes en EAD– Extraction des noms de producteurs et de tous les autres noms CPF

référencés dans les instances EAD

• “Matcher” les notices EAC-CPF les unes avec les autres et avec les notices d’autorité existantes (ULAN, VIAF, LCNAF); fusionner les notices correspondant à la même entité– Enrichir et améliorer les notices EAC-CPF en normalisant les points

d’accès, en ajoutant des formes alternatives de noms, des titres (VIAF), des données historiques (ULAN)

• Défis à relever: – Plusieurs personnes portant le même nom– Plusieurs noms pour une même personne

Connecter « matcher » les correspondances exactes

• Les notices EAC-CPF fournissent les noms sans avoir besoin de « parser » les textes, etc.

• Permettent d’utiliser des méthodes simples comme les correspondances exactes:

• Postulat de départ: – les accès identiques désignent les mêmes personnes /

collectivités / familles– les noms complets et les ID des notices sont entrés

dans une base de donnée et les ID contenant les mêmes noms sont marquées pour être fusionnés

Recherche dans les fichiers d’autorité

• Pour chaque nom une recherche dans VIAF est formulée en utilisant le système Cheshire (système de recherche SGML/XML avec des fonctionnalités de mise en correspondance probabilistique et booléenne)– Recherche des formes d’autorité et des variantes– Toute correspondance de nom est considérée comme une

variante – candidate pour une mise en correspondance avec la forme d’autorité

– Les notices d’autorité EAC-CPF qui correspondent avec la même notice d’autorité, sont marquées comme des candidates pour une mise en correspondance

Fusion des notices marquées

• Pour tous les « matching » exacts et les autorités correspondantes– Utiliser les formes d’autorité du nom– Combiner les données de chaque « matching »

dans une seule notice EAC-CPF– Conserver toutes les ID des notices sources et les

autres informations recueillies• Enfin produire (sortir/générer) des notices

EAC-CPF fusionnées

Mais

• Les « matching » exacts supposent que les archives suivent les pratiques de catalogage de la LoC dans leurs instruments de recherche

• Cette supposition pose quelques problèmes

Traiter les échecs

• Où ça ne marche pas et pourquoi ?– Un échantillon de la base de données est en cours de

constitution pour identifier les problèmes– Plusieurs problèmes constatés semblent pouvoir être

résolus en utilisant:• des éléments contextuels dans les documents EAD• des « matching » plus sophistiqués pour les variantes

phonétiques– tels que les n-grams et les schémas phonétiques tel que phonex

• une normalisation additionnelle des noms avant fusion– pour l’ordre des noms, etc.– utilisation de méthodes avancées de « matching »

Tester de nouvelles méthodes de fusion

• Travail effectué en conjonction avec SNAC dans le cadre d’un projet de master appelé Biograph

• Utilisation de SNAC et fusion avec FreeBase et IMDB

Conclusion

• In n’y aura pas une seule méthode de fusion mais – un ensemble d’approches par couches permettant

d’aller des « matching » exacts, les plus simples, aux identifications fiables (on l’espère) de variantes de noms, lorsque l’information contextuelle le confirme (dates, etc.)

• Après fusion, c’est la phase recherche et l’affichage

Découvrir les réseaux sociaux et historiques

Demo du prototype

Brian Tingle California Digital Library

Demo• Les onglets• La recherche avancée

Fonctionnalités

• Proposition de correction d’orthographe (suggestion de requête)

• Liste des variantes du nom (à la recherche, à l’affichage d’une notice)

• Recherche / tri par facettes (occupation, etc.)• Biographie ou histoire• Les entités liées

Pour plus d’information:

• http://socialarchive.iath.virginia.edu/ (site web du projet)

• http://socialarchive.iath.virginia.edu/xtf/search (prototype public)