Embed Size (px)
Citation preview
THE NATIONAL LIBRARY OF FINLAND
The Finnish Newspapers Data Set
Tuula Pääkkönen
Information Systems Specialist
Digital Humanities Hackathon #dhh15
11.5.-15.5.2015
THE NATIONAL LIBRARY OF FINLAND
National Library of Finland & #helsinkiuni375
Turku Academy
Imperial Alexander University
1640
1828
20061990Centre for
Preservation &Digitisation
Src: http://www.kansalliskirjasto.fi/yleistieto/kirjastotietoutta/historia.html
2015#KK375
1707 Free deposit law
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
5.200.000.000
THE NATIONAL LIBRARY OF FINLAND
Digitized pages
Newspapers Journals Ephemera All categories
Pages 3,268,860 5,755,280 129,473 9,153,613
Of which free 59 % 19 % 100 %34 %
~1,9M pages
Daily status: http://digi.kansalliskirjasto.fi/info?language=en
THE NATIONAL LIBRARY OF FINLAND
Of the Newspaper dataset
Divided on two main languages: Finnish or Swedish. The language is as defined in the newspaper database Some pages might be different language or mixed several
Bit over 1 million pages in Finnish (1.019.277) Nearly 1 million pages in Swedish (954.450)
THE NATIONAL LIBRARY OF FINLAND
Metadata (very rudimentary)
Filename,ISSN,Date(YYYY-MM-DD),Issue/No,PageNbr,BindingId,DigiURLfin_0355-2047_1904-07-07_0-00001_750491.txt,0355-2047,1904-07-07,0,1,750491,http://digi.kansalliskirjasto.fi/sanomalehti/binding/750491#?page=1fin_0355-2047_1904-07-07_0-00002_750491.txt,0355-2047,1904-07-07,0,2,750491,http://digi.kansalliskirjasto.fi/sanomalehti/binding/750491#?page=2fin_0355-2047_1904-07-07_0-00003_750491.txt,0355-2047,1904-07-07,0,3,750491,http://digi.kansalliskirjasto.fi/sanomalehti/binding/750491#?page=3fin_0355-2047_1904-07-07_0-00004_750491.txt,0355-2047,1904-07-07,0,4,750491,http://digi.kansalliskirjasto.fi/sanomalehti/binding/750491#?page=4
1. Filename2. ISSN3. Date (when published YYYY-MM-DD)4. Issue/Number5. Page Number6. Binding ID7. Digi URL for the page image Check the readme.md or
dhh_dlf_newspaperdata
set.html for details!
THE NATIONAL LIBRARY OF FINLAND
1 row of metadata
Data Example
Filename fin_0355-2047_1904-07-07_0-00001_750491.txt
ISSN 0355-2047
Date (when published) 1904-07-07
Issue Number 0
Page number 1
Binding ID 750491
Digi URL for the page image
http://digi.kansalliskirjasto.fi/sanomalehti/binding/750491#?page=1
THE NATIONAL LIBRARY OF FINLAND
Example page
http://digi.kansalliskirjasto.fi/sanomalehti/binding/750491#?page=1
THE NATIONAL LIBRARY OF FINLAND
Example page as text (part)
mt'">6>? * * *? " ». »*.Tm?'^?mffmmraor-N:o 0^* HELSINGIN SANOMATVastaava toimitta ia: Paavo Warén.Kuudesti viikossa ilmestyvä aamulehti.Helsingissä, torstaina heinäkuun 7 p.PälvällBt2.Helsingin posti immlstot pidetään»voin! a : r äanostikor.ttoriiiläklevien postien toimisto: arkipäivinäklo II) a. p. ? « i, p., aimn- ja juhlapiiiv. klo 9?ll a. p.Tulevien postien toimislo: arki/iiivinäklo 8 a. p. ? (? i. p., sunii -ja juulapäiv. klo o? ll a. p.Postiosotusten ja po>tis:i;istöpankin Kmi.it ii, arkipäivinä klo 10 a. p. ? 7p., sunn.- ja juhlapäivinä klo il ? 11a. p.Frankkomorkkcjä myydään arkipäivinäklo 7 a. p. ? 10 i. p., suun.- ja juhla{.uv. klu 7 a. p. 11 a. p ja ?>,?><?> -7,30 i, p.POStiuV MGtBulevardinkatu 28, arkipäivinä klo 10a. p, ? 3 i, p. 4 G i. p., tunnun,- jajuhlapäiv. klo B?lo8 ? 10 a. p.Vuorimiehenkatu 1, arkipäivinä klo 10a. p, ? i, p. 4 ? li i. p,, sunn- jajuhlapäiv. klo ? 10 a. p.Kaivokatu (i, yksinkertaisten ja sis.liinkirj. lälietysten sekä vakuuttainaUomien pakettien vastaanottamista varten: arkipäivinä klo 7,3(J 'J,3H a. p.2-3 ja 4,30? K,10 i. p., sunn.- ja juhlapäiv. klo 7.30? i),30 a. p.Frankkoincrkkicn myymistä vartiMi. arkipäivinä klo 7,:)0 a. p.? 8.10 i. p.sunn.- ja juhlapäivinä klo I,'M) 'J,30
THE NATIONAL LIBRARY OF FINLAND
About the page text
The text is as it has been got from the text recognition software via the OCR ( optical character recognition)
Sometimes areas can get extended over columns OR text might not be in right reading order
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
http://digi.kansalliskirjasto.fi
THE NATIONAL LIBRARY OF FINLAND
Searching in digi.kansalliskirjasto.fi
Write search term and select it below the search field• Publishing date• Newspaper name• Phrase• Etc.
THE NATIONAL LIBRARY OF FINLAND
Search results
THE NATIONAL LIBRARY OF FINLAND
The Newspaper page
THE NATIONAL LIBRARY OF FINLAND
Functionalities on a page
Mark clipping (login first)
Move picture
Help
Full screen
Highlight clippings
Zoom in
Zoom out
Download binding as pdf
THE NATIONAL LIBRARY OF FINLAND
Doing a clipping
THE NATIONAL LIBRARY OF FINLAND
After save, you have shareble article
THE NATIONAL LIBRARY OF FINLAND
The Clippings area shows what users have found
THE NATIONAL LIBRARY OF FINLAND
Own scrapbook
THE NATIONAL LIBRARY OF FINLAND
Good to know!
More information of the title can be found from Newspapers > Titles , and click ’Info’
THE NATIONAL LIBRARY OF FINLAND
Title information
Note! You can find informationalso from Fennica or Finna:
https://www.finna.fi/Record/fennica.172246
THE NATIONAL LIBRARY OF FINLAND
Metadata about the newspapers
Check kansalliskirjastoslmeta.csv Contains basic information of first 100 newspapers
Title
Start of publication (dd/mm/yyyy)
End of publication (dd/mm/yyyy) ISSN
Details of the title (URL)
Kieli (RFC3066)
Publication place Coords Source
SourceURL
Tidningar Utgifne af et Sällskap i Åbo 15/01/177126/05/17851457-4756
http://digi.kansalliskirjasto.fi/sanomalehti/titles/1457-4756 sv Turku
60.449325, 22.259231
Kansalliskirjasto - Digitoidut aineistot
http://digi.kansalliskirjasto.fi/
THE NATIONAL LIBRARY OF FINLAND
Article Index
Artikkelihakemisto.ttl
THE NATIONAL LIBRARY OF FINLAND
Article index in Digi
Article index can also be found from digi Newspapers > Article index http://digi.kansalliskirjasto.fi/sanomalehti/directory?language=en
There the articles have been categorized by topics For example
Topographica, Kaupungit , Helsinki , Ateneum http://digi.kansalliskirjasto.fi/sanomalehti/directory/240
Collected at end of 1890s, so categories are of that time.
THE NATIONAL LIBRARY OF FINLAND
Feedback on data?
If you have some need for more metadata not shared here
Or needs for other data, let us know!
Also let us know if the plain text format is enough?
Data Organization? Everything in one folder By year? By ISSN?
THE NATIONAL LIBRARY OF FINLAND
Research aspects
Theme-based articles/content Mikkeli, Helsinki, Finland, England, immigration (siirtolaisuus) … Kansalliskirjasto, University of Helsinki #375 topics
Named Entity Recognition Places Persons (kings, queens, authors …) Events (World fairs, …)
Translations
Post-corrections (OCR is what it is, can it be fixed?)
THE NATIONAL LIBRARY OF FINLAND
Other topics…
The early phases towards Finnish independence Censorship and how it was ”managed” in Finnish newspapers
Even more topics you can find from the web site: http://www.kansalliskirjasto.fi/kirjastoala/koordinointi/tutkimusyhteistyo.html
Industrial development, educational reforms, from countryside to towns …
THE NATIONAL LIBRARY OF FINLAND
Survey on using Digitized Materials
Tavoitteenani on selvittää verkossa tehtävän kyselyn avulla Kansallisarkiston ja Kansalliskirjaston digitaalisten verkkoaineistojen käyttöä, käyttäjien kokemuksia ja käyttäjäryhmiä. Kyselyn painotus on tutkimuskäytössä, mutta myös muu käyttö ja valittujen palvelujen erityyppiset käyttäjät kiinnostavat. Käyttäjien kokemukset kohtaamistaan ongelmista ja esteistä verkkopalveluja sekä niiden sisältöjä käyttäessään ovat myös selvityksen kohteena.
Osallistu tutkimukseen täyttämällä kyselylomake osoitteessa: https://elomake3.uta.fi/lomakkeet/14831/lomake.html
THE NATIONAL LIBRARY OF FINLAND
Nordic Open Data Week 29.5.-7.6.
Events in Helsinki Plans also for a hackathon in Mikkeli
Local memory organization’s data? City council materials/memos? ?
If you have ideas for content , let us know [email protected] [email protected]
THE NATIONAL LIBRARY OF FINLAND
Come work with us to National Library
We look for person who has solid work experience of web programming (especially with Java (Spring), Hibernate, AngularJS, PHP, python, perl) languages 1 year gig for the Aviisi project Work with the frontend of the digital collections
Keep also a look out for a more research oriented (machine learning) related job openings!
http://www.kansalliskirjasto.fi/yleistieto/organisaatio/avoimettyopaikat.html
THE NATIONAL LIBRARY OF FINLAND
Thank [email protected] OR
http://digi.kansalliskirjasto.fi > Feedback
Source digi.kansalliskirjasto.fi / 15.04.1900 Ateneum no 2 s. 65
THE NATIONAL LIBRARY OF FINLAND
Benefits of open data => Why to digitize?
Source: Benefits of open data (image by JAM/Europeana. CC BY http://mw2013.museumsandtheweb.com/paper/open-culture-data-opening-glam-data-bottom-up/
