Upload
david-graus
View
1.665
Download
1
Embed Size (px)
Citation preview
Big Data & Machine Learning
Mogelijkheden & Valkuilen
David Graus
Deel 0: IntroductieWie ben ik? Wat is Big Data & Machine Learning (ML)?
Deel I: TheorieHoe werkt ML?
Deel II: Voorbeelden Mogelijkheden van Big Data & ML
Deel III: Valkuilen Risico’s bij het gebruik van
ML & Big Data?
Wie ben ik?
PhD kandidaat @ UvA: Semantic Search for E-Discovery
Data Scientist @ FD Mediagroep
Semantic Search for E-Discovery
• E-Discovery: Ondersteunen van zoeken naar “bewijsmateriaal” in ongestructureerde data (social media, forums, email, etc.)
• Semantic search: toegepaste machine learning en taaltechnologie voor beter ontsluiten “digitale sporen.”
1. Herkennen structuur (entities) in ongestructureerde data (tekst).
2. Voorspellen van gebruikersgedrag op basis van data.
• Vakgebieden: Machine Learning, Text Mining, Information Retrieval.
Wat is big data?
Wat is big data?
7
Only 4% of Web content (~8 billion pages) is available via search engines like Google
The Public Web
Source: The Deep Web: Semantic Search Takes Innovation to New Depths
Big Data is Behind the Firewall
The Deep Web
Approximately 96% of information is inside the firewall
Fragmented Unmanaged
Growing Hidden
7.9 Zettabytes
Kortom
• Big data:
• Veel (en steeds meer!)
• Snel
• Gevarieerd
• Ongestructureerd/“Onzeker”
Wat is Machine Learning?
Wat is Machine Learning?
• Subgebied van “AI” (Kunstmatige Intelligentie)
• The subfield of computer science that “gives
computers the ability to learn without being
explicitly programmed”
• “AI-hype”
• IBM (Watson), Google (DeepMind)
• Futuristisch: Tesla (zelf-rijdende auto’s)
Deel I: Hoe werkt
Machine Learning?
ML 101
• Voorspel: is iets lekker of niet lekker?
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
ML 101
• Voorspel: is iets lekker of niet lekker?
• Data:
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
ML 101
• Voorspel: is iets lekker of niet lekker?
• Data:
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Feature Extraction
Beschrijf: is het zoet, zout, knapperig, groente?
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Leer een model
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Leer een model
Leer een ‘puntentelling’ die Lekker/Niet lekker van elkaar kan scheiden
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groenteLekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Leer een model
Leer een ‘puntentelling’ die Lekker/Niet lekker van elkaar kan scheiden
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groente3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Leer een model
Leer een ‘puntentelling’ die Lekker/Niet lekker van elkaar kan scheiden
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
3 2 3 1 0 0
zoet zout knapperig groente3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Leer een model
Leer een ‘puntentelling’ die Lekker/Niet lekker van elkaar kan scheiden
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
3 2 3 1 0 0
zoet zout knapperig groente3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Leer een model
Leer een ‘puntentelling’ die Lekker/Niet lekker van elkaar kan scheiden
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
3 2 3 1 0 0
zoet zout knapperig groente3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Appel
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Leer een model
Leer een ‘puntentelling’ die Lekker/Niet lekker van elkaar kan scheiden
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
3 2 3 1 0 0
zoet zout knapperig groente3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Appel
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Leer een model
Leer een ‘puntentelling’ die Lekker/Niet lekker van elkaar kan scheiden
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
3 2 3 1 0 0
zoet zout knapperig groente3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Appel
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Voorspel
Bereken de score voor “nieuwe” data.
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groente
Appel 3 0 1 0
3 2 3 1 0 0
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Voorspel
Bereken de score voor “nieuwe” data.
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groente
Appel 3 0 1 0 4
3 2 3 1 0 0
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Voorspel
Bereken de score voor “nieuwe” data.
IJs Pizza
Aardbeien Sardines Broccoli
Spruitjes
zoet zout knapperig groente
Appel 3 0 1 0 4
3 2 3 1 0 0
Lekker Lekker Lekker Niet lekker Niet lekker Niet lekker
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
3 0 3 0 0 0
0 1 0 1 0 0
0 1 0 0 1 1
0 0 0 0
-1 -1
Lekker
Samenvattend
• Gegeven voorbeelden + labels.
• Omschrijf voorbeelden (features)
• Leer een model om features naar labels te “vertalen”
• Bereken voor een nieuw voorbeeld de score
Daniel Tunkelang, quora.com/How-do-you-explain-machine-learning-to-a-child
Deel II: Voorbeelden
1: Voorspellen email communicatie
Waarom?
• Inzicht krijgen in communicatiepatronen.
• Wat zijn de factoren die communicatie bepalen?
• Ontdekken ‘afwijkende’ communicatiepatronen.
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Hoe?
• Leer van (historische) digitale sporen.
• Vergelijk invloed van:
1. Inhoud van email
2. Communicatie netwerk
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Communicatie netwerk
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Communicatie netwerk
[email protected] [email protected]
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Communicatie netwerk
[email protected] [email protected]
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Communicatie netwerk
[email protected] [email protected]
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Communicatie netwerk
[email protected] [email protected]
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Communicatie netwerk
[email protected] [email protected]
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Communicatie netwerk
[email protected] [email protected]
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
Communicatie netwerk
[email protected] [email protected]
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
image by Calvinius - Creative Commons Attribution-Share Alike 3.0
Bevindingen
• Email inhoud heeft meer voorspelbare waarde dan het netwerk.
• Combineren levert het meest effectieve voorspellen.
• Juiste voorspelling in ~66% van de gevallen.
Graus et al. Recipient recommendation in enterprises using communication graphs and email content (2014)
2: Structuur van
Criminele Netwerken
Wat?
• Computermodellen inzetten om te onderzoeken hoe een crimineel netwerk op te rollen.
• Case-study: illegale hennepteelt
Duijn et al. 'The Relative Ineffectiveness of Criminal Network Disruption’ (2014)
Hoe?
Duijn et al. 'The Relative Ineffectiveness of Criminal Network Disruption’ (2014)
Hoe?
Data Criminele netwerken (personen & contacten) opgebouwd uit inlichtingeninformatie.
Duijn et al. 'The Relative Ineffectiveness of Criminal Network Disruption’ (2014)
Hoe?
Data Criminele netwerken (personen & contacten) opgebouwd uit inlichtingeninformatie.
VoorspelExperimenteer met het weghalen van knooppunten (= personen) uit het netwerk; meet welke de meeste invloed hebben op de “gezondheid” van het netwerk.
Duijn et al. 'The Relative Ineffectiveness of Criminal Network Disruption’ (2014)
Duijn et al. 'The Relative Ineffectiveness of Criminal Network Disruption’ (2014)
Duijn et al. 'The Relative Ineffectiveness of Criminal Network Disruption’ (2014)
Bevindingen
• Niet de meest centrale/invloedrijke criminelen, maar de gespecialiseerde faciliterende personen verwijderen is het effectiefst in het verstoren van het netwerk.
Duijn et al. 'The Relative Ineffectiveness of Criminal Network Disruption’ (2014)
Bevindingen
• Niet de meest centrale/invloedrijke criminelen, maar de gespecialiseerde faciliterende personen verwijderen is het effectiefst in het verstoren van het netwerk.
• Computersimulaties om “goedkoop” verschillende interventiestrategieën te testen en te meten.
Duijn et al. 'The Relative Ineffectiveness of Criminal Network Disruption’ (2014)
3: New York City’s Geek Squad
Waarom?
• Enorm veel gegevens en informatie beschikbaar op stadsniveau.
• Case-study: “illegal conversions” van appartementen
• Opsplitsen van appartementen voor illegale onderhuur.
http://www.slate.com/articles/technology/future_tense/2013/03/big_data_excerpt_how_mike_flowers_revolutionized_new_york_s_building_inspections.html
Hoe?
http://www.slate.com/articles/technology/future_tense/2013/03/big_data_excerpt_how_mike_flowers_revolutionized_new_york_s_building_inspections.html
Hoe?
Data Breng alle kavels in kaart.“Verrijk” kavels met extra databronnen.
http://www.slate.com/articles/technology/future_tense/2013/03/big_data_excerpt_how_mike_flowers_revolutionized_new_york_s_building_inspections.html
Hoe?
Data Breng alle kavels in kaart.“Verrijk” kavels met extra databronnen.
VoorspelLeer van 5 jaar historische data welke kavels het meest waarschijnlijk “illegally converted” zijn.
http://www.slate.com/articles/technology/future_tense/2013/03/big_data_excerpt_how_mike_flowers_revolutionized_new_york_s_building_inspections.html
Bevindingen
• effectiviteit van opsporen conversions van 13% naar 70%.
• Data die op het eerste gezicht niet gerelateerd lijken, hebben grote voorspelbare waarde.
http://www.slate.com/articles/technology/future_tense/2013/03/big_data_excerpt_how_mike_flowers_revolutionized_new_york_s_building_inspections.html
4: Voorspellende waarde
Facebook likes
Kosinski et al. Private traits and attributes are predictable from digital records of human behavior (2013)
4: Voorspellende waarde
Facebook likes
Data: ~58.000 respondenten - Facebook profiel: leeftijd, relatie, etc.- Enquête informatie: roken/drankgebruik, etc. - Facebook likes (gem. ~170 pp)
Kosinski et al. Private traits and attributes are predictable from digital records of human behavior (2013)
4: Voorspellende waarde
Facebook likes
Data: ~58.000 respondenten - Facebook profiel: leeftijd, relatie, etc.- Enquête informatie: roken/drankgebruik, etc. - Facebook likes (gem. ~170 pp)
VoorspelGegeven likes van alle respondenten voorspel Facebook profiel/enquête data.
Kosinski et al. Private traits and attributes are predictable from digital records of human behavior (2013)
Kosinski et al., “Private traits and attributes are predictable from digital records of human behavior” (2013)
Bevindingen
• Automatisch categoriseren van mensen op basis van likes.
• “Verlies” privacy door wat anderen delen.
• Zelfs met een weinig likes (1-5) kun je accurate voorspellingen maken.
Wrap-up
Wrap-up
(Big) Data:
1. (Historisch) Email verkeer
2. Politie/overheidsdata
3. Stadsdata
4. Facebook likes
Wrap-up
(Big) Data:
1. (Historisch) Email verkeer
2. Politie/overheidsdata
3. Stadsdata
4. Facebook likes
Voorspellingen:
1. Wie communiceert met wie (en waarom)?
2. Wie moet je oppakken om een netwerk te verstoren?
3. Wie zijn de verdachten van illegale activiteiten?
4. Wie is de persoon achter een Facebook profiel?
Veel mogelijkheden!
• We gebruiken het dagelijks.
Veel mogelijkheden!
• We gebruiken het dagelijks.
• En steeds meer in de toekomst.
Deel III: Valkuilen
• Steeds meer data/ML “achter de schermen”
• Credit scores.
• Sollicitanten matchen op basis van CV analyse.
• Algorithmic Price Discrimination.
• In het extreme: China’s “Social Credit System.”
Risico’s
Risico’s
• ML heeft tot doel m.b.v. (historische) data de meest waarschijnlijke uitkomst te voorspellen.
• Aanname: patronen herhalen zich
• Gevolg: geleerde “vooroordelen” bestaan voort.
• Voorspel het meest waarschijnlijke: optimalisatie voor de gemene deler.
Algorithmic Bias
• Men ziet technologie, algoritmen, en wiskundige modellen veelal als “neutraal,” en “objectief.”
• Maar dat zijn ze niet: ze zijn een reflectie van onszelf, en leren van “ons”
• Bias In, Bias Out
Voorbeeld
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
Voorbeeld
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
Algorithmic Bias
• Relatief nieuw “topic”
• Politieke agenda:
• EU (General Data Protection Regulation)
• The White House “Big Data” reports [1, 2]
• En ook steeds meer vanuit de informatica.
https://www.whitehouse.gov/sites/default/files/microsites/ostp/2016_0504_data_discrimination.pdf https://www.whitehouse.gov/sites/default/files/docs/big_data_privacy_report_may_1_2014.pdf
Begrijp de data
• Onderzoek van Google naar het ‘eerlijk maken’ van banken leen-krediet systeem
• Automatisch compenseren van beslissingsfunctie voor aanwezige subgroepen in data.
• http://research.google.com/bigpicture/attacking-discrimination-in-ml/
• http://research.google.com/bigpicture/attacking-discrimination-in-ml/
• http://research.google.com/bigpicture/attacking-discrimination-in-ml/
Begrijp de data
• Van belang om goed de verschillende subgroepen te vinden.
• http://research.google.com/bigpicture/attacking-discrimination-in-ml/
Begrijp het proces
• Verander de perceptie. De uitkomst van een ML model is ook maar een ‘standpunt’ — indirect een reflectie van onszelf.
• Behandel deze systemen dus niet als ‘orakel.’
• EU wetgeving is een stap in de goede richting.
Samenvattend
• Veel mogelijkheden
• Ongekende hoeveelheid data + snelle computerhardware + slimme algoritmen.
• Steeds toegankelijker.
• Algemene tendens = grotere rol van big data/ML.
• Pas op voor valkuilen!
• Bias In, Bias Out
• Algoritmen zijn geen orakels