Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Gegevens Digitale Overheid | 18 oktober 2017
Monitoring & logging bij DUO
Frits Bouma ([email protected])
Architect bij CIO-Office DUO
Korte presentatie: • Waarom monitoring & logging? • Veranderende mogelijkheden • Veranderende eisen • Veranderende wensen • Keuzes • Toekomst • Tijd voor vragen
Gegevens Digitale Overheid | 18 oktober 2017
Monitoring & logging bij DUO
3
Waarom monitoring?
• Verstoring van systemen (IT, processen, omgeving) opmerken
• Signaleren van poging tot inbraak
• Biedt mogelijkheid om in te grijpen / bij te sturen
Gegevens Digitale Overheid | 18 oktober 2017
Waarom logging?
• Monitoring levert slechts een momentopname
• Voor rapportage en verantwoording moeten monitoringgegevens bewaard blijven
• Historische gegevens leveren een baseline voor “normaal” gedrag van systemen
• Nodig om afwijkingen te kunnen constateren
• Nodig om effecten van bepaalde keuzes te kunnen meten (leren van ervaringen)
• Nodig om effectiviteit van genomen maatregelen te toetsen
• Prognoses kunnen maken (trendanalyses, extrapolatie)
• Biedt geheugen dat foutherstelling (rollback) mogelijk maakt
• Onweerlegbaarheid aantonen (auditeerbaarheid)
Kennismaken met Rijksbreed | 18 april 2008
4
Verandering maatschappij
Begin jaren 80:
Single channel: post + data entry afdeling
Verwerking ‘s nachts met batch-systemen
Beschikkingen en informatie per uitgaande post
Uitwisseling met ketenpartners op tape per koerier
LAN -> gesloten
Heden:
Multi channel: interactief portaal, app, webservices (M2M-verkeer), (digitale) post;
24/7 real-time verwerking;
WAN -> open
5 Gegevens Digitale Overheid | 18 oktober 2017
Historie bij DUO: platformen Begin jaren 80 klassiek ontwerp & realisatie informatiesystemen: • Mutatielogging bij data entry was vanzelfsprekend onderdeel van
ontwerp; • Een mutatie is een nieuw databaserecord, geen update; • Mutatielogging werd gebruikt voor selectieprocessen in
batchverwerking; • Op batchprocessen veelal geen mutatielogging, maar
verwerkingsverslagen en backup/rollback-mogelijkheden.
Eind jaren 80: inzet 4GL en AS400 • Kenmerk: OS & DBMS waren geïntegreerd • Transactielogging is onderdeel van AS400 • Transactielogging geschikt voor rollback, maar ook uitleesbaar
Medio jaren 00: Java i.c.m. DBMS op iSeries • Automatische transactielogging; • Expliciete aandacht voor mutatielogging in ontwerp: auditcontext (wie,
wanneer, waarmee) bij iedere mutatie; • Meldingenadministratie (kanaalonafhankelijk)
Gegevens Digitale Overheid | 18 oktober 2017
Enige jaren geleden: keuzes maken - schets SOLL
Scheiding oplossingen voor infra- en procesmonitoring
Pushen v
an loggin
g
naar
sta
ndaard
form
aat
Gegevens Digitale Overheid | 18 oktober 2017
Non intr
usiv
e
Complexiteit, volume & gebruik neemt toe Naast mutatielogging:
• Netwerk monitoring
• Intrusion detection
• Applicatiemonitoring
• Procesmonitoring
• eventlogging
• Performance monitoring
• Website monitoring
• Data mining & analyse
• User experience performance monitoring
• Customer journey mining
• Privacy / anonimisering
• ….
Gegevens Digitale Overheid | 18 oktober 2017
In onderzoek: huidige verkeersstromen
Gegevens Digitale Overheid | 18 oktober 2017
Systeem management
Logdata
Externe data
Informatiemanagament
Afgeleide en samengestelde gegevens
Applicaties en registers
Business Analytics
Dataminingfraudebestrijding
Dataanalyticsforensisch
DataanalyticsCJM
??
Systemen
Applicatielogs
procesgegevens
Applicatiegegevens
Business intelligence
bedrijfsinformatie
beleidsinformatie
procesinformatie
Systeemlogs
beveiligingslogs
DWH: MsSQL
Non Transactional database:
Elastic
NOSQL:Cassandra
RDBMS:DB2
OraclePostgreSQL
MsSQL
Splunk
Logs
Data store:????
beveiligingslogs
ETL: Powercenter
ETL:???
Logs
Operational intelligenceInfra
Monitoren infrastructuur
Monitoren perfromance
Monitorenbeveiliging
Operational intelligence
proces monitoring
Applicatie monitoringbeveiligingslogs
Scheiding oplossingen voor infra- en procesmonitoring
Kanaalonafhankelijke meldingenadministratie: onweerlegbaar bewijs
Gegevensregistratie
Ketenpartner
Belanghebbende
Aanvrager
Bundelmelding
Authentieke bron
PostPortaalM2M
Melden
Beweren
Verzoeken
Aandragen feiten
Aanvragen
Auditcontext als metadata
Terug naar “by design”
Gegevens Digitale Overheid | 18 oktober 2017
Trigger voor verwerking. Track&trace-id
In de toekomst:
• melding als “golden record”
• toepassing CQRS-principe
• Vastlegging van bewering is niets anders dan transformatie van melding voor een gebruiksdoel.
Registreer
melding
Meldingen
NAW
Inschrijving
…
Propagate &
transform
CRM
Beslissen
…
schrijf gebruik
Gegevens Digitale Overheid | 18 oktober 2017
12 Gegevens Digitale Overheid | 18 oktober 2017