Upload
just-van-den-broecke
View
88
Download
0
Embed Size (px)
Citation preview
De levenscyclus van Open Geodata met Open Source
tools
Just van den Broecke Jan-Willem van Aalst Frank Steggink Cartodag 2017 – Rotterdam – 15 maart 2017
www.nlextract.nl www.opentopo.nl
• NLExtract en vectordata (Just)• NLExtract en rasterdata (Frank)• OpenTopo: van PostGIS naar kaartbeeld
(J.W.)• Kaartproducten publiceren (Just)• Vragen en discussie over deze levenscyclus
In dit uur
NLExtract: vectordata
Just van den Broecke
1-1-2012:Basisregistraties
worden open data!
Een stukje historie…
Downloaden bij PDOK…?
Bijv. TOP10NL en BAG…
Maar wat dan…?
Bakken met XML en GML
?GML GML
XML XML
Hoe maak je een kaart…?
?GML GML
XML XML
Of een adreszoeker…?
?GML GML
XML XML
Eerst in PostGIS inlezen…
GML GML
XML XML
…met NLExtract dus?
NLExtract
Wat is NLExtract?
Tools (ETL) om vrije Nederlandse overheids-
geodata hapklaar te maken
Wat is NLExtract?
BRT/TOP10NL – Basisregistratie Topografie
BAG – Basisregistratie Adressen en Gebouwen
BGT – Basisregistratie Grootschalige Topografie
BRK – Digitale Kadastrale Kaart (DKK)
AHN2/3 – Hoogtebestand
Bonnebladen – Historische kaarten
TOP10NL3D
Welke datasets worden verwerkt?
DownloadsDownloads
http://data.nlextract.nl
NLExtract enrasterdata:Hillshading
Frank Steggink
DEM: generiekDSM: bevat objecten boven maaiveld: “ruw”
DTM: terrein: “maaiveld”
Uitleg DEM, DSM, DTM
XDTM opvullen
Bron Resolutie Projectie Licentie
AHN 2+3 0,5 RD CC-0
Vlaanderen 1 Lambert 72 Vlaamse Open Data licentie 1.0
Wallonië 1 Lambert 72 Closed source
Nordrhein-Westfalen
1 ETRS89 – UTM zone 32N
Datenlizenz Deutschland Namensnennung 2.0
Nord-Pas de Calais
10 RGF-93 Open data (onbekend)
EU-DEM 25 ETRS89 Open data (Copernicus)
Ook ALOS World 3D – 30m is gebruikt, maar hier zitten teveel artefacten in, wat een lelijk resultaat gaf.
Bronnen
Bronnen: resoluties
AHN 2 en 3 combineren Gaten opvullen:
− kleine buffer (incl. 8 aangrenzende bladen)− omzetten naar hillshade− gaten met egale grijswaarde gevuld
Bladindeling is o.b.v. AHN2
Verwerking AHN
AHN: inwinningsjaren
Data is al opgevuld Herprojectie naar RD, met resolutie 50cm Hillshade genereren Datasets combineren: beste resolutie gebruiken
Verwerking buitenland
Aachen, Aachen, ~~1:10.0001:10.000
Resultaat [buitenland]
Shell
Batch
Tools
AHN3 2015 en nieuwer gebruiken Opvullen gaten:
− DTM opvullen met constante hoogte, i.p.v. hillshade met grijswaarde
− Nauwkeurige gebouw- en watervlakken gebruiken (BAG, BGT)
− Beter opvulalgoritme overblijvende gaten Beschikbaar stellen DTM hele OpenTopo extent
op 0,5m resolutie in RD Toolchain ontwikkelen en open source maken
Mogelijke verbeteringen
OpenTopo:kaarten maken
Jan-Willem van Aalst
Van geo-data naar kaart
• PC met veel SSD, veel geheugen & snelle processor
• PostgreSQL met PostGIS extensie (www.postgres.org)
• QGIS (www.qgis.org)• PDOK Plugin in QGIS• PostGIS databases van NLExtract.nl (kan > 100 GB
zijn!)• Hillshade rasterbestanden van NLExtract.nl• Enig cartografisch gevoel• Veel uren en geduld
Wat heb je nodig
BAGBAG
NLExtract
BRKBRK
BGTBGT
Eerste stappen
TOP10NL
TOP10NL
www.postgres.org/downloadPostGIS extensie: via de Stackbuilder
PostgreSQL/PostGIS installeren
PostGIS dumps restoren
Per PostGIS database een verbindingdefiniëren in QGIS (eenmalig).
PostGIS verbinden in QGIS
PostGIS bevat ‘ruwe’ data zonder styl ing
Er is kaartbeeld in QGIS?
QGIS stijlen toepassen
PDOK plugin in QGIS
• Bóven terreinvlakken, ónder water en gebouwen!
• Op 80% transparantie, anders te dominant• Bilinear / gemiddelde
Hillshading toepassen
1. BAG pandvlakken of BRT/Top10NL pandvlakken?
• Parkeergarages, kassen, hoogbouw…
2. Generalisatie: via andere datasets of via visualisatie?
3. Labels afkappen langs de rand van de kaart4. POI labels uit OSM of uit BRT/Top10NL?5. Labels door QGIS laten plaatsen of uit
TopNamen?6. Bomen uit BGT of uit BRT/Top10NL?7. Wanneer is detail teveel detail? Doel van je
kaart?• … en nog dozijnen andere…
Cartografische dilemma’s
BGT: bronhouders die andere keuzes maken… toch maar TOP10NL erbij halen?
Cartografische dilemma’s
Labelen van veel verschillende features: welke krijgen voorrang?
Cartografische dilemma’s
Een kaartlaag met indexbladen nodig, eventueel met extra omranding i.v.m. afkappende kaartlabels.
Atlas maken met Composer
100 pixels/km~1:100.000 @ 254dpi8 bladen @ 40x50km
200 pixels/km~1:50.000 @ 254dpi54 bladen @ 40x50km
400 pixels/km~1:25.000 @ 254dpi153 bladen @ 20x25km
800 pixels/km~1:12.500 @ 254dpi543 bladen @ 10x12,5km
1600 pixels/km~1:6.250 @ 254dpi1047 bladen @ 10x6,25km
3200 pixels/km~1:3.125 @ 254dpi3300 bladen @ 5x3,125km
OpenTopo resoluties
5x per jaar het volgende proces:
1.Per 9e van de maand BAG en BRK ophalen van NLExtract
2.Per 15e van de maand OSM dumps + PostGIS ophalen van NLExtract
3.Per 18e van de maand BGT PostGIS ophalen van NLExtract
4.Rond de 20e van de maand Top10NL PostGIS ophalen van NLExtract
5.Overige kaartlagen bijwerken: PRK/RRGS, RWS
6.Data preparatie in Postgres PgAdminIII (vooral tekstlabels)
7.Schalen genereren met QGIS atlas composer @96dpi (8, 54, 153, 543, 1047, 3300 bladen, resp. 1, 2, 6, 12, 52, en 135 uur renderen)
8.Uitsnijden en comprimeren met GDAL
9.Conversie naar JPG en GeoTIFF met GDAL
10.Publiceren op data.nlextract.nl
OpenTopo publicatieproces
Op data.nlextract.nl:
1./bag/postgis: ~2 GB (uitgepakt ~45 GB XML)
2./bgt/postgis: ~10 GB en groeiend (~80% gereed per feb. 2017)
3./brk/postgis: ~1 GB (lijnen; ~3 GB vlakken)
4./osm/nl/: ~3 GB
5./osm/buitenland: ~3 GB
6./top10nl/postgis: ~2 GB•Samen uitgepakt > 120 GB in de PostGIS database •Geotifs en jpg’s OT/OST samen > 370 GB
Ruime hoeveelheid SSD (1 TB of meer) is aan te bevelen!
OpenTopo: “Big Data”…
Kaartenpubliceren
Just van den Broecke
TIFFTIFF
JPEGJPEG
GeoTIFFGeoTIFF
NLExtract
NLExtract
Downloads
Downloads
Kaarten publiceren
OpenTopo WMTS op PDOK
Kaartcollecties op Map5.nl
De Map5 Topo-app
Bonnebladen op Map5.nl
NLExtract: de mensen
Jan-Willem van AalstJust van den BroeckeBas CouwenbergMatthijs van der DeijlRichard DuivenvoordeStefan de KoninkMilo van der LindenEdward Mac GillavryTom PesmanReinout van ReesLuuk SchaminéeFrank Steggink
GeodanOpenGeoGroep
Groepsdiscussie en vragen
www.nlextract.nlwww.opentopo.nl
Bedankt