OSMIT 2014

Cicloturista nel Paesedelle Meraviglie di OSM

Appunti di un mappatore viaggiantesulla qualità dati OSM

Versione 2 (Ultime modifiche: 08-10-2014)

Volker SCHMIDT

Via del Cristo 2835127 Padova, Italy

mailto:voschix@gmail.com

cellulare: +39-340-1427105

Scritto con OpenOffice.org Writer

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 1

Sono un mappatore viaggianteMi muovo lungo percorsi ciclabili in Italia e in Europa, per la maggior parte del tempo davanti al computer, ma anche in sella della bicicletta, se ho l'occasione.

Utilizzo OSM quando faccio il cicloturista, sia nella fase di preparare un viaggio o una gita, sia per navigare lungo il percorso che avevo preparato al computer.

Sono arrivato a OSM come utente, per la precisione nella preparazione di un viasggio di gruppo Padova-Paris-London nel 2010.

Sono stato impresso del lavoro fatto della comunità OSM e volevo “ripagare” il mio debito contribuendo a OSM.

Quando preparo un giro e quando, successivamente, utilizzo le mie foto e tracce GPX per aggiornare la mappa, mi muovo lungo dei corridoi, aggiornando non solo la mia strada, ma anche quello che mi capita di vedere a sinistra e a destra.

Oltre a questo ho inserito i percorsi ciclo-turistici della Regione Veneto (1200km) indue successivi incarnazioni e alcuni percorsi della rete Bicitalia.

Ma non ho mi fatto mapping strettamente territoriale e non ho partecipato in nessun import (per paura di essere troppo principinate per poter farlo bene)

Questa presentazione ha come oggetto la qualità dei dati OSM, e vi racconto alcuni aspetti che mi hanno colpito durante questi viaggi virtuali su OSM con particolare riferimento al Veneto.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 2

Appunti di un mappatore viaggiante sulla qualità dati OSM

Sono un mappatore viaggiante ............................................................................................ 2 Il Veneto si stacca dall'Italia? ............................................................................................... 4 Le strade della fantasia ....................................................................................................... 8 Patate o Polenta ? ............................................................................................................. 10 Strade di larghezza zero .................................................................................................... 11 Strade sotto acqua ........................................................................................................... 12

Esempio 1 ....................................................................................................................... 12 Esempio 2 ....................................................................................................................... 13 Esempio 3 ....................................................................................................................... 14

Scoli navigabili? ................................................................................................................. 15 Case Fantasma ................................................................................................................. 17 Le falesie di Venezia .......................................................................................................... 20 La foresta di Monselice ...................................................................................................... 22 Gli alberi che non ci sono .................................................................................................. 24 Tracce Misteriose .............................................................................................................. 25 Canali re-naturalizzati ........................................................................................................ 26 Scaricare il barile a chi viene dopo di noi .......................................................................... 27 Conclusione ....................................................................................................................... 29 Documenti di riferimento .................................................................................................... 30

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 3

Il Veneto si stacca dall'Italia?

Guardando la mappa c'è una chiara tendenza del Veneto, o almeno degli edifici in Veneto, di scivolare verso nord-nord-ovest.Si tratta di un evidente errore di tanti import: non-allineamento di edifici con PCN2006 e tracce GPX degli utenti.

La Guida dice:

Lo stesso tanti dati di edifici eaccessori sono stati importati conscostamenti di 4 metri e piùGli scostamenti non sono uniformi e variano da posto a posto, ma c'è una generaletendenza verso nord-nord-ovest.

Rimedio?Richiede un noioso spostamento a mano dalla parte degli importatori stessi.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 4

Esempi

Cominciamo con casa mia (Padova-Voltabarozzo):

https://www.openstreetmap.org/#map=20/45.378634/11.899684

Scostamento PCN2006: 4m verso nord-ovest

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 5

Padova-Voltabarozzo - scostamento PCN2006

Treviso

http://osm.org/go/0IDfMoHeb?m=scostamento di 5m verso nord-nord-ovest

Rovigo

http://osm.org/go/0IAj7~rJ9?m=scostamento di 4mverso nord.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 6

Treviso - scostamento da PCN2006

Rovigo - scostamento da PCN2006

Adria è soggetto a due “forze” contrastanti: gli edifici scivolano verso sud, ma i landuse (entrambi importati!) scivolano verso nord:http://osm.org/go/0ICDHO9~_?m=

Gli edifici sono spostati di ca 5m versosud, ma i landuse sono spostati dialcuni metri verso nordovest

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 7

Illustration 1: Adria - scostamento da PCN2006

Le strade della fantasiaOvvero: utenti che mappano troppo infretta.

Ci sono alcuni (pochi, per fortuna) utentiche mappano grandi quantità di stradein fretta, ma

● con bassa precisione geometrica (ilpercorso su mappa è spessosbagliato anche di decine di metri),

● con falsi collegamenti ● con tag sbagliati (tipicamente strade

bianche taggate “unclassified” o“residential”)

Devo aggiungere che ne ho corretto acentinaia, ma non voglio più farlo.

Esempio 1:http://osm.org/go/0IAYS9Xi?m=

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 8

Esempio 2: http://osm.org/go/xcb3t37qg-?m=Questa strada ha la geometria sbagliata e non finisce, ma continua. Si tratta di unastrettissima stradina asfaltata.

Rimedio?Gli utenti in questione dovrebbero revisionare il loro lavoro del passato.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 9

Patate o Polenta ?

Ovvero i problemi dei “landuse” importati.

Chi ha importati i landuse spesso non ha controllato se hanno una relazione con larealtà

● sia per quanto riguarda il valore (patate o granoturco)● sia per quanto riguarda la geometria.● sia per quanto riguarda la categoria (per esempio centro commerciale al posto

di farmland)

Rimedio?Distinguere fra patate e granoturco è impossibile da foto aeree. Inoltre l'uso del terreno cambia in funzione dei sussidi dell'Unione Europea. Quindi io toglierei sistematicamente i valori troppo specifici. Un vero lavoraccio!

Per gli altri due errori si possono utilizzare foto aeree aggiornate, ma bisogna farlo sistematicamente. E' un lavoro lungo.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 10

Strade di larghezza zeroSpesso i landuse sono incollati fra di loro e strade confinanti, cioè le strade hanno larghezza zero.

Rimedio?Correggere a mano i landuse in questione.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 11

Strade sotto acqua Esempio 1

http://osm.org/go/xdV_F6yOh--?m= (in Emilia-Romagna)

Problema sembra con i dati CORINE. Code 5114

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 12

Strade sotto acqua - esempio 1

Esempio 2

(http://osm.org/go/xdXz4BmEB--?m=&way=223315879)

Noto problemi con l'import in questazona. I canali includono gli argini e lageometria non è in accordo con le fotoPCN.

Il canalehttp://www.openstreetmap.org/way/223315879 è troppo largo ed è contiguo col campo http://www.openstreetmap.org/way/223318173/. Fra i due c'è un argine con una strada agro-forestale (non ancora mappata) in cima, che adesso è sotto acqua.(qui non trovo riferimento al codice CORINE)

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 13

Strade sotto acqua - esempio 2

Esempio 3http://osm.org/go/0ICA0jeX5?layers=D&m=In questo caso due canali (larghi 12 e 10 metri) si incrociano senza essere fra di loro collegati, con il più piccolo passando sotto quello più largo, ma in OSM condividono il riverbank, che inoltre è molto troppo largo in vari punti.

Rimedio ?Eliminare tutti riverbank prodotti inquesto modo e ricominciaremanualmente

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 14

Strano riverbank - 1

Strano riverbank - 2

Scoli navigabili?Faccio riferimento all'import di corsi d'acqua minori taggati come waterway=canal

Il wiki è molto chiaro sulla definizione di waterway=canal:“Use waterway=canal for man-made waterways used for transportation or also for the largest waterways created for irrigation purposes. “

(l'inglese "canal" non corrispondeall'uso della parola "canale" nelVeneto. )

Esempio dove lo stesso scolo èparte “ditch” e parte “canal” conendering Mapnik:http://osm.org/go/xdX28yI8H--?m=

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 15

Scolo taggato come "ditch" e "canal"

L'errore sta nella tabella di conversione (che ovviamente non è stata utilizzata in tutti casi in modo consistente neanche dallo stesso utente come nel esempio.)

Il problema preciso è l'interpretazione sbagliata della parola “maggiore”.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 16

Case Fantasma Tanti edifici sono stati importati senza controllo se esistono ancora

La Guida scrive chiaramente:“Prima dell'upload finale controllate che:

• Non vi siano edifici presenti che si sovrappongano con quelli presenti nel vostro file. Nel caso siano presenti, tramite Bing controllate che non siano più recenti rispetto a quelli presenti nei dati del veneto. Se si, cancellateli dal vostro file convertito. “

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 17

Esempio:

Chioggia - http://osm.org/go/0ICajV00F-?m=

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 18

Quando avevo sollevato il discorso nella mailing list IT si è sviluppata una discussione un po' bizzarra:

D scrisse:Vero che bisogna controllare il più possibile i dati prima di importare, però se un mappatore si è preso la briga imparare a fare tutto il processo di trasformazione dati ed è arrivato a coprire un paese intero di edifici (o landuse) e di questi dati un 5% sono sbagliati perchè hanno demolito un vecchio capannone oppure un farmland ora è vigneto, io ringrazio comunque il mappatore e quindi approvo in generale l'import regionale. Ovvio che casi di errori lampanti devono essere evitati ed eventualmente segnalati o risolti direttamente, questo però senza screditare tutto il processo

P rispose a D:+1

Mia risposta:Non sono d'accordo per niente. Se dati importati sono sbagliati in partenza di qualcosa come 5% sono spazzatura, se importati senza controllo immediato. Se avessi detto “meno di 1%” sarei forse stato d'accordo, ma 5% è semplicemente troppo.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 19

Le falesie di VeneziaSi tratta di import di muri e bordi di percorsi acque come natural=cliffIn alcune zone con l'import sono stati creati un sacco di falesie (= cliff in inglese, senon sbaglio) che non sono reali. Mi sono accorto per la prima volta di questi artefatti nella Laguna di Venezia dove ne ci sono 185.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 20Le falesie della Laguna di Venezia natural=cliff in montagna ed in laguna

Esempio (ways 152544684; 152545253):

Ho controllato a campione in Laguna. Sono dovuti al Veneto Import Day di due anni fa. Probabilmente un errore di mappatura dei tag nei dati originali sui tag di OSM. Poteva essere

evitato senza problemi. Le “falesie” sono di due categorie: murazzi e normale bordo d'acqua in laguna (non spiaggia). Cioè sono barrier=sustaining_wall o waterway=riverbank.

Rimedio ?La riparazione richiede una verifica manuale di ogni way, prima di assegnarlo alla categoria “riverbank” o “sustaining wall”

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 21

Streetview

La foresta di MonseliceParlo dell'import indiscriminato di alberi, (e muri, recinzioni, …) senza discriminazione per la loro esistenza o meno (zona Monselice e Colli Euganei), spesso sovrapposti a oggetti pre-esistenti e spesso con coordinate sbagliate.

In primo luogo la mia perplessità riguarda la quantità di dettagli importati senza nessun controllo di correttezza e con nessuna possibilità di tenerli aggiornati in futuro.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 22

Per darvi una idea del problema, ho fatto un confronto Monselice – Oxford (due zone che conosco e che si assomigliano):

Ho fatto una piccola prova su un rettangolo centrato su Monselice :

21840 singoli alberi (nodi con natural=tree)4562 muri (ways con barrier=wall)2771 recinzioni (ways con barrier=fence)4308 ways taggati come highway

Una zona simile attorno a Oxford di dimensioni uguali:

307 singoli alberi1019 muri640 recinzioni12195 ways taggati come highway

Rimedio?Gli utenti in questione dovrebbero fare un revert completo dei loro changeset facendo attenzione di non eliminare alberi o altri oggetti “veri”, cioè oggetti significativi inseriti da altri utenti.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 23

Gli alberi che non ci sonoPoi ho notato anche un altro problema di alberi importati: In altre zone ci sono pochi alberi e sembrano stati importati a caso. Esempio: Isola di Sant'Erasmo nella Laguna di Venezia http://osm.org/go/0IDmBOpNV-?m=

Nel esempio vedo nessunnesso fra gli alberi dellamappa e gli alberi nellafoto Bing. (Secondo il source nelchangeset sono dati dellaRegione Veneto importati)

Rimedio?Gli utenti in questionedovrebbe fare revert deiloro changeset eliminandocosì i dati falsi

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 24

Tracce MisterioseHo notato che ci sono zone (di nuovo Monselice) dove qualcuno ha lasciato tracceGPX che delineano edifici. Offuscano le vere trace GPX e non so come contattare l'autore

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 25

Rimedio?

Non so come si fa ad eliminare tracce GPX dal database

Canali re-naturalizzati … ma solo sulla mappa.

Un mappatore ha scansionato le fotoPCN per produrre riverbanks. Cosi haconvertito i “brutti” canali artificiali in “bei”percorsi d'acqua quasi naturali.

Peccato solo che il risultato ha poco incomune con la realtà.

Rimedio?

revert totale e rifare tutto in modo“tradizionale”

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 26

Scaricare il barile a chi viene dopo di noiCommento GeneraleAlcuni importatori di dati e alcuni mappatori hanno deciso di far fare i controlli dei dati inseriti dagli utenti. Il loro concetto è di mettere dati non controllati (cioè potenzialmente sbagliati) in OSM sperando che gli errori siano trovati da successivi mappatori.

A parte il fatto che questa prassi non è in linea con le linee guide per gli import, non avete mai pensato che questo approccio non può funzionare per due precisi motivi?

1) Siamo in pochiIl primo è ovvio e matematico: se siamo in tutta Italia qualcosa come 400 mappatori attivi (come ho letto da qualche parte) e se buttiamo dentro la mappa dati non controllati in quantità così elevate, è altamente probabile che gli errori nonverranno mai corretti.

2) Sono stufo di dover correggere errori intenzionali inseriti da altriSecondo, e questo è un aspetto umano: se mappare il mio percorso che ho fatto ladomenica in bicicletta mi costringe di correggere in continuazione gli errori inseriti intenzionalmente da altri invece di solo aggiungere le cose che ho rilevato io, mi stufo alla grande. Io correggo volentieri e in modo costruttivo errori non intenzionaliche uno ha commesso, ma non errori sistematici dovuto a lavoro altrui fatto male.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 27

Commenti specifici

Strade sbagliateLa mappatura al grezzo di strade, spesso con collegamenti sbagliati (tipicamente non esistenti in realtà) hanno un aspetto specifico e importante. Questi errori danno una cattiva reputazione alla mappa perché il navigatore satellitare ti manda su percorsi non percorribili.

(Per essere onesti di questi problemi ne ho trovati anche negli USA, dove sono dovuti agli dati spazzatura del famoso TIGER import)

Import Gli import sono “landuse”, “edifici”, e “waterways”. Sono tutte e tre categorie cui errori non saltano fuori nel più frequente uso dei dati OSM, cioè per la navigazione in auto. Problemi lungo strade principali si scoprono forse, lungo strade bianche noper il semplice fatto che sono meno frequentate

Import di oggetti che non si vedono nelle renderizzazioni su GPSSe gli oggetti importati (esempi: alberi o muretti) non vengono visualizzati sulla mappa del navigatore GPS con il quale vado in giro, è ovvio che le probabilità che io corregga un errore di importazione sono minime. Se una strada ha un percorso sbagliato, mi ne accorgo sul GPS, se ci sono alberi sulla mappa dove adesso c'è un capannone, non mi ne accorgo.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 28

Meno attenzione alla viabilità minore?Una mia impressione?

Mi sembra generalmente che l'attenzione dei mappatori si concentri sugli elementi più “importanti” della mappa e che gli elementi considerati meno importanti sono mappati con meno cura o mancano completamente.

Per il cicloturista che vuole evitare strade trafficate questo ha l'effetto che le strade che lo interessano, nel caso peggiore, non sono mappati o sono mappati con più errori di geometria, connettività, diritti di accesso, barriere, superficie, larghezza.

In zone dove questi elementi sono mappati bene, gli algoritmi di routing per cicloturisti (tipo Naviki.org) funzionano a meraviglia, da noi invece spesso ti mandano nel bosco, letteralmente.

Conclusione

Sono dell'opinione che gli autori di questi problemi dovrebbero fare un tentativo di organizzare una correzione sistematica e non continuare di fare nuovi import o mappatura con gli stessi difetti.

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 29

Documenti di riferimentoNella pagina wiki Import/Catalogue c'è un link a Veneto Import che porta a una pagina senza contenuto.

Dalla pagina Veneto si trova via Veneto/Guide e documentazione la Guida per Import dalla CTRN5000/10000 a OSM con SHP-to-OSM

Altri documenti di riferimento:

• Veneto/Reticolo Idrografico Veneto• Veneto/Uso del suolo• File_delle_Regole_SHP-to-OSM• Convenzioni_CTRN

Appunti di un mappatore viaggiante sulla qualità dati OSM Slide 30