Modellazione concettuale dei dati: metodi e

strumenti

Percorso formativo per gli Analisti

15 -16/04/2008

Tazzoli – Aula 30

Riccardo GrossoDirezione Banche Dati, Cultura e Atenei /

Cataloghi, Banche Dati, Cultura e Turismo

15-16/04/2008 Riccardo Grosso Modellazione concettuale dei dati

Modellazione concettuale dei dati: metodi e strumenti

ContenutiLa modellazione concettuale

I repository di schemi concettuali

Le ontologie informatiche e il web semantico

La modellazione concettuale

Concetti base (cenni) della modellazione entita’ relazioni Fonte: http://www.ph.unito.it/ccl/ccl/dispense/Trattamento_dati_nelle_imprese.html

Metodi e Tools (cenni): UML, Erwin Fonte: http://www.ph.unito.it/ccl/ccl/dispense/Trattamento_dati_nelle_imprese.html

ProCSI, metadati e modellazione Case study di modellazione concettuale basato sull’interpretazione linguistica dei testi

La scomposizione in fasi del processo di progettazione ha lo scopo di scomporre i problemi e garantire la possibilità di modifica delle soluzioni adottate.

Queste fasi sono: Schema concettuale (o modello concettuale) Progettazione Schema logico (o modello Logico) RealizzazioneSchema Fisico (o modello Fisico) Implementazione

Progettazione Basi Dati operazionali

Il modello dei datiIl modello dei dati

Il livello concettualelivello concettuale rappresenta la realtà dei dati e le relazioni tra essi attraverso uno schema. Il livello concettuale è la rappresentazione completa ed efficace del contesto, cioè della realtà a cui si riferisce. Essa è la rappresentazione più vicina alla logica umana. I modelli dei dati usati nella progettazione concettuale vengono definiti modelli semantici. Quello più diffuso è l’’ENTITY-RELATIONSHIPENTITY-RELATIONSHIP che prevede la individuazione delle Entità, cioè degli oggetti concreti o astratti, a la loro classificazione in insiemi omogenei.

Il modello concettualeIl modello concettuale

La fase logica del processo di progettazione di un DB ha lo scopo di tradurre lo schema concettuale in modello logico dei datitradurre lo schema concettuale in modello logico dei dati.

Lo schema logico (a differenza del concettuale) dipende dal tipo di DBMS utilizzato e in particolare dal modello logico dei dati.

Il Modello logico dei dati rappresenta come sono organizzati i dati negli archivi elettronici: descrive quindi la composizione ed il formato dei dati nel loro aspetto di struttura logica di dati. Il livello logico viene derivato dal livello concettuale

Il Modello logico dei dati è quindi la tecnica di organizzazione e Il Modello logico dei dati è quindi la tecnica di organizzazione e accesso ai dati utilizzata da specifiche categorie di DBMSaccesso ai dati utilizzata da specifiche categorie di DBMS

Il modello logicoIl modello logico

Il Modello fisicoModello fisico rappresenta l'effettiva installazione degli archivi elettronici: esso indica l'ubicazione dei dati nelle memorie di massa (dischi). Il livello fisico è quindi l'implementazione del livello logico sui supporti per la registrazione fisica dei dati: partizioni, puntatori, blocchi fisici, cluster, indici.

Il Modello fisicoModello fisico stabilisce come le strutture definite a livello logico debbano essere organizzate negli archivi e nelle strutture del file-system; esso dipende quindi dal tipo di DBMS, dal sistema operativo e dalla piattaforma hardware utilizzata del sistema che ospita il DBMS.

Il modello fisicoIl modello fisico

Cosa sono i metadati

http://it.wikipedia.org/wiki/Metadato

AUT OMOBILEF IGLIO

DONNAUOMO

generae'

generato da

s pos as i s pos a con

guidae' guidata da

Il Bignami dell’entity relationshipIl Bignami dell’entity relationship

UOMO.sposa.DONNA

» Ovvero

SOGGETTO.predicato-verbale.COMPLEMENTO-OGGETTO

» Ovvero

ENTITA.relazione.ENTITA

Gli esempi che seguono utilizzano il tool Erwin

Forme normali

http://www.liceofoscarini.it/didattic/data-base/formenormali.html

Le generalizzazioni

• PERSONA generalizza» UOMO» DONNA

Lo schema che segue utilizza il tool StarUML:\\wi064175\StarUmlExe2

PERSONA

UOMO DONNA

Il Case Study dal titolo: IL CITTADINO CHE PAGA I TRIBUTIIl cittadino e’ un soggetto con caratteristiche fisiche e giuridiche. Puo’ possedere un’impresa. Puo’ ammalarsi e quindi godere dell’assistenza medica. Puo’ candidarsi alle elezioni… Ma prima di ogni cosa deve pagare i tributi ! Per fare questo, la pubblica amministrazione lo aiuta…La pubblica amministrazione si occupa di gestire le cose pubbliche: i beni dei cittadini e i documenti che comprovano che il cittadino ha versato i tributi ! Altrimenti il cittadino va incontro ad atti giudiziari. Il cittadino possiede quindi dei beni, e per tali beni viene “convinto” a pagare i tributi. I beni possono essere mobili, come le automobili, e immobili, come abitazioni, fabbricati e terreni. Se il cittadino possiede immobili, questi devono essere registrati al catasto. Nell’esempio, il cittadino Valter possiede una abitazione ed alcuni terreni. Da pochi giorni, insieme al fratello Silvio, ha un’impresa che possiede fabbricati. I cittadini e le imprese possono risiedere in localita’ diverse. Una localita’ e’ identificabile da un indirizzo: via o strada, numero civico. I cittadini possiedono automobili. Per pagare i tributi effettuano versamenti. L’ impresa dei nostri amici Valter e Silvio risiede in provincia di Roma, mentre le loro rispettive abitazioni sono entrambi nel comune di Roma. Le loro automobili sono targate Roma. L’abitazione di Silvio da verifiche effettuate non risultava censita come particella catastale. Per tutti i loro beni esistevano versamenti.

Approfondimenti sulla progettazione concettuale datiApprofondimenti sulla progettazione concettuale dati

Il corso del professor Lenzerini:

http://www.dis.uniroma1.it/~lenzerin/didattica/basididati/materiale/4-progettazioneconcettuale.pdf

Approfondimenti sulle tecniche di reverse/forwardApprofondimenti sulle tecniche di reverse/forward

http://www.tecnetdati.it/portale/download/Re_database.ppt

Introduzione alle basi dati decisionaliIntroduzione alle basi dati decisionali

Basi dati operazionali e decisionali

Differenze

Dall’operazionale al decisionale

Progettazione Basi Dati decisionali

Due tipologie di banche dati:

operazionali: • contengono dati di interesse quotidiano• vengono aggiornate costantemente in relazione alle • procedure amministrative e tecniche di competenza di un ente

informativo-decisionali: • servono per supportare le esigenze di integrazione di • informazioni provenienti da banche dati operazionali diverse• sia ai fini di diffondere conoscenze, sia per supportare i • processi decisionali ai diversi livelli (micro o macro decisioni)

Tipologie di Banche DatiTipologie di Banche Dati

Nel DW i dati sono organizzati per soggetto anziché per applicazione

Tra tutte le informazioni operazionali vengono selezionate solo quelle necessarie per il processo decisionale

Subject-oriented (Orientata ai soggetti)Subject-oriented (Orientata ai soggetti)

Comune BeneficiarioComune Beneficiario

ProcedimentoProcedimento

Oggetto di InterventoOggetto di Intervento

FinanziamentiFinanziamenti

La Base Dati è un insieme di “La Base Dati è un insieme di “fattifatti” ” nello spazio multidimensionalenello spazio multidimensionale

Struttura di una base dati decisionaleStruttura di una base dati decisionale

L’architettura fisica del Modello Dimensionale è descritta attraverso lo STAR SCHEMASTAR SCHEMA

ClientiClienti

ProdottoProdotto

TempoTempo

ProduzioneProduzioneGeografiaGeografia

Progettazione Basi Dati decisionaliStruttura multidimensionaleStruttura multidimensionale

Dimensione1_PK

Dimensione1_PKDimensione2_PKDimensione3_PKDimensione4_PK

Misura1Misura2Misura3Misura4

Dimensione3_PK Dimensione4_PK

Dimensione2_PKTavola dei FattiTavola dei Fatti

Dimensione1Dimensione1 Dimensione2Dimensione2

Dimensione3Dimensione3 Dimensione4Dimensione4

Data Modeling per sistemi decisionali: lo Data Modeling per sistemi decisionali: lo Star SchemaStar Schema

Progettazione Basi Dati decisionaliEsempio di Esempio di Star SchemaStar Schema

Analisi base dati gestionale

Studio delle interrogazioni

Dal DB gestionale…Dal DB gestionale…

… … al DB decisionaleal DB decisionale

Approfondimenti sulla progettazione DataWarehouseApprofondimenti sulla progettazione DataWarehouse

Il corso del professor Batini:

http://www.disco.unimib.it/upload/3.1%20DWData%20WarehouseRevCB020205.pdf

ProCSI

Metadati e ProCSIhttp://intranet/prog/banchedati/dwd/metadpro.ppt

Modellazione dati e ProCSIhttp://intranet/organizzazione/processi/procsi/dwd/Modello_dati.doc

I repository di schemi concettuali

Metadati e cataloghi Riuso dati, servizi (archimede) e metadati Repository schemi PA (esperienze con univ. MI-Bicocca)

Fonte: http://www.ph.unito.it/ccl/ccl/dispense/Trattamento_dati_nelle_imprese.html

Standard, metodi e tools (Dublin Core, etc.)

Metadati e cataloghi

Metadati e cataloghi: vecchio e nuovo infodir

Infodir = information directory

Il vecchio infodir

Propedeutico per la comprensione del metamodello dei dati del repository metadati

Si evolve nel nuovo infodir che puo’ classificare qualsiasi oggetto introducendo nuovi oggetti e nuove tassonomie

Cosa dicono i guru (fonte Zach Wahl)

La nostra interpretazione applicata alle basi dati

PeopleSoggetto

PlacesGeografia

• Luogo • Territorio • Urbanistica

ThingsBeneDocumento

GEOGRAFIA LUOGOGEOGRAFIA LUOGO

GEOGRAFIA TERRITORIOGEOGRAFIA TERRITORIO

GEOGRAFIA URBANISTICAGEOGRAFIA URBANISTICA

BENE (COSA)BENE (COSA)

DOCUMENTO (COSA)DOCUMENTO (COSA)

SOGGETTO FISICOSOGGETTO FISICO

SOGGETTO GIURIDICO (IMPRESA)SOGGETTO GIURIDICO (IMPRESA)

Ad inizio 2007 è stata rilasciata una nuova versione di Information Directory che supera alcuni limiti architetturali del vecchio infodir nato nel 1999.

Esso è stato infatti generalizzato e potenziato, nonchè condiviso tra le 3 principali pubbliche amministrazioni piemontesi (Regione, Città e Provincia di Torino), e riconosciuto come “il nuovo infodir”.

Il nuovo infodir annovera tra le sue principali caratteristiche le seguenti:

Caratteristiche principali:backend decentrato (data stewardship) presso i centri di competenza per materia presenti in CSI e presso gli entiviste separate e viste condivise dei metadati, sia di business che tecnicioggetti generalizzatimodello dimensionale o facet-based (a faccette e focus)classificazioni dinamiche, ovvero tassonomie, generalizzate, ed associabili a criteri di text mining che permettono di classificare automaticamente gli oggetti via via censitisearch, browse e ricerche avanzate tra loro intersecabili

Metamodello del catalogo descritto

Classificazione automatica in infodirNella migrazione di una delle tassonomie previste, si e’ fatto un esperimento di text miningClusterizzando gli oggetti in automatico classificandoli nella vecchia tassonomiaConfrontando i risultati automatici con quelli manuali dati dagli oggetti classificati manualmente nella vecchia tassonomiaUsando i risultati del confronto per affinare gli algoritmi automaticiUsando infine gli algoritimi automatici affinati applicandoli alla nuova tassonomia e migrando in automatico gli oggettiChiedendo ai power-user di verificare la migrazione risparmiando loro manualita’

Searching & Browsing in infodirLe ricerche sono possibili partendo indifferentemente da searching e da browsing di:

Tassonomie

Tipi di oggetto

Partendo ad esempio da un search, posso affinare la ricerca per

Tassonomia

Tipo di oggetto

Singolo metadato (ad esempio fase)

Di seguito si mostra una sequenza di screenshot di esempio

Esempio I

Esempio II

Esempio III

Riuso dati, servizi (archimede) e metadati

Cenni sul riuso dei datiCenni sul riuso dei dati

Costruire una serie di tavole di riferimento (di uso operazionale e decisionale) contenenti codifiche comuni, complete, certificate ed aggiornate costituisce un primo passo per l'integrazione delle basi dati, l'interscambio informativo e la cooperazione tra le diverse amministrazioni.

Per acquisire la classificazione che si vuole gestire in una tavola trasversale, viene ricercata la fonte dati più qualificata. Obiettivo è quello di identificare l'ente responsabile dell'informazione (ISTAT per i codici Istat, Ministero delle Finanze per i codici Belfiore, ecc): in tal senso i dati acquisiti vengono considerati "certificati", ovvero emessi dalla fonte che li produce e ne è responsabile.

Cenni sul riuso dei datiCenni sul riuso dei dati

Una volta acquisito il flusso informativo dalla fonte dati individuata, si procede comunque ad una fase sistematica di controllo e validazione dei dati acquisiti: viene verificata, ad esempio, la corrispondenza del livello di aggiornamento con quello dichiarato dalla fonte, la completezza dell'informazione, in sintesi l'idoneità dei dati a corrispondere all'obiettivo informativo per cui sono raccolti.

Esercitazione pratica di riuso su Business Objects - Webi

Cercare nell’universo webi le topten e gli impatti delle entita’ e degli attributi del modello concettuale “cittadino paga tributi”

Supertipi su dimensioni condivisibili (user = metadati, pwd = meta$1, selezionare in alto la categoria "Top 10 e Analisi di impatto")

Repository schemi PA (esperienze con univ. MI-Bicocca)

L’informazione negli schemi e’ nascosta ……

DATA DIVISION.WORKING-STORAGE SECTION.01 PERSONA.05 UOMo.10 COD-UOMO PIC X(5).10 DESC-UOMO PIC X(80).05 DONNA REDEFINES UOMO.10 TIPO-RECORD PIC X.10 COD-DONNA PIC 9(5).10 DESC-DONNA PIC X(80).01 AMMINISTRAZIONE.05 REGIONE.10 COD-REGIONE PIC X(3).10 COD-DUMMY PIC X(6).10 DES-REGIONE PIC X(80).05 PROVINCIA REDEFINES REGIONE.10 COD-REGIONE PIC X(3).10 COD-PROVINCIA PIC X(3).10 COD-DUMMY2 PIC X(3).10 DES-PROVINCIA PIC X(80).05 COMUNE REDEFINES REGIONE.10 COD-REGIONE PIC X(3).10 COD-PROVINCIA PIC X(3).10 COD-COMUNE PIC X(3).10 DES-COMUNE PIC X(80).01 PERSONA-AMMINISTRAZIONE.05 LEGAME.10 COD-PERSONA PIC X(5).10 COD-AMMIN PIC X(3).

Gli schemi sono non integrati ed eterogenei

Anagrafe residenti

Anagrafe assistiti

Anagrafe soggettifiscali

Archivio dipendenti

Archivio cacciatori

Persona

Codiceprogres-sivo

Codicefiscale

Numero tessera sanitaria

Codiceinterno

Visione

Il CSI Piemonte e le Amministrazioni del piemonte sono coinvolte nei processi di eGovernment, sia a livello locale (Piemonte) sia a livello nazionale (cooperazione con le Amministrazioni centrali)

Sono percio’ protagonisti nel disegno di cambiamento

Per attuare questo disegno serve

1. Un modello per rappresentare gli schemi dati

2. Una struttura con cui organizzare gli schemi in un repository

3. Una metodologia con cui creare e manutenere il repository in maniera efficiente a partire dalla conoscenza disponibile

4. Uno scenario di utilizzazione della conoscenza accumulata

5. Uno strumento di supporto

1. Il modelloIl modello Entita’ Relazione

Generalizzazione

Esempio di schema nel modello Entita’ Relazione

PersonaCodice

Cognome

UomoDonna

ComuneCodiceNomenato

ProvinciaCodiceNome

Le persone si dividono in donne e uomini. Le persone sono descritte da codice e cognomeLe persone sono nate in Comuni, i Comuni sono localizzati in Province e le Province in RegioniComuni, Province e Regioni hanno codice e nome

RegioneCodiceNome

Entita’ Relazione Attributo

Dal Cobol,al modello Entita’ Relazione al linguaggio naturale

PersonaCodice

Cognome

UomoDonna

ComuneCodiceNomenato

ProvinciaCodiceNome

In inRegioneCodiceNome

DATA DIVISION.

WORKING-STORAGE SECTION.

01 PERSONA.

05 UOMo.

10 COD-UOMO PIC X(5).

10 DESC-UOMO PIC X(80).

05 DONNA REDEFINES UOMO.

10 TIPO-RECORD PIC X.

10 COD-DONNA PIC 9(5).

10 DESC-DONNA PIC X(80).

01 AMMINISTRAZIONE.

05 REGIONE.

10 COD-REGIONE PIC X(3).

10 COD-DUMMY PIC X(6).

10 DES-REGIONE PIC X(80).

05 PROVINCIA REDEFINES REGIONE.

10 COD-PROVINCIA PIC X(3).

10 COD-DUMMY2 PIC X(3).

10 DES-PROVINCIA PIC X(80).

05 COMUNE REDEFINES REGIONE.

10 COD-PROVINCIA PIC X(3).

10 COD-COMUNE PIC X(3).

10 DES-COMUNE PIC X(80).

01 PERSONA-AMMINISTRAZIONE.

05 LEGAME.

10 COD-PERSONA PIC X(5).

10 COD-AMMIN PIC X(3).

Le persone si dividono in donne e uomini. Le persone sono descritte da codice e cognomeLe persone sono nate in Comuni, i Comuni sono localizzati in Province e le Province in RegioniComuni, Province e Regioni hanno codice e nome

2. La struttura del repository di schemi

Studio CSI Assinform

Organizzazione

Flusso di dati

Fornisce Fruisce

Riguarda Materia

Noi siamo interessati sia ai flussi che alle basi di dati

OrganizzazioneBase Dati

Flusso di dati

Fornisce Fruisce

AggiornaUsa

Materia

Schema concettuale

Concetto di schema(Entita’/Rel/Generalizzazione)

Metaschema – Versione dettagliata - 1

Organizzazione Schema logicofisico

Flusso di dati

FruisceUsa

Materia/Argomento CSI

Aggiorna

Fornisce

Con tanti schemi…

Due strumenti concettuali

Integrazione, per “mettere insieme” e “riconciliare”

Astrazione, per “capire” e “sintetizzare”

Integrazione (linguaggio naturale)

Schema 1

Lavoratori e loro organizzazioniSchema 2

Lavoratori, loro citta’ di nascita e relativa area regionale

Schema 3

Organizzazioni e regioni dove sono localizzate

•Lavoratori, loro citta’ di nascita e relativa regione•Lavoratori e loro organizzazioni, e, delle organizzazioni, •regioni dove sono localizzate

L’integrazione: modello Entita’ Relazione

Lavoratore Citta’ Regione

Organizzazione

lavora

Lavoratore

Organizzazione

Lavoratore Citta’ RegioneArea

Organizzazione

lavoranato

L’astrazione (linguaggio naturale)

•Lavoratori, loro citta’ di nascita e relativa regione•Lavoratori e loro organizzazioni, e delle organizzazioni •Regioni dove sono localizzate

•Lavoratori, organizzazioni dove lavorano e riferimenti •geografici di nascita e di localizzazione.

L’astrazione: modello Entita’ Relazione

LavoratoreRiferimentogeografico

Organizzazione

lavora

Organizzazione

lavora

nato in

Se le usiamo insieme: integrazione + astrazione

Lavoratore

Organizzazione

lavora

nato in in

IntegrazioneLavoratore Citta’ Regione

Organizzazione

Astrazione

La struttura di integrazione - astrazione

Integrazione –Astrazione

Organizzazione

lavora

Lavoratore

Organizzazione

Regione

Organizzazione

lavorain innato

Le abbiamo usate iterativamente ottenendo il repository

Schemi base e schemi astratti

Schemi astratti

Schemi base

3. Una metodologia per costruire il repository a partire dalla conoscenza disponibile

Conoscenza disponibile

Gli schemi logici e fisici della PA Piemontese (PAP) gestiti da InfodirCirca 500 schemi logici conCirca 18.000 tabelle con Circa 200.000 campi

Gli schemi concettuali della PA centrale (PAC) censiti e organizzati dall’Aipa in un Repository analogo

Circa 5.000 entita’ Circa 10.000 attributiCirca 50 schemi astratti della PA Centrale, organizzati secondo le operazioni di integrazione astrazione

Facendo cio’ con basso utilizzo di risorse

Se procediamo con una metodologia tradizionale di reverse engineering sui 500 schemi PAP, assumendo due settimane persona a schema, si ha:

Risorse con procedura tradizionale = 0,5 mesi persona * 500 = 25 anni persona

Dovevamo inventarci una metodologia approssimata che ci permetta di ridurre l’uso delle risorse di un ordine di grandezza

Repository PAC – struttura completa

TRASPORTI COMUNICAZIONIPRODUZIONELAVOROCULTURAEDILIZIA

AMBIENTEISTRUZIONESANITA'SICUREZZA GIUSTIZIADIFESAAFFARI ESTERI

ASSICURAZIO- NE SOCIALE

CERTIFICA-

SCHEMA INTEGRATO DELLE BASI DI DATI DELLA PA DI 1° LIVELLO

SERVIZI

SERVIZI GENERALI SERVIZI DIRETTISERVIZI SOCIALI ED ECONOMICI

SERVIZI SOCIALI SERVIZI ECONOMICI

STATISTICARISORSE DI SUPPORTO

RISORSE FINANZIARIE

RISORSE STRUMENTALI E IMMOBILIARI

RISORSE UMANE

RISORSE

2/12 8/

6/53 10

/76 6/

0 5/56

5 3/13

00 9/11

2 10/1

Lo schema piu’ astratto

BeneSoggetto

Documento

Unitàorganizzativa

Riferimentoterritoriale

In sintesi

18.000 tabelle

Rappresentazione logico fisica

550 schemiRappresentazione

concettuale

Pubblica Amministrazione

localePubblica Amministrazione

centrale

Schemi descritti nel Repository

Soggetto

Bene Soggetto

Documento

Unitàorganizzativa

Riferimentoterritoriale

S. fisico S. giuridico

Soggetto fisico

pensionato

di guerra

invalidità civile

Ricorrente per invalidità civile

casalinga

volontario

studentestraniero

con handicap

borsista

candidato

Segretario comunale

assistito

tossicodipendente contribuente

utente anagrafetributaria

Contribuente ufficio iva

appartenente catasto

scuola

giustizia

affari esteri

lavoro

pensioni

Salute ed assistenza

politica

vita sociale

lavoratore

disoccupato

autonomodipendente

Alla ricerca di nuova occupazione

Alla ricerca di prima occupazione

detenuto

condannato

in attesa di giudizio

segnalato

Tossicodipendente segnalato

straniero italiano

residente all’estero

Richiedente cittadinanza

Richiedente visto

163MI, MT, MD

363739

MF, MT

180526

MGG, MI,MIBCA , MT, MTN

MI, MS

MAE, MURST, MPI

MAE, MGG,MI

MAE, MI, MLPS

507602

104105

171603

111170

20 24 25

93 9697

108120

131137

506515516

MAE, MF, MGG, MI,

MIBCA, MLP, MLPS, MT,MTN, MCE,MD, MURST

Schemi base e Gerachie di generalizzazioneCaso Soggetto fisico

La gerarchia di soggetto

–soggetto fisico•Lavoro

•lavoratore–lavoratore autonomo–dipendente pubblico

•disoccupato•……

–soggetto giuridico•impresa•istituzione p.a.•Istituzione sociale privata•……

Utlizzeremo percio’ una conoscenza piu’ sintetica: le gerarchie di generalizzazione

Schemi logici

Schemi

concettuali

Pubblica Amministrazione

Locale

Pubblica Amministrazione Centrale

Gerarchie diGeneralizzazione:-Cittadino-Impresa-Organizzazione-Documento-Luogo-Bene

Sintesi della metodologia

Scopo della metodologia: semplificare il compito del referente dati, utilizzando il piu’ possibile strumenti automatici, a costo di una certa approssimazione nelle scelte.

Assunzione: ad un certo livello di astrazione gli schemi della PAL Piemontese sono “simili” a quelli della PA Centrale. Si differenziano nei livelli di astrazione piu’ bassi.

Le due fasi della metodologia

Fase automatica

Schemascheletro

Schemafinale

Fasemanuale

Referente dati competentesul dominio

Fase automatica: generazione entita’

1-GENERAZIONE ENTITA'

input:a) le entita' delle ontologieb) le tavole della base dati

output:x) le tavole "pescate" dall'algoritmoy) le entita' delle ontologie corrispondenti alle tavole pescate in x

ALGORITMO: - PER OGNI ENTITA' DELLE ONTOLOGIE (LOOP) - PER OGNI TAVOLA DELLA BASE DATI - SE C'E' ALMENO 1 ATTRIBUTO DELLA TAVOLA CHE SIA"SOMIGLIANTE" AL NOME DELL'ENTITA' DELL'ONTOLOGIA - SCELGO L'ENTITA' - ENDIF - END LOOP - END LOOP

SOMIGLIANTE = LIKE "STRINGA" IN NOME E/O DESCRIZIONE ATTRIBUTO

Passo 1: Generazione entita’

…..Attributi eTabelle

Gerarchie

PA Piemontese

PA Centrale

Generazione entita’ - Ricerca per somiglianza

Attributi eTabelle degliSchemi logici

Gerarchie

PA Piemontese

PA Centrale

Generazione entita’ - passo finale

Attributi eTabelle

PA Centrale

PA Piemontese

Generazione generalizzazioni

2-GENERAZIONE GENERALIZZAZIONI

input:a) le entita' trovate in generazione entita'b) le tavole trovate in generazione entita'

output:x) le generalizzazioni delle entita'y) le generalizzazioni delle tavole

algoritmo:- osservando le generalizzazioni complete delle entita' delle ontologie,riporto quelle presenti nelle entita' selezionate in generazione entita'- per analogia, le tavole corrispondenti alle entita' "sposano" le medesimegeneralizzazioniCon un esempio astratto, se ho una ontologia completaA B C D E

Generazione generalizzazioni

se precedentemente ho selezionato A, B, D le generalizzazioni trovatesarannoA B D

Se avevamo corrispondenza tra A e TAV1, B e TAV2, D e TAV4, avremo lagerarchia di generalizzazione tavole:TAV1 TAV2 TAV4

Generazione relazioni

3-GENERAZIONE RELAZIONI

input:a) le entita' selezionate ai passi precedenti

output:x) le relazioni tra le entita' selezionate

algoritmo:- per ogni entita' delle ontolologie selezionata (loop) - cerco nei 500 schemi le entita' (dei 500 schemi) - con riferimento all'esempio astratto di cui sopra avremo adesempio: per A: A1,A2,...AN per B: B1,B2,..BN per C: C1,C2,...CN per D: D1,D2,...DN per E: E1,E2,...EN

Generazione relazioni

- supponiamo di trovare A1-B4 (A-B) A7-B5 (A-B) B3-D9 (B-D) C8-C4 (C-C) C6-D2 (C-D) C1-E8 (C-E) - in casi di molteplicita' scelgo 1 sola relazione, piu' o menoarbitrariamente... - nell'esempio scegliero': A-B (una delle 2 relazioni trovate) B-D C-D C-E non scelgo ma potrei farlo C-C - il cammino relazionale selezionato sara' A-B-D-C-E

Generazione attributi

4-GENERAZIONE ATTRIBUTI

input:a) le entita' selezionate in passo 1b) le tavole selezionate in passo 1c) gli attributi delle tavole selezionate in passo 1 (vedasi algoritmo delpasso 1)output:x) per ciascuna entita' i suoi attributialgoritmo:importo IN ciascuna entita' gli attributi delle tavole corrispondentiCon il solito esempio, se avevamoA corrisponde a TAV1 (CAMPO1, CAMPO2)B corrisponde a TAV2 (CAMPO3, CAMPO4)D corrisponde a TAV4 (CAMPO5, CAMPO6)l'output sara'A (CAMPO1, CAMPO2)B (CAMPO3, CAMPO4)D (CAMPO5, CAMPO6)

Infer constraints

5-GENERAZIONE RELAZIONI (PASSO ADDITIVO FATTO SUI CONSTRAINTS FISICI)input:a) le tavole pescate al punto 1 di generazione entita'output:x) le tavole selezionate unite dagli eventuali constraints, piu' eventualitavole che si frappongono per costituire il cammino dei constraintsalgoritmo:- con un tool (generalmente erwin) si effettuano sulla base dati operazionidi "infer relationship" considerando: - chiavi primarie e chiavi straniere esistenti - indici univoci - somiglianza di nomi campi- si derivano i constraints (relazioni fisiche)Con un esempio, se avevamo individuato precedentemente le tavole TAV1, TAV2e TAV4, il cammino relazionale fisico ottenuto dai constraints potrebbeessere: TAV1-tav5-TAV4-TAV2 (tav5 viene introdotto perche' necessaria alcammino per unire TAV1 e TAV4)

Verifica col referente dati

6-VERIFICA CON REFERENTE DATI

input:a) tutto il materiale prodotto nei passi precedentib) le indicazioni del referente dati che in generale saranno di 2 tipi: - mi aspettavo venisse pescata ANCHE questa tavola - NON mi aspettavo venisse pescata quest'altra tavola

output:x) il modello dati con i concetti in piu' e/o in meno verificati colreferente dati

algoritmo:- per ogni entita' pescata impropriamente, la rimuovo (il criterio disomiglianza spara nel mucchio)- per ogni entita' mancante, la aggiungo con la consulenza del referentedati, corredandola di attributi e relazioni

Passo Manuale: Verifica del referente dati

Esempio simbolico

Schema “automatico” Schema

dopo verifica referente

I tools realizzati

Tool con schemi concettuali PA locale piemontese mutuati per inferenza induttiva da quelli della PA centrale

Tool contenente sia gli schemi PA centrale che quelli della PA locale piemontese mutuati

Tool PA locale

Screenshot del tool

Tool PA centrale e locale

Screenshot del tool

Standard, metodi e tools (Dublin Core, etc.)

Le ontologie informatiche e il web semantico

Schemi concettuali come ontologie leggere e glossari

Inferenza induttiva per il riuso dei concetti

Tassonomie e Semantica Fonte: http://www.ph.unito.it/ccl/ccl/dispense/Trattamento_dati_nelle_imprese.html

Standard (OWL)

Per valorizzare il patrimonio di metadati censiti, a supporto di Infodir è stata sperimentata una metodologia, implementata in un tool, che fa uso di ontologie “leggere”.

In particolare, la metodologia sfrutta tassonomie derivate dalle gerarchie di generalizzazione di un’ontologia della conoscenza gestita dalle pubbliche amministrazioni centrali (PAC).

La metodologia e il tool hanno come principali obiettivi:fornire nuovi metadati che arricchiscano le tassonomie esistenti attraverso un processo matching supportato da criteri di somiglianza (implementati nel tool come criteri ‘like’ di SQL) tra

• i nomi degli elementi presenti nelle tassonomie PAC • i nomi degli elementi estratti dalla nuove sorgenti informative.

Sfruttare le tassonomie PAC e i constraints presenti nelle strutture delle basi dati logiche censite per strutturare il patrimonio di metadati estratto dalla nuove sorgenti informative (abilitando un’attività di Data Reverse Engineering).

Metadati e ontologie: finalità

Ontologie “leggere” e ontologia PAC

L’ontologia PAC è stata costruita a partire da un insieme di schemi concettuali relativi alla PAC, integrati/astratti a diversi livelli, e dalle gerarchie di generalizzazione definite dal livello di integrazione/astrazione degli schemi.

Ciascuno schema contiene: • Entità e attributi • Gerarchie di generalizzazione Is-A• Relazioni tra entità

Relazioni interschema definiscono le relazioni di generalizzazione tra concetti e i rapporti tra i diversi schemi

Le ontologie “leggere” di infodir sono costituite da :Entità e attributi Relazioni tra entitàGerarchie di generalizzazione

Ontologie in infodir usate in duplice senso:

1. Creazione di tassonomie di concetti di rilievo per le PA a supporto della navigazione e del recupero delle informazioni presenti nelle basi di dati locali

3. Estrazione di conoscenza da schemi logici di basi di dati locali, con inferenza di ontologie specifiche relative a tali basi di dati

Duplice uso delle ontologie in infodir

Navigazione di infodir e recupero delle informazioni mediante uso di

ontologie

Inferenza di Supertipi di Entità PAL

Riutilizzando la tassonomia derivata dall’ontologia PAC sono stati derivati supertipi di entita’ degli schemi logici delle basi di dati locali

Mapping dinamici tra concetti della tassonomia PAC e entita’ degli schemi logici delle basi PALUtilizzo di tali mapping per per recuperare concetti e informazioni delle basi di dati PAL Sono stati ottenuti 261 supertipi specializzati per tematica di business (ad es. Imprese) riguardanti principalmente:

• La tematica di business “Imprese”• La gerarchia “soggetto”• La gerarchia “bene”• La gerarchia “documento” • La gerarchia “geografia” (luogo, urbanistica, territorio)

Ciascun livello delle singole tassonomie ha associato un criterio di somiglianza che “pesca” dai metadati descrittivi tecnici delle componenti delle basi dati (tavole, campi).

In questo modo è possibile ricondurre concetti molto specifici di dominio a concetti più astratti quali Soggetto, Documento, Proprietà, Luogo e utilizzare criteri di ricerca più intuitivi per l’utente.

Questa tecnica di inferenza tassonomico-ontologica attuata su infodir, consente, per ogni singolo concetto della PA, di verificare in quali basi dati questo concetto e’ fisicamente istanziato, come e’ correlato o correlabile sia top-down che bottom-up.

Risultati

Un esempio: Geografia Urbanistica

Sperimentazione con metodi e tool per la mappatura di schemi concettuali PA con

schemi logici delle basi dati catalogate (in collaborazione con l’universita’ di Milano

Bicocca )

Per incrementare e valorizzare il patrimonio esistente di metadati, abbiamo quindi sperimentato tali vie metodologiche e progettuali, per permettere poi lo sviluppo di un tool per la creazione di uno schema repositoryE’ stato preso come riferimento il repository della PA centrale (realizzato alcuni anni or sono), con l’obiettivo di costruirne uno specifico per la PA locale piemontese, fondato sulle similitudini concettuali dei due diversi livelli di PAIn CSI abbiamo ideato e realizzato metodo e tool grazie ad una collaborazione molto importante con il professor Carlo Batini dell’Universita’ di Milano Bicocca, che ringrazio pubblicamente di cuore, depositario degli schemi concettuali PA centrale rilevati in passato. Con Manuel Garasi abbiamo realizzato il tool che implementa il metodo.

Utilizzo dell’ontologia PAC per la costruzione di ontologie specifiche PAL

Tipi di conoscenza estratta a partire dagli schemi logici locali

La metodologia sfrutta due approcci principali:Approccio top-down (a partire da ontologie PAC):

• Entità affini a concetti delle ontologie PAC e loro attributi• Gerarchie IS-A tra entità (inferenza super-tipi) • Relazioni tra entità

Approccio bottom-up (a partire da tabelle PAL):• Relazioni tra entità

Si sfruttano le relazioni tra le tassonomie/gerarchie, ad esempio:

cittadino paga tributo (cittadino elemento della gerarchia soggetto fisico, tributo elemento della gerarchia bene) per inferire dall’alto al basso relazioni tra gli oggetti censitiCon questi metodi abbiamo creato numerose ontologie.

Mutuamente, gli oggetti logico-fisici censiti delle basi dati, avendo tra di loro dei constraints, forniscono inferenza dal basso all’alto, quindi relazioni, tra gli elementi delle tassonomie/gerarchie.

Gerarchie di generalizzazione, Constraints e ontologie

DATA BASE

NOME,DESCTAVOLA

NOME,DESCCAMPO

(Da 1 database recupero N concetti)

CONCETTUALE

FISICO

Subject

Citizen

Juridical person/

legal entity

Physical subject/ person

“Good”

Tax/Tributepay

like “cittadin” like “tribut”

DATA BASE

NOME,DESCTAVOLA

NOME,DESCCAMPO

(Da 1 database recupero N concetti)

FISICO

CONCETTUALE

Agricolture

Bovine

Sheep farming

Breeding

Health

Vaccination

Text mining retrieval

Estensioni di infodir

Estensioni future: verso uno strumento semantico integrato

Verso infodir come strumento semantico integrato:

Estendere l’approccio proposto alla navigazione delle basi integrate di conoscenza nell’ambito del Web

Fornire strumenti di navigazione di arbitrari oggetti disponibili via web (dati semi-strutturati, non strutturati e multimediali), sfruttando l’ontologia creata

Fornire strumenti di navigazione non basati solo su tassonomie ma su mappe concettuali più estese sfruttando la natura ontologica dei modelli creati

Arricchimento della semantica delle ontologie utilizzate per supportare tecniche di ragionamento più sofisticato

PORTALEMetadati testualidegli oggetti

CONCETTUALE

FISICO

Subject

Citizen

Juridical person/

legal entity

Physical subject/ person

“Good”

Tax/Tributepay

Oggetti del portale

PORTALEMetadati testualidegli oggetti

CONCETTUALE

FISICO

Agricolture

Bovine

Sheep farming

Breeding

Health

Vaccination

Oggetti del portale

Analizzando i risultati delle nostre sperimentazioni, ed altre soluzioni presenti sul web e descritte in letteratura, e’ possibile classificare le soluzioni ontologico-semantiche in livelli, precisando che il numero di livello crescente NON vuole essere indice di miglior soluzione:

1 livello ne’ ontologico ne’ semantico

2 livello solo ontologico

3 livello solo semantico

4 livello ontologico e semantico

1 livello ne’ ontologico ne’ semantico

sviluppare la navigazione tassonomica sotto forma di mappe concettuali, come in questo esempio (http://oasisvilweb01.csi.it/RelationBrowser/RelationBrowser.html ).

Tale livello per cosi’ dire "alla moda" e' solo un altro modo di vedere rappresentata una tassonomia con i suoi oggetti collegati, non aggiunge nulla in termini di intelligenza

http://mappadelpotere.casaleggioassociati.it/

2 livello solo ontologico:http://www.diviana.net

http://arianna.diviana.net/Arianna/default.asp

3 livello solo semanticohttp://www.expertsystem.net/

ovvero utilizzo uno o piu' schemi entity relationship esistenti, e in base a criteri di somiglianza cerco nel portale gli oggetti che somigliano alle entita' dello schema. Con un esempio, se dico cittadino<paga>tributo, cerco oggetti che somigliano a cittadino e quelli che somigliano a tributo, sfrutto la relazione che gia' conosco (paga) e metto in relazione le 2 famiglie di oggetti. Questo e' cio' che gia’ abbiamo fatto con le sperimentazioni sulle basi dati insieme al professor Batini (vedi ad esempio http://www.iseing.org/egov/eGOV05/Source%20Files/Papers/CameraReady-7-P.pdf ).

In tali sperimentazioni descritte e' l'ontologia che prevale sulla semantica, cioe' ho delle ontologie ricche e della semantica povera (criteri sql like, gerarchie di generalizzazione)

La semantica povera non e’ sufficientemente bilanciata rispetto alle ontologie, cioe’ non riesce ad arricchire ulteriormente quest’ultime.

E’ necessario creare meccanismi di autoapprendimento dove i criteri semantici piu’ sofisticati “creano” o perfezionano le ontologie esistenti.

In altre parole un portale ontologico-semantico generalizzato, ovvero un qualcosa che ha nella parte alta le ontologie, e nella parte bassa gli oggetti dei portali. Le ontologie a disposizione guidano la parte bassa, ma anche la parte bassa con opportune inferenze induttive (vedi Cogito) e' in grado di "apprendere" nuove ontologie da regalare alla parte alta.

LAVORI IN CORSO…

Intranet

http://intranet/prog/banchedati/supporto.htm

http://intranet/prog/banchedati/csidd.htm

http://intranet/prog/banchedati/csiddpopolam.htmhttp://intranet/prog/banchedati/standard.htm

http://intranet/prog/banchedati/documentazione.htm

Riferimenti Facolta’ di Fisica UniTO:http://fisica.campusnet.unito.it/cgi-bin/didattica.pl/Search?search=corso%3A7733&corso=7733&format=4&sort=U2&fields=_delete http://www.ph.unito.it/ccl/ccl/dispense/Trattamento_dati_nelle_imprese.html Pubblicazione capitolo libro con Batini:http://www.ecampus.com/bk_detail.asp?isbn=1591409357 Partecipazione a convegni internazionali:http://www.iseing.org/egov/eGOV05/Source%20Files/Papers/CameraReady-7-P.pdf http://www.urbanontology.net/Programme.htm http://www.iasummit.it/2007/program/ Corso 4gg Batini in CSI:

http://intranet/formaz/formazione/materiale/modellaz_concet_dati.htmSeminario sui dati ai dirigenti CSI, Regione, Citta’TO e ProvinciaTO:

http://intranet.csi.it/cgi-bin/cdocum/vdoc/utenti/dettaglioDoc.cgi?kdoc=5701Materiali condivisi su cartella:

\\wi064175\corso2gg

Libri consigliati

Modellazione concettuale dei dati: metodi e

Documents

7. Modellazione sismica

1 analisi qualitativa analisi quantitativa metodi classici metodi strumentali metodi assoluti metodi comparativi METODI ANALITICI

ATTESTATO MODELLAZIONE 3D

Modello concettuale

Corso Modellazione 1A

Mappa Concettuale

WebML Modellazione concettuale di applicazioni Web · »WebMLfornisce un approccio strutturato per il design di applicazioni Web data-intensive ... »Prime proposte per la modellazione

Introduzione alla Modellazione Solida - ingmecc.uniroma1.it · Introduzione alla Modellazione Solida –Obiettivi della Modellazione Solida e del CAD ... In progettazione la richiesta

SISR-MODWEBML - 1 - Modellazione concettuale di applicazioni Web

MAPPA CONCETTUALE con - Case Sibilliniscuola.cvm.an.it/wp-content/uploads/2019/03/TLU-Disuguaglianze-interna... · MAPPA CONCETTUALE DIAGRAMMA MAPPA CONCETTUALE RICCHEZZA - POVERTÀ

La modellazione e gestione informativa del patrimonio ...a... · (tesi di Antonio Morelli, Castello di Gioia del Colle, 2019) b. Metodi passivi Tra i metodi di acquisizione passiva

ento sismico del “Palazzo Rangoni Farnese” Sede della ...€¦ · eseguirsi con metodi di modellazione e gestione informativa Building Information Modeling (BIM) e con l’uso

Sistemi Informativi Aziendali - polito.it · ne 4.6.2) delle informazioni che vengono acquisite, manipolate e memorizzate dal sistema informativo. La modellazione concettuale è uno

BASI DI DATI - ai-nlp.info.uniroma2.itai-nlp.info.uniroma2.it/basili/didattica/DB_16_17/001_Intro_2016... · Obbiettivi Formativi •Approfondire i problemi della modellazione concettuale

Modellazione Aziendale

CSII - Modellazione telaio

Corso Modellazione 1C

Modellazione conseguenze incidentali

MODELLAZIONE GEOMETRICA CON MD-SPLINEIntroduzione La modellazione geometrica studia metodi matematici per descrivere la forma di un oggetto. Costruire il modello di un oggetto signi

Principi Di Modellazione