Co
urs
UB
O 2
00
8
UE BASES DE DONNEES OCEANOGRAPHIQUES
V. Tosello (IDM/SISMER)
http://www.ifremer.fr/[email protected]
Introduction à la gestion de données océanographiques
Co
urs
UB
O 2
00
8
OBJECTIFS DE L’UE
Cours 1 : V. Tosello Connaissances générales en gestion de données pour faciliter la recherche et l’utilisation des données
Cours 2 : M. FichautLes bases de données d’océanographie physique Ifremer
Cours 3 : V. Tosello + M. FichautLes bases de données de géologie et géophysique IfremerL’accès aux données par le portail Web Nautilus du SISMER
Cours 4 : Visite de l’IFREMER
Cours 5 : G. Maudire + M-C. FabriLes bases de données d’environnement IfremerLes Systèmes d’Information GéographiqueLa gestion de données en biodiversité marine
Co
urs
UB
O 2
00
8 SISMER (Systèmes d’Informations Scientifiques pour la MER)
Désigné Centre National de Données Océanographiques par le programme international d’échange d’informations et de données océanographiques (IODE) de la Commission Océanographique Intergouvernementale de l’UNESCO.
Missions: Développer et exploiter des systèmes d’informations et des bases de données marinesEtablir des normes de qualité à respecter pour l’archivage et la gestion des données marinesMaintenir un inventaire des données marines en France, leurs responsables et leurs conditions d’accèsReprésenter l’IFREMER au sein des organisations nationales et internationales impliquées dans la gestion de données marines
Collaboration avec le service d’ingénierie informatique de l’IFREMER
Co
urs
UB
O 2
00
8
Activités:Opérer la banque nationale océanographique Mettre à disposition de la communauté les produits de données d’intérêt général publiés par divers organismesParticiper aux structures de gestion de données des programmes de l’IFREMER qui incluent plusieurs projets nationaux et internationaux
Thématiques:Information et cataloguesGéophysique et Géologie MarinePhysique et bio-chimie marineDonnées temps réel de l’océanographie opérationnelleDonnées de référence géographiques
SISMER (Systèmes d’Informations Scientifiques pour la MER)
Co
urs
UB
O 2
00
8 SISMER (Systèmes d’Informations Scientifiques pour la MER)
http://www.ifremer.fr/sismer
Co
urs
UB
O 2
00
8
ATTENTES DE LA SOCIETE
Surveillance, usage et gestion de la zone côtièresanté publique : qualité des eauxenvironnement : qualité des biotopes côtiers
Surveillance et exploitation des ressources aquacoles Exploitation durable des ressources halieutiquesExploration et exploitation des fonds océaniques Étude de la variabilité climatique : Océanographie Opérationnelle
Co
urs
UB
O 2
00
8
Besoin:Demande croissante de données de tout type, cohérentes, validées, normalisées, intégrées, accessibles sans délai
Enjeu: assurer la sécurité, la qualité et l’accessibilité des données
Éviter la perte ou l’altération des donnéesAssurer une certaine cohérence et comptabilité aux jeux de donnéesAvoir un accès facile aux données de différentes sourcesPréparer des jeux de données intégrées et des produits de synthèse
BESOINS ET ENJEUX
Co
urs
UB
O 2
00
8
DEFINITIONS
Co
urs
UB
O 2
00
8
DONNEE OCEANOGRAPHIQUE
Mesure ou description d’un échantillon ou d’un phénomène prélevé ou observé dans le milieu marin :
colonne d’eau : physique, chimiefond de la mer et de son sous-sol : géophysique, géologiemonde vivant : biologie
localisée dans l’espace (position géographique X,Y, Z) et, le cas échéant, dans le temps (T)
Co
urs
UB
O 2
00
8
METADONNEES
« Données décrivant des données »Il s’agit de toute l’information permettant de décrire les caractéristiques d’un jeu de données à l’exclusion du contenu même de ces données:
Informations d’identification (intitulé, description, généalogie…)Informations techniques (codification, qualité, mode de production, période de validité, emprise géographique)Informations administratives (conditions d’accès et de diffusion)Informations complémentaires (point de contact…)
Co
urs
UB
O 2
00
8
Revient à se poser les questions suivantes sur les données:
QUOI ? OU? QUAND?QUI?COMMENT?
METADONNEES
Co
urs
UB
O 2
00
8
METADONNEES
Intérêts:
Fournir à l’utilisateur du jeu de données toute l’information utile à son bon usage.Garder la mémoire des informations utiles sur les données, à des fins d’utilisation ultérieure.Aider à la recherche de données
Co
urs
UB
O 2
00
8
QUELQUELS METADONNEES INDISPENSABLES
Co
urs
UB
O 2
00
8
SYSTEMES DE COORDONNEES
Définition: Il s’agit d’un référentiel dans lequel on peut représenter des éléments dans l’espace. Il permet de se positionner sur l’ensemble du globe terrestre grâce à des coordonnées.
• ANGULAIRES (coordonnées géographiques)Latitude, Longitude / repère géodésique
• METRIQUES (coordonnées projetées ou planes)X,Y (projection)Ex: Projections Lambert, Mercator, etc…
Co
urs
UB
O 2
00
8
Représentation de la forme de la Terre: Sphère: trop impréciseGéoïde: trop complexeEllipsoïde: la plus adaptée
SYSTEMES GEODESIQUES
Sphère Géoïde Ellipsoïde
Co
urs
UB
O 2
00
8
SYSTEMES GEODESIQUES
Un système géodésique peut être défini par:
Un centre et trois axes orthonormés Ox, Oy, Oz définis par leur orientation. Ox et Oy se trouvent dans le plan équatorial terrestre et Oz est orienté suivant l’axe de rotation terrestre.
-> Coordonnées cartésiennes: X, Y, Z
Un ellipsoïde de révolution choisi de manière à approcher au mieux le géoïde (centre, demi-grand axe, aplatissement).
-> Coordonnées géographiques: latitude, longitude
Co
urs
UB
O 2
00
8
SYSTEMES GEODESIQUES
Systèmes locaux – France MétropolitaineNTF (Nouvelle Triangulation de la France)
Cartes IGNTopographie et hydrographie
Système Européen Compensé 1950 (ED50)Cartes marines SHOM
RGF (Réseau Géodésique Français) équivalent au WGS84
Systèmes mondiauxWGS (World Geodetic System)
« 1984 » Global Positioning System (GPS)
Co
urs
UB
O 2
00
8
Parallèles et MéridiensUn méridien est un cercle imaginaire tracé sur le globe terrestre passant par les pôles.Un parallèle est un cercle imaginaire tracé sur le globe terrestre parallèle à l’équateur et perpendiculaire aux méridiens.
SYSTEMES DE COORDONNEES GEOGRAPHIQUES
Co
urs
UB
O 2
00
8
Latitude: valeur angulaire exprimant le positionnement nord-sud d’un point sur la Terre par rapport au plan équatorial. Mesurée le long du méridien de la verticale du lieu au plan équatorial.
Positive vers le Nord, Négative vers le Sud.Valeur entre -90° et +90°.
Longitude: valeur angulaire exprimant le positionnement est-ouest d’un point sur la Terre par rapport à un méridien origine. Mesurée le long d’un parallèle, de la verticale du lieu au plan méridien d’origine.
Positive vers l’est, négative vers l’ouest.Valeur entre -180° et 180°.
SYSTEMES DE COORDONNEES GEOGRAPHIQUES
Co
urs
UB
O 2
00
8
SYSTEMES GEODESIQUES
Systèmes géodésiques et ellipsoïdes associés
Exemple: coordonnées d’un même point dans différents référentiels géodésiques
Système géodésique Ellipsoïde associée
NTF Clarke 1880 IGN
ED50 Hayford 1909
WGS84 IAG GRS 1980
Système géodésique Longitude Latitude
NTF Greenwich 7° 44’ 14’’ 48°36’ 00’’
ED50 Greenwich 7° 44’ 16.4’’ 48° 36’ 03’’
WGS84 Greenwich 7° 44’ 12.2’’ 48° 35’ 59’’
Co
urs
UB
O 2
00
8
Différents types de projectionProjection cylindrique (ex: Mercator)
Projection conique (ex: Lambert)
Projection azimutale
SYSTEMES DE COORDONNEES PROJETEES
Co
urs
UB
O 2
00
8NIVEAUX DE REFERENCE VERTICALEIl existe de nombreuses références Zéro IGN Zéro hydrographique (niveau des plus basses mers) Altitude (hauteur par rapport au géoïde) Hauteur ellipsoïdale (hauteur par rapport à l’ellipsoïde)
Zéro Hydro
Co
urs
UB
O 2
00
8COORDONNEE TEMPORELLE
Le Temps Universel (TU) est une mesure du temps basée sur la rotation de la Terre. Peut être défini (avec quelques imprécisions) comme le temps Local de Greenwich, UK, au meridien zéro.
Le Temps Local est déterminée à partir du TU et est fonction de la localisation.
France : hiver TU + 1, été TU + 2
Le Temps Universel Coordonnée (UTC) est l’échelle de temps adoptée comme base du temps civil international. C’est la référence employée sur les navires Ifremer/Genavir.
Co
urs
UB
O 2
00
8
BASES DE DONNEES
Une base de données est un ensemble structuré et organisé permettant le stockage de grandes quantités d’informations afin d’en faciliter l’exploitation (ajout, mise à jour, recherche). Une BD se traduit physiquement par un ensemble de fichiers sur disque.
La gestion et l’accès à une base de données sont assurés par une ensemble de programme qui constituent le système de gestion de base de données.
Ex: Oracle, Microsoft Access, MySQL, SQL Server, etc.
Co
urs
UB
O 2
00
8
BASES DE DONNEES
Base de données hiérarchique: base de données dont les enregistrements sont stockés dans une structure arborescence où chaque enregistrement n’a qu’un seul possesseur. (obsolète)
Base de données relationnelle : base de données dont les données sont stockées dans des tables que l’on peut mettre en relation.
Bases de données spécifiques:Base de données géographiques
Co
urs
UB
O 2
00
8
Interrogation et manipulation d’une base de données :
langage informatiqueEx: SQL Structured Query Language
Select nom from client where entreprise=‘IFREMER’;
interfaces Ex: Microsoft Access, ArcMap (SIG)
BASES DE DONNEES
Co
urs
UB
O 2
00
8
SYSTEME D’INFORMATIONS
Ensemble des éléments/moyens (organisations, acteurs, procédures, systèmes informatiques) participant à la gestion, au stockage, au traitement, au transport et à la diffusion de l’information. Le système reçoit et centralise des informations provenant de différentes sources. Il les traite, les transforme, les stocke, les redistribue en fonction des besoins des utilisateurs.
Co
urs
UB
O 2
00
8
DE L’ACQUISITION A L’EXPLOITATION
Temps Réel
T. Différé
Co
urs
UB
O 2
00
8
CONTRÔLE QUALITE
Co
urs
UB
O 2
00
8
CONTRÔLE QUALITE
ObjectifsDocumenter les données et formats pour qu’ils soient utilisablesTrouver d’éventuelles anomalies bloquant les traitements ultérieursRendre les données de différentes sources cohérentes et comparables
MéthodologieContrôles qualité automatiques et visuels assistés par des systèmes experts: métadonnées et données
RésultatUn indicateur de qualité (‘flag’) est attaché à chaque valeur numérique
En cas d’anomalieLe fournisseur de données est contacté pour correction ou intervention sur les capteurs éventuelles ou élimination de la donnée
Co
urs
UB
O 2
00
8
CONTRÔLE QUALITE
Étapes du contrôle qualité:Contrôles automatiques
Bornes de valeurs (valeur impossible)Statistiques (valeur improbable)
– Danger d’exclure un phénomène inattendu Recherche de doublons
Contrôles manuels: ExpertsApport ‘humain’ (connaissance du sujet)Impliquent souvent la création de graphiques
Utilisations de flagsIl ne faut jamais effacer une donnée, il se peut que ce soit notre interprétation de la réalité qui soit fausse…
Complétude des données, cohérence des données, détection des erreurs et des biais, vérification des références spatiales et temporelles
Co
urs
UB
O 2
00
8
TRAITEMENTS
Co
urs
UB
O 2
00
8
NIVEAUX DE TRAITEMENT
Niveau instrumental, niveau physique
Ce sont en général les niveaux de production des « données brutes », en sortie des systèmes d’acquisition
mesure instrumentale (niveau < 1) mesure physique (niveau < 2)
Ex : mesure de la profondeur1/ Temps de propagation A/Rd’une onde émise par un sondeur et qui se réfléchit sur le fond 2/ Hauteur d’eau H = V x T/2 V = vitesse du son dans l’eau
H
Co
urs
UB
O 2
00
8
NIVEAUX DE TRAITEMENT
Niveau « géophysique » (>=2)
La mesure physique est corrigée des variations :liées à la plateforme de mesure et à ses mouvements (pilonnement du bateau par exemple : dH1)liées au milieu naturel (la marée par ex. : dH2)
H = V x T/2
Profondeur = H – dH1
Sonde = Profondeur – dH2Sonde
0 mdH2 Profondeur
dH1
Co
urs
UB
O 2
00
8
NIVEAUX DE TRAITEMENT
Niveau « produit » (>=3) Données interprétées : modèle maillé , cartes, isolignes …
2720
Sélection des sondes SX,Y
Affectation des sondes aux nœuds (i,j) du modèle
SX,Y
2775
2756
2750
2734
2745
2730
2745
2725
2767
Si,j
Si,j = f (SX,Y)
Ex :Modèle numérique de terrain (MNT)
Co
urs
UB
O 2
00
8
NIVEAUX DE TRAITEMENT
Niveau « produit »
2750 m
Isobathes
Co
urs
UB
O 2
00
8
STOCKAGE DES DONNEES
Co
urs
UB
O 2
00
8
STOCKAGE DES DONNEES
Une fois que les données ont été qualifiées et traitées elles vont enfin pouvoir être archivées.
Différentes méthodes en fonction du volume des données et du type des données:
Archivage dans une base de données Archivage sous forme de fichiers sur disque
Dans ce cas, les méta-données sont archivées dans une base de données
– Notamment le nom et l’adresse des fichiers– La description des données archivées
• Date, heure, position, responsable, campagne de collecte …..
Co
urs
UB
O 2
00
8
SUPPORTS INFORMATIQUES
Co
urs
UB
O 2
00
8Quelques exemples de tailles de fichiers
Un livre de poche
100 caractères/ligne * 100 lignes * 200 pages= environ 2Mo
une photo numérique (non compressée TIFF) 6 millions de pixels = environ 18Mo
une photo numérique (compressée JPEG) 6 millions de pixels = environ 200 Ko
Campagne SISMANTILLES sur l’ATALANTE en 2007 (durée 1 mois):
200 Mo de données d’ADCP (courantomètres)500 Go de données de sismiques
Rappel: 1 Go = 1000 Mo = 1 000 000 Ko = 10^9 octets
Co
urs
UB
O 2
00
8
SUPPORTS INFORMATIQUES
Disques dursEnregistrement permanent (sauf panne, nécessité de sauvegarde)Informations organisées en fichiers et répertoires Accès direct à l’informationTailles courantes de 40Go à 260Go (jusqu’à 1024Go sur disques haut de gamme « serveur »)
Co
urs
UB
O 2
00
8
Supports « bandes magnétiques » (Robot d’archivage)
Grandes capacitésSupports souvent utilisés pour de l’archivage de longue duréeSupports également utilisés pour les sauvegardes des disques dursPas d’accès direct: il faut dérouler la bande pour atteindre les informationsActuellement Super DLT (160Go), LTO-4 (800Go)
SUPPORTS INFORMATIQUES
Co
urs
UB
O 2
00
8
Autres supportsCD/ROM, DVD/ROM
comparable à un disque dur (organisation)Tailles de 700Mo (CD) à 9Go (DVD)
Clé USBCartes mémoiresDisquettes, cassettes Exabyte (obsolètes)
SUPPORTS INFORMATIQUES
Co
urs
UB
O 2
00
8
FORMATS DE FICHIERS
Co
urs
UB
O 2
00
8
FORMATS DE FICHIERS
On distingue deux types de fichiers:Les fichiers Texte
Définition: fichier dont le contenu représente uniquement une suite de caractères informatiques. ex.: .txtS’ouvre avec un simple éditeur de texte (bloc-notes…). Il existe des fichiers textes formatés (.csv, .html).
Les fichiers BinairesDéfinition: fichier informatique qui n’est pas assimilable à un fichier texte. Pas directement lisible par un être humain, nécessité d’utiliser un logiciel spécifique. Exemples: fichiers images (jpeg), fichiers de musique (mp3).
Co
urs
UB
O 2
00
8
Avantages des fichiers binaires:Très compacts pour des données très volumineusesRapides pour les calculs et les écritures sur disque
Désavantages des fichiers binaires:Pas directement lisible par un être humain (logiciel spécifique)
FORMATS DE FICHIERS
Co
urs
UB
O 2
00
8
Formats auto-descriptifs (texte ou binaire)
En-tête décrivant le contenu du fichier et listant quelques métadonnées pouvant servir à l’utilisation du fichier.
Exemples:MEDATLAS (ASCII auto-descriptif) utilisé pour les données de profils verticaux (paramètre de référence : Pression) ou de séries temporelles (paramètre de référence : Date/Heure)
NETCDF – Network Common Data Form (Binaire auto-descriptif)
FORMATS DE FICHIERS
Co
urs
UB
O 2
00
8
DIFFUSION DES DONNEES
Co
urs
UB
O 2
00
8
REGLES DE DIFFUSION
Accord formel entre les partenaires qui échangent leurs données
Décrire les droits et les obligationsDu fournisseur (limite d’utilisation, validité)Du bénéficiaire des données (citation, reconnaissance)
Considérations à prendre en compteDonnées du domaine public ou privéRespect de la confidentialité
Co
urs
UB
O 2
00
8
NORMALISATION - STANDARDISATION
Normes pour les métadonnéesDonnées d’observations de la terre
Norme ISO 19115
Description d’objets géographiquesNorme OpenGIS GML
ISO (International standard Organization)
Standardisation des procédures de contrôles qualité, des formats de données, etc…
Point Line Polygon
Co
urs
UB
O 2
00
8
CATALOGUES EXISTANTS
Co
urs
UB
O 2
00
8
CATALOGUES
Point important dans la diffusion ou l’accès aux données: l’information sur les données disponibles.
Moyen possible: CATALOGUE.
Un catalogue doit permettre de savoir quelles sont les données disponibles, d’en apprécier la teneur et les usages possibles.
Description suffisante des données et de leurs usages potentiels, de leur qualité, de leurs couvertures géographiques, de leurs conditions de diffusion.Accès aux données
Co
urs
UB
O 2
00
8
Le catalogue des campagnes françaises
Campagnes qui se sont déroulées sur les navires français ou en coopération sur des navires étrangers.
Contient actuellement plus de 6 700 campagnes et s'enrichit chaque année.
Organismes français impliqués dans la gestion des navires français (maîtres d'œuvre) : l'Ifremer, l'IRD, le CNRS/INSU, l'IPEV.
QUELQUES CATALOGUES EXISTANTS - FRANCE
Co
urs
UB
O 2
00
8QUELQUES CATALOGUES EXISTANTS - FRANCE
Co
urs
UB
O 2
00
8QUELQUES CATALOGUES EXISTANTS - FRANCE
Co
urs
UB
O 2
00
8
Co
urs
UB
O 2
00
8
Le catalogue des jeux de données français
Descriptifs des données collectées par les laboratoires de la communauté scientifique française.
350 jeux de données marines collectées par 78 laboratoires de la communauté scientifique française ou d'intérêt général.
Tous les domaines de l'océanographie y sont représentés : biologie, physique, géologie, géophysique et chimie marines.
QUELQUES CATALOGUES EXISTANTS - FRANCE
Co
urs
UB
O 2
00
8 QUELQUES CATALOGUES EXISTANTS - FRANCE
Co
urs
UB
O 2
00
8QUELQUES CATALOGUES EXISTANTS - FRANCE
Co
urs
UB
O 2
00
8
Co
urs
UB
O 2
00
8
QUELQUES CATALOGUES EXISTANTS - EUROPE
Initiatives européennesCatalogue CSR (Cruise Summary Report)
= Catalogue des campagnes européennes
Catalogue EDMED (European Directory pf Marine Environmental Data)
= Catalogue des jeux de données européens
Catalogue CDI (Common Data Index)= Catalogue des données européennes
Projets Sea-Search et SeaDataNetwww.sea-search.net et www.seadatanet.org
Projet EUROSEISMIChttp://www.eu-seased.net/welcome_flash.html
Autres projets, autres catalogues…
Co
urs
UB
O 2
00
8
EUROSEISMIC : catalogue européen de données de sismique sur les marges des Mers d'Europe
http://www.eu-seased.net/welcome_flash.html
QUELQUES CATALOGUES EXISTANTS - EUROPE
Co
urs
UB
O 2
00
8QUELQUES CATALOGUES EXISTANTS - EUROPE
Co
urs
UB
O 2
00
8
PRODUCTEURS DE DONNEES
Co
urs
UB
O 2
00
8
PRODUCTEURS NATIONAUX
PRODUCTEURS INSTITUTIONNELS
BRGM : géologie CETMEF : houle, vagues, courrentsIFREMER
Recueil des campagnes océanographiques françaises : physique, chimie, géophysique, géologie (SISMER), biologie, photo et vidéo sous-marines ; réseaux de surveillance de l’ environnement, Syst. Information Halieutique, Océanographie Spatiale (CERSAT)
IPG : géophysique IRSN : physique, chimieIGN : géographie physique (relief, trait de côte)METEO France, MINISTERE DE L’EQUIPEMENT : bathymétrie, physique, chimieMNHN : physique, chimie, géologie, biologie SHOM : bathymétrie, géophysique, physique, données de référence
Co
urs
UB
O 2
00
8
PRODUCTEURS NATIONAUX
RECHERCHE PUBLIQUE
CEA, IRD, CNRS, ENS ET UNIVERSITES :SCIENCES et TECHNOLOGIES DE LILLE 1AIX-MARSEILLE 3BORDEAUX IUBOMEDITERRANNEE (U2)MONTPELLIER IINICE SOPHIA ANTIPOLISPARIS VIPARIS VIIPERPIGNANUNIVERSITE LOUIS PASTEUR STRASBOURG I
Co
urs
UB
O 2
00
8
PRODUCTEURS NATIONAUX
AUTRES STATUTS
BGI Bureau Gravimétrique International (CNRS)CENTRE DE RECHERCHE MAMMIFERES MARINSINSTITUT OCEANOGRAPHIQUE, FONDATION ALBERT 1ER, P. DE MONACOCENTRE SCIENTIFIQUE DE MONACOUNIVERSITE INTERNATIONALE DE LA MER
Co
urs
UB
O 2
00
8
QUESTIONS?