Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti

Progetto S.Co.P.E. WP4

MedIGrid, un PSE per il Medical Imaging:

implementazione in ambiente gLite

G. Laccetti

Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo

21-2-2008

2

Il PSE MedIGrid: obiettivi e motivazioni

Nel il 2002 nasce MedIGrid, da una collaborazione multidisciplinare (Matematici numerici, Informatici, Fisici)

L’obiettivo è quello di sviluppare un PSE per il calcolo ad alte prestazioni, grid-aware, per consentire ai medici di:

gestire

processare

visualizzare

immagini mediche acquisite da vari dispositivi


21-2-2008

3

Struttura a livelli del PSE (al 2006)

GLOBUS

MedIBroker


21-2-2008

5

Componenti numeriche ECODEN:

Denoising di sequenze ecocardiografiche

μ-SEG: Segmentazione di immagini mediche

Ambiente H/S di esecuzione Hardware:

Cluster di nodi interconnessi con rete dedicata

Software: S.O. Unix-like, PETSc (MPI, BLAS, LAPACK)


21-2-2008

6

Problema P

Modello Matematico M(P)

Modello Numerico Mh(P)

SoftwareAlgoritmo

Denoising di sequenze ecocardiografiche

Ambiente parallelo

PDE

Au=b

Nucleo computazionale: ECODEN

uugucltt

u

||)(

Sistema lineare


21-2-2008

7

ECODEN

Denoised data

Original data

Anisotropic diffusion (Perona-Malik PDE equation)

iterative algorithms based on Krylov subspaces methods (CG, GMRES)

block diagonals preconditioners (bjacobi, asm)


21-2-2008

8

Problema P

Modello Matematico M(P)

Modello Numerico Mh(P)

SoftwareAlgoritmo

22

022

||||||

u

uIGgu

t

u

Segmentazione

Ambiente parallelo

PDE

Sistema non lineare

Nucleo computazionale: μ-SEG

F(u,t)=0


21-2-2008

9

μ-SEG

++

Segmentation function

Original data

Level set formulation of Riemannian mean curvature flow equation

Implicit schema using Newton-like linearization method

Iterative algorithms based on Krylov subspaces methods (GMRES)

block diagonals preconditioners (bjacobi)

Final data


21-2-2008

10

Esigenza per l’uso dell’HPC

Supercomputing: Necessità di ridurre drasticamente il tempo di esecuzione in

funzione dell’urgenza della diagnosi ( , realtime)0ττ

Modalità di utilizzo della GRID Collaborative computing:

Necessità di rendere possibile la collaborazione tra diverse comunità di medici

On demand computing: Necessità di rendere disponibili alle comunità dei medici

risorse di supercalcolo non altrimenti disponibili localmente.


21-2-2008

11

Funzionalità: Performance monitoring

Applicationon resource

A

ApplicationManager

Performance Modeler

LaunchPerformance

Monitor

ContractMonitor

Data about resource

A

Data about application

MedIBroker

Stop!Devo migrare

Violazione del

contratto

Controllo lo stato del job


21-2-2008

12

Funzionalità: Checkpointing/migration


A

ApplicationManager

Performance Modeler

LaunchPerformance

Monitor

ContractMonitor

Contacting Application

Manager

Calling MedIBroker & performance

modeler

Data about

resourceB

Data about application

MedIBroker


B

Performance Monitor

ContractMonitor


21-2-2008

13

Globus-based PSE:osservazioni

PSE completo grid aware orientato al calcolo ad alte prestazioni

MA

Soluzioni custom implementate per supplire alle carenze del middleware Globus (assenza di alcuni servizi collective)

Soluzioni application oriented


21-2-2008

14

Analisi del lavoro: necessità/esigenze

1. “Smontare” MedIGrid eliminando: le interazioni con il Globus Toolkit tutte le soluzioni custom o application oriented:

MedIBroker Application Manager Sistema dei contratti di performance Sistemi per la gestione dei fault Sistemi automatici di stop/restart dell’applicazione

2. Riprogettare la parte server in modo da renderne possibile l’interazione con gLite (integrando le features più interessanti)

3. Lasciare invariata la parte client del portale


21-2-2008

15

Nuova struttura a livelli del PSE

GLOBUS

MedIBroker

NEW

Core Services

Collective Services

VOMSLFC

File catalogueBDII Information

System

WMSResource

Broker

Proxy

G

L

I

T

E Grid protocolsGridFTPGASS GSIGRAM …

S.Co.P.E. Toolkit


21-2-2008

16

Il PSE basato su gLite

L’architettura software è costituita da tre livelli:

L’User Interface (GUI) che include strumenti per la configurazione dei

paramentri relativi all’image processing, tool di visualizzazione e di

post-processing delle immagini (ad es. plugin per il rendering)

Il Grid Portal, basato sulla libreria di funzioni Java di LCG/gLite (WMS-

Proxy, LFC/GFAL, JobMonitor), nasconde all’utente finale la complessità

dell’ambiente di Griglia

I servizi core e collective messi a disposizione da LCG/gLite, alcune

componenti del middleware applicativo e varie componenti

numeriche


21-2-2008

17

Stato dell’arte

Servizi web Servizio di registrazione nuovi utenti Servizi di upload/download di dati

Servizi grid Autenticazione voms-based Sottomissione e monitoraggio dei job Gestione dati (browsing, spostamento, registrazione

su catalogo)


21-2-2008

18

gLite-based PSE: osservazioni

gestione del livello collective a carico del middleware gestione dei dati più efficiente

Ma:

non adattativa non fault tolerant non orientata al mantenimento di prefissate prestazioni

Grid flow approach


21-2-2008

19

gLite: caratteristiche e funzionalità attese

Estensione/miglioramenti del middleware (integrazione della libreria di API Java per la gestione delle credenziali voms, modifica della libreria per la gestione dei dati in modo da prevedere la multiutenza, gestione del data streaming, …)

Miglioramento dei meccanismi di checkpointing e fault-tolerance

Introduzione di librerie per la realizzazione di applicazioni parallele multisito (es. PACX-MPI, MPICH-G2, nuovi tag JDL per la descrizione dei Job paralleli e multisito…)

Introduzione di meccanismi per l’interoperabilità tra middleware differenti (es. GRelC, GridWAY, …)


21-2-2008

20

MedIGrid: caratteristiche e funzionalità attese

Miglioramento dei servizi grid (anche a valle di estensione/miglioramenti

del middleware) Aggiornamento delle componenti numeriche e delle librerie

per checkpointing e gestione dei fault Introduzione di nuovi nuclei computazionali

GRID AWARE


21-2-2008

21

Il PSE: un esempio di utilizzo


21-2-2008

22



21-2-2008

23



21-2-2008

24



21-2-2008

25

Gruppo di lavoro

A. Murli (Università degli Studi di Napoli Federico II) V. Boccia (Università degli Studi di Napoli Federico II) R. Campagna (Università degli Studi di Napoli Federico II) D. Casaburi (Università degli Studi di Napoli Federico II) L. Carracciuolo (ICTP-CNR) S. Cuomo (Università degli Studi di Napoli Federico II) L. D’Amore (Università degli Studi di Napoli Federico II) A. Galletti (Università degli Studi di Napoli Federico II) G. Laccetti (Università degli Studi di Napoli Federico II) M. Lapegna (Università degli Studi di Napoli Federico II) D. Romano (Università degli Studi di Napoli Federico II) S. Severino (Università degli Studi di Napoli Federico II)

Documents

Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti