Upload
raffaele-porcu
View
225
Download
0
Embed Size (px)
Citation preview
COMPUTING DELLA CSN2
D. Martello Dep. Of Physics - Lecce
Esperimenti in Commissione 2
Studio RadiazioneCosmica nello Spazio
AGILEAMS2 CREAMGLASTPAMELA
Studio RadiazioneCosmica in Superficiee Sottomarina
ANTARESARGO-YBJAUGERMAGICNEMO-RDSLIM
Fisica delNeutrino
BOREXHARPK2KMANU2MI-BETAOPERA
Processi rari
CUOREDAMALVDWARP
Onde Gravitazionali
AURIGADUAL-RDGGGLISA-RDRAP-RDROGVIRGO
FisicaGenerale
GGGLARESMAGIAMIRPVLAS
33 sigleSolo alcune presentano esigenze di calcolo rilevanti
Una possibile suddivisione :
Esperimenti con richieste di calcolo “minori”Borex, Agile
Esperimenti che propongono la realizzazione di una o piu’ farm locali presso le sezioniAntares, Auger, Glast, Nemo
Esperimenti che propongono investimenti di calcolopresso il CNAFAms, Argo, Magic, Opera, Pamela, Virgo
Esperimenti in Commissione 2
Status/milestones esperimento― Avvio presa dati di fisica gennaio 2007Modello di calcolo per analisi dati e simulazioniUn cluster di analisi centrale ai LNGS, e' previsto fornire la risorsa di calcolo e di storage (1 TB/y) piu' importante.L' architettura e' basata su PC Linux. E' prevista la connessione al sistema di backup di dati in dotazione al Servizio Calcolo del Laboratorio
Responsabilita' INFNL' INFN ha la responsabilita' primaria dell' online e dell' offline. 10 ricercatori INFN su un totale di 24 partecipano allo sviluppo e mantenimento del software.
BOREX
Status/milestones esperimento― Lancio imminente
Modello di calcolo per analisi dati e simulazioniSimulazione in Geant4 e Geant3, analisi dei dati in IDL e ROOT.
Risorse necessarieUn 1.0 TB di spazio disco, storage su nastro per 2 TB Minima potenza di calcolo richiesta
AGILE
Status/milestones esperimento― Obiettivo 6 linee connesse per la fine 2006.― Iniziata presa dati di test con una linea.Modello di calcolo per analisi dati e simulazioni- L’apparato completo di 12 stringhe produrrà circa 1 GBps di raw data- 1 MBps sarà il flusso di dati filtrati per circa 30 Tbyte/anno immagazzinati a LIONE- 300-600 Gbyte per anno sarà la quantità di dati dopo il filtro offline in Italia
Risorse necessarieE’ previsto che Bari e Bologna dispongano di una copia dei dati quindi sono stati realizzati cluster di dual processor per l’analisi
Responsabilita' INFNBologna ha la responsabilità del filtro offlineBari coordina il WG di astronomia neutriniAttività dei gruppi italiani nella simulazione e rivelazione di neutrini in acqua
ANTARES
AUGER
Status/milestones esperimento― 3 occhi in acquisizione, quarto occhio in costruzione building.― 1200 tanks in acquisizione per fine 2006― Esperimento in presa dati di fisica Modello di calcolo per analisi dati e simulazioniE' stata definita l' organizzazione del calcolo basata su architettura distribuita che prevede tre siti mirror dedicati allo storage dei dati (Lione CNRS-IN2P3, FNAL e Buenos Aires) dai quali le Istituzioni partecipanti trasferiscono i dati alle risorse locali per ricostruzioni ed analisi. I siti mirror fungono anche da archivio degli sciami simulati
Pianificazione e localizzazione risorseSi è realizzata in Italia (LNGS) una farm in cui si tiene una copia dei dati di Lione. Una seconda farm è stata realizzata presso la sede di Napoli prevalentemente mirata a simulazioni di canali di interesse specifico della collaborazione italiana.
Status/milestone esperimento― In fase avanzata integrazione satellite, inizio test di volo.― Lancio previsto 2007
Modello di calcolo per analisi dati e simulazioniIl modello di calcolo per l’analisi dei dati non è attualmente definito. La simulazione dell’esperimento è basata su Geant 4 in un framework GAUDI. La collaborazione italiana è stata fortemente impegnata nel completamento dell’hardware dell’esperimento.
Risorse necessarieLa collaborazione stima di raccogliere circa 4 TB/anno di dati per un periodo di 5 anni (durata esperimento). Stima le potenze di calcolo necessarie (parte italiana) intorno a 100 KSI. Prevede di migrare al CNAF.
GLAST
NEMO-RD
Status/milestones esperimento― Installazione minitorre imminente― Installazione torre a 16 piani 2007Modello di calcolo per analisi dati e simulazioniIl modello di calcolo per l’analisi dei dati non è attualmente definito. La collaborazione prevede di realizzare una piccola farm presso i LNS che funga da storage e data-filtering per i dati raccolti dalle stringhe di test che si stanno mettendo a punto
Risorse necessarieSi richiedono 20 TB di spazio disco e una decina di bi-processori, più unità di backup (in discussione).
ARGO-YBJ
Status/milestones esperimento― Inizio presa dati aprile 2006 (104 clusters)― Acquisiti dati di test con 16 - 42 clusters Modello di calcolo per analisi dati e simulazioniL’esperimento prevede di duplicare i sui dati in due siti (CNAF e Pechino)
Fase 1 – agosto 2006 (?)I dati raccolti su LTO-1 presso YangBajing vengono inviati al CNAF.Fase 2 I dati vengono trasferiti via rete da YangBajing al CNAF e archiviati in CASTOR
Presso il CNAF si procede alla ricostruzione e analisi degli eventi ed al riempimento dei DB di bookeeping. I dati prodotti a regime ( 2006 ) sono dell’ ordine di 200 TB/anno (includendo raw data, dati ricostruiti e simulati) con mantenimento in linea di un anno per i dati ricostruiti.E’ in produzione la simulazione di eventi per il 10% degli eventi raccolti in unanno.Produzioni più massicce potranno essere realizzate nell’ambito di GRID
Risorse necessarieIl Tier-1 del CNAF coprirà il 90-100% delle risorse necessarie. A regime il Tier1 del CNAF sarà il centro principale in Italia di raccolta dati raw dell’esperimento, il quale svolgerà il ruolo di Tier0. Richiede di allocare spazio disco per 200 TB/anno di dati e una potenza di calcolo di 400 KSI2000. La collaborazione ha iniziato la migrazione del software verso GRID, ma prevede di passare definitivamente a GRID non prima della seconda metà 2007.E’ l’esperimento di CSN2 con più grosse esigenze di calcolo nell’immediato.
Presso la sede di Roma-3 è disponibile una farm che è stata utilizzata per l’analisi dei dati raccolti durante i run di test (2004-2005) e per la simulazione di DB di dati utilizzati per la messa a punto del software di analisi.
ARGO-YBJ
Responsabilità INFNL' INFN ha la responsabilità primaria dell' offline e inoltre contribuisce alla messa a punto delle farm Cinesi16 FTE INFN contribuiscono allo sviluppo del software di analisi La collaborazione dispone di 0.5 FTE dedicati all’esperimento presso CNAF
ARGO-YBJ
Status/milestones esperimento― Satellite integrato e pronto al lancio― Lancio imminente (primavera 2006)Modello di calcolo per analisi dati e simulazioniI dati trasmessi a terra (NTsOMZ-Mosca ) dal satellite a partire dal momento del lancio (imminente) saranno 10-20 Gbytes/dayLinea MEPhI-CERN da 100 Mbit/sec sarà utilizzata per trasferire i dati al CNAF.
Risorse necessarieIl CNAF verrà usato come centro di archiviazione primario dei dati. Le richieste di spazio disco/nastri e potenza di calcolo sono minime ( 5 TB/anno e 20 KSI2000). Molta rilevanza riveste l’affidabilità dello storage (CASTOR). Non prevede un passaggio a GRID.
Responsabilità INFNL' INFN ha la responsabilità primaria dell’analisi dati
PAMELA/WIZARD
Status/milestones esperimento― Specchio completato e in acquisizione.― Proposta secondo specchio in discussione (MAGIC2)Modello di calcolo per analisi dati e simulazioniLo schema del modello di calcolo della collaborazione MAGIC prevede l’utilizzo di un di un centro di calcolo centrale (CDC). Il compito di questo centro è quello di immagazzinare i dati e preparare i Data Summary Tapes (DSTs) che vengono poi distribuiti a tutta la collaborazione. La collaborazione ha identificato come CDC il PIC di Barcellona e sta migrando i dati da Wuerzburg (Germania), attuale CDC temporaneo a Barcellona. Utilizza il CNAF come Centro Regionale.
Risorse necessarieLa collaborazione prevede di utilizzare il CNAF allocando 3 TB/anno di dati e impegnando una potenza di calcolo pari a 20 KSI2000. La collaborazione ha già iniziato una migrazione del software verso GRID.
Responsabilità INFNLa collaborazione italiana si sta interessando delle simulazioni MC attualmente attestate al CNAF.
MAGIC
Status/milestones esperimento― Inizio presa dati con 1 SM seconda metà 2006 Modello di calcolo per analisi dati e simulazioniI dati prodotti dal rivelatore elettronico dell’esperimento sono valutati in 100 Mbyte/s I dati immagazzinati in coincidenza con il beam sono valutati in 100 Gbyte /anno, inclusi i dati di calibrazione
Una piccola Linux farm presso LNGS ( 5 PC dual processor e 1.4 Tbyte disco) produrrà le predizioni per i brick da rimuovere e immagazzinerà le informazioni in un Database ORACLE (copia al Cern)
La maggior parte dei dati sarà prodotto dallo scanning in emulsione (circa 100 TB per le tracce ricostruite in 5 anni). Lo scanning verrà eseguito in 12 laboratori e strutture distribuite geograficamente, la maggior parte delle quali (8) è localizzata in Italia.
OPERA
Un database ORACLE raccoglierà i dati dai laboratori locali di scanning. Verrà utilizzata un’architettura multi-master per permettere di avere simultaneamente più copie del DB. La collaborazione ha identificato in Lyon/CERN, Nagoya (Giappone) e CNAF le tre sedi idonee allo scopo.
Risorse necessarieIn relazione allo scanning dei brick nei laboratori Italiani ( Bari, Bologna, Napoli, LNGS, LNF, Padova, Roma, Salerno) per la ricerca e analisi degli eventi nei brick si prevedono per la parte Italiana :40 PC dual processor + 10 Tbyte disco per l’acquisizione ed elaborazione di immagini in emulsione per i brick + 100 TB LTO per online ed offline storage (raw data)Le macchine per l’acquisizione ed elaborazione online di immagini operano in ambiente Windows.Data Base ORACLE con 100 TB disco presso il CNAF.Non si prevede utilizzo di GRID.
OPERA
Responsabilità INFNLa responsabilità dello scanning in emulsione e’ divisa tra Europa e Giappone. L’INFN ha la responsabilità dei 2/3 dello scanning europeo.
L' INFN ha la responsabilità del coordinamento dell’analisi fisica dell’esperimentoe dello scanning ed analisi in emulsione . Tali responsabilità sono condivise con igiapponesi.
Inoltre e’ responsabilità INFN lo sviluppo del software per gli spettrometri.
Circa 20 FTE sono coinvolti nello scanning ed analisi in emulsione e circa 10 FTE sonocoinvolti nell’analisi ibrida ( detector + emulsione )
OPERA
Status/milestones esperimento― Rivelatori pronti per integrazione in satellite― Problemi lanciatore. Situazione altamente incerta.Modello di calcolo per analisi dati e simulazioniLa copia primaria del campione dati verrà mantenuta al CERN. Pur non facendo parte dell’esperimento il CERN ha approvato lo stato di “recognized experiment” per AMS e mette a sua disposizione spazi, uffici e sistemi di calcolo. Al CERN verrebbe realizzata una CPF (Central Production Facility) che oltre a mantenere una copia dei dati si occuperebbe della loro ricostruzione, di una frazione della simulazione Monte Carlo per l’esperimento e dell’analisi dei dati.
La collaborazione italiana necessita di un Italian Ground Segment Data Storage (IGSDS) che consenta l’archiviazione dei dati e l’analisi degli stessi, nonchè la produzione di eventi Monte Carlo.
AMS2
Risorse necessarieIl gruppo ha individuato nel Centro Regionale in formazione al CNAF il sito elettivo per la realizzazione dell’ IGSDS.A fine missione si richiede di poter allocare presso il CNAF 350 TB di dati su nastro e di disporre di spazio disco per analisi di 40TB.
AMS2
Responsabilità INFN
Il gruppo italiano è fortemente coinvolto nella simulazione e analisi dati dell’esperimento. Le responsabilità sono molteplici e distribuite in tutte le sezioni partecipanti all’esperimento. In particolare si segnala la responsabilità di produrre presso il CNAF il 20% dei dati MC.
AMS2
VIRGO
Status/milestones esperimento― Sensibilità da progetto praticamente raggiunta― Inizio run di fisica imminente. Pressione comunità internazionale.Modello di calcolo per analisi dati e simulazioni
Acquizione dati online, analisi inline e storage temporaneo al Tier0 di Cascina [aspettative per ~70 KSpecInt2000 (300GFlops) e 72TB]
Analisi dati offline in ambiente distribuito costituito da:- Tier1 a Lione (CNRS-IN2P3) per storage di tutti i dati prodotti e calcolo “leggero” - Tier1 al CNAF per storage temporaneo (~1 anno) e calcolo “intensivo” integrato con le risorse da dispiegare nelle Sezioni
Risorse necessarie
Le richieste per l’analisi relative al Tier1 del CNAF e ammontano a 70 TB necessariamente su disco e di una potenza di calcolo pari a 150 KSI2000.
Il Tier0 di Cascina è realizzato dal consorzio EGO e non “grava” direttamente sull’INFN.
VIRGO
Responsabilità INFN
31 (20.6 FTE) componenti di Virgo Italia svolgono attività nei seguenti task,tutti finalizzati ad un uso distribuito delle risorse.
Sezione Pers (FTE) TaskFi 2 (0.75) Binarie coalescentiUr 3 (1.5) Segnali impulsivi, Binarie coalescentiNa 9 (7.0) Binarie coalescentiPg 5 (3.2) Binarie coalescenti, Analisi dati commissioningPi 6 (4.1) Simulazioni rivelatore, Analisi del rumore,
Algoritmi correlazioni antenneRm1 6 (4.0) Pulsar
VIRGO
Esperimenti CSN2: Data Taking
2006 2007
Lancio Pamela
Lancio Glast
Lancio Agile
6 Linee Antares
104 Cl Argo
Run Virgo
1 SM Opera
1 torre Nemo
Full Auger
2008CNAF non CNAF
Stima crescita potenza di calcolo necessaria
CPU (KSI2000)
0100200300400500600700800
Q1 Q2 Q3 Q4 Q1 Q2
Quadrimestri
Antares
Auger
Glast
Nemo
Argo
Pamela
Magic
Opera
Virgo
Totale
Stima crescita storage necessario
Storage TB
0
100
200
300
400
500
Q1 Q2 Q3 Q4 Q1 Q2
Quadrimestri
Antares
Auger
Glast
Nemo
Argo
Pamela
Magic
Opera
Virgo
Totale
Modalità di accesso
Modalità di utilizzo Utenza stimata
AMS02 Locale
GRID in studio
Tier1 <10
ARGO-YBJ Locale
GRID in studio
Tier0 10-20
MAGIC Locale
GRID
Tier1
(Tier0)
10-20
OPERA Locale
(DB Oracle)
Tier0
(multi-master)
>=20
(utenza int.)
PAMELA Locale Tier0 >=20
(utenza int.)
VIRGO Locale
GRID
Tier1 <10
CNAF
CNAF
0
100
200
300
400
500
600
700
2004 2006
CPU KSI2000
CNAF
non CNAF
0
100
200
300
400
500
2004 2006
Storage (TByte)
CNAF
non CNAF
Confronto tra le richieste di allocazione risorse al CNAF e non al CNAF da parte di esperimenti di CSN2 nelle due indagini compiute.
0,00
0,50
1,00
1,50
2004 2006
Richieste (M€)
0
2
4
6
2004 2006
Esperimenti
Esp al CNAF
Esp non CNAF
CNAF
Confronto tra le richieste di allocazione risorse al CNAF e non al CNAF da parte di esperimenti di CSN2 nelle due indagini compiute.
Stime risparmio ottenuto in CSN2 grazie al trasferimento del calcolo di alcuni esperimenti al CNAF
1500 K€ per le potenze di calcolo richieste 220 K€ per lo storage su disco 0.5 – 2.0 M€ robotica per storage di massa
CNAF
Si è in prossimità dell’ inizio della presa dati di esperimenti ad “alto” rate di acquisizione (Argo-Ybj, Virgo).
Quasi tutti gli esperimenti con significative esigenze di calcolo sono progressivamente migrati verso il Tier1 del CNAF. Per alcuni esperimenti il CNAF svolge il ruolo di punto principale di raccolta dati raw (Tier0). L’utilizzo delle risorse del CNAF avviene prevalentemente mediante accesso diretto e utilizzo del sistema di code li presente (LSF). Gli esperimenti con maggiori richieste di calcolo hanno iniziato o stanno per iniziare la migrazione del loro software su GRID.
Come conseguenza, le richieste di risorse di calcolo per il 2006 pervenute in CSN2 sono dell’ ordine di 0.4 M€ da confrontare con i 1.2 M€ richiesti per il 2004.
Conclusioni