Grid Computing at DESY

Andreas Gellrich*

DESY

HEPiX­HEPNT, Fall 2004, BNL21 October 2004

*presented by Patrick Fuhrmann

Andreas Gellrich 21 October 2004  2

http

://gr

id.d

esy.

de/

Contents

• Introduction

• Grid Projects at DESY

• Grid Infrastructure at DESY

• Grid Applications at DESY

• Conclusions

Andreas Gellrich 21 October 2004  3

http

://gr

id.d

esy.

de/

Introduction

• DESY is one of the world­wide leading centers for research with particle accelerators and synchrotron light

• DESY operates the electron­hadron storage ring HERA­II with three running experiments (H1, HERMES, ZEUS)

• DESY is a Tier­0/1 centre for the HERA experiments

• DESY has traditionally not been involved in CERN experiments and is therefore not part of LHC / LCG

• DESY supports the Physics Institutes of the University of Hamburg in their CMS Grid activities

• DESY has identified Grid as a strategic technology for the future

Andreas Gellrich 21 October 2004  4

http

://gr

id.d

esy.

de/ Grid Projects 

at DESY

Andreas Gellrich 21 October 2004  5

http

://gr

id.d

esy.

de/

EGEE

applications

network

EGEE@DESY

• Enabling Grids for E­SciencE• EU 6th Framework Programme (FP 6)• Started on April 1st, 2004• 70 partners in 27 countries• federated in 10 regional Grids• Headquarter: CERN

• DESY is in D/CH federation• DESY, DKRZ, FhG­SCAI, FZK, GSI• DESY is in SA1 (operating a Grid infrastructure)• DESY is funded with ~ 2FTEyears

• DESY provided resources for the GridKa School

• http://www.eu­egee.org/

Andreas Gellrich 21 October 2004  6

http

://gr

id.d

esy.

de/

D­GRID@DESY

• R&D programme for a national e­science infrastructure• DESY is founding member of the HGF institutes

• Organization in 6 communities

• Anticipated programme start is January 1st, 2005, for 3 year• Funding volume of 20 MEUR• Project proposal are due on October 22nd, 2004

• A handful of community specific projects and 1 integration project

• DESY leads HEP Community Project (CP) • DESY participates in the Integration project (IP), led by GridKa• DESY brings in know­how and experiences in data management

Andreas Gellrich 21 October 2004  7

http

://gr

id.d

esy.

de/

ILDG@DESY

• In Lattice QCD (LQCD) costly simulations so­called configurations, performed on High Performance Clusters are the basis for research activities

• The International Lattice DataGrid (ILDG) was started with the aim of making gauge field configurations available to an international group of scientists using Grid technologies

• Each configuration submitted to ILDG will consist of a set of meta­data and a set of binary files

• In the context of the German Lattice Forum (LATFOR) DESY is setting up a Data Grid testbed, exploiting the common Grid infrastructure, in particular the catalogue services

Andreas Gellrich 21 October 2004  8

http

://gr

id.d

esy.

de/

LCG@DESY

• Some physics institutes of the University of Hamburg are located on the DESY site

• DESY supports the institutes by providing computing infrastructure

• The Institute for Experimental Physics is partner of the CMS collaboration at LHC

• In a joint effort between DESY and the institute a Grid infrastructure to enable LCG on site will be installed

• Their Grid hardware is incorporated in the common DESY Grid infrastructure

• In cooperation with  the University of Aachen a CMS Tier­2 centre is planned in Germany

Andreas Gellrich 21 October 2004  9

http

://gr

id.d

esy.

de/

dCache@DESY …

D2 D2 D2

D2 D2 D2

D2D2D2

DMZ

D2

Z Z Z

C C C C C

C C C C C

C C C C C

C C C C C

C   Central Cache HH

Local HH

Local Zeuthen

D2 Pre Cache HHZ   Cache Zeuthen

World

Andreas Gellrich 21 October 2004  10

http

://gr

id.d

esy.

de/

… dCache@DESY

dCache Deployment

• Working together with Ian Birds deployment gang• dCache developers will be at CERN next week to get into 

residual technical issues.• CERN member will be at DESY mid of Nov. to create/improve 

installation and operating manuals.• Improving installation for very small installations.• D­Grid initiative : proposal : 'Scalable Storage Element'• we need your feedback about installation and operating issues   

support@dcache.ORG• most recent 'rpm' on www.dCache.ORG  should already be easy 

to install. 

Andreas Gellrich 21 October 2004  11

http

://gr

id.d

esy.

de/ Grid Infrastructure 

at DESY

Andreas Gellrich 21 October 2004  12

http

://gr

id.d

esy.

de/

Grid Infrastructure at DESY• DESY installed and operates a complete and independent Grid 

infrastructure which provides generic Grid services to all experiments and groups a DESY

• The DESY Production Grid is based on LCG_2_2_0 and includes:Resource Broker (RB), Information Index (BDII), Proxy (PXY)Local Replica Catalog (LRC), Meta Data Catalog (MDC)27 nodes, incl. 17 WNs (34 CPUs)dCache­based SE with access to the entire DESY data space of 0.5 PB

• Certification services for DESY users in cooperation with GridKa

• VO management for the HERA experiments (‘hone’, ‘herab’, ‘hermes’, ‘zeus’), LQCD (‘ildg’), ILC (‘ilc’), Astro­particle Physics (‘baikal’, ‘icecube’)

Andreas Gellrich 21 October 2004  13

http

://gr

id.d

esy.

de/

DESY Production Grid …

Site CSite B

output

dcap

UICAT

WN WN WNWN

dCache­SEG

RISCE

GR

IS

BDII

JDLRB

PBS

LRC/MDC

VORBCESE

/etc/grid­security/grid­mapfile

Site A

ssh

$HOME/.globus/

certs

ldap://grid­vo.desy.de/ GIIS

disk tape

grid­ui grid­rb

grid­cat

grid­vo grid­ce

grid100­110

grid­se

world

Andreas Gellrich 21 October 2004  14

http

://gr

id.d

esy.

de/

DESY Production Grid: Classical Set­up 

Globus­gatekeeper

GRAM

PBS­server

PBS­client PBS­client PBS­client PBS­client

WN1 WN2 WN3 WN4

CE

Computing resources

Andreas Gellrich 21 October 2004  15

http

://gr

id.d

esy.

de/

DESY Production Grid: Federating Resources

Globus­gatekeeper

GRAM

PBS­client PBS­client PBS­client PBS­client

Globus­gatekeeper

GRAM

Globus­gatekeeper

GRAM

WN1 WN2 WN3 WN4

CE1 CE3CE2

PBS­server

Federated computing resources

VO specific queues

Andreas Gellrich 21 October 2004  16

http

://gr

id.d

esy.

de/

… DESY Production Grid …•rack­mounted 1U servers•dual Intel P4 XEON 2.8 GHz•2 GB DDRAM•GigaBit Ethernet•80 GB (E)IDE system disk•200 GB (E)IDE data disk

•10 Gbit/s DESY back­bone•1 Gbit/s WAN (G­WIN)

Andreas Gellrich 21 October 2004  17

http

://gr

id.d

esy.

de/

… DESY Production Grid …grid­ce.desy.de

Andreas Gellrich 21 October 2004  18

http

://gr

id.d

esy.

de/

… DESY Production Grid …

• Security aspects:DESY uses sophisticated firewall settingsServices are planned to run in a DMZ                               (partly already achieved for dCache services)

• Installation Experiences:Manual installation on SuSE­based DESY Linux clumsyLCFGng­based easierWaiting for common HEP Linux (SL3) and Quattor (?)

• Operational Experiences:AFS and NIS/YP on UIs highly welcomed by usersdCache­based SE operationalLDAP­based globus­mds lacks scalabilityR­GMA not yet considered

Andreas Gellrich 21 October 2004  19

http

://gr

id.d

esy.

de/ Grid Applications

at DESY

Andreas Gellrich 21 October 2004  20

http

://gr

id.d

esy.

de/

The Challenge

• HERA­II drives the demand for MC production• The paradigms of resource sharing are changing.

• H1 used to distributes the MC production to dedicated sites which have now started to join the LCG  and deploy Grid technologies.

• ZEUS has run the MC production system funnel for a decade with collaborating sites. Many of them have started to join LCG.

• The International Linear Collider (ILC) Detector group group aims on data exchange and MC simulation using the Grid. By using the dCache­based SE and the Catalogue Services, the entire DESY data space is presented to the Grid.

• H1 and ZEUS distribute their experiment­specific software via replica management to SEs than installing locally

Andreas Gellrich 21 October 2004  21

http

://gr

id.d

esy.

de/

The H1 MC Schema

Split the input into files20000 events/file, 5kb eache.g.30mio events = 150Gb

ACStape

Batch(PBS)

node

node

nodeSteeringnode

H1farm

each node: local disk 200GbH1 environment (incl. execs)noise files ~7GbOracle databaseoutput ­ DST1500 job­status files

When all done, copy the output from each node (to avoid acs fragmentation)

Generated events jobs

Andreas Gellrich 21 October 2004  22

http

://gr

id.d

esy.

de/

ZEUS MC Production …

KEK

Rutherford

Montreal

Tel Aviv

Bonn

...

Funnel Sites

ZEUS IntegratedProduction System

Grid Sites

RAL

Scotgrid

DESY

…

ZEUS Grid Gateway

Andreas Gellrich 21 October 2004  23

http

://gr

id.d

esy.

de/

… ZEUS MC Production

• The Grid Sites are currently being integrated in the ZEUS Integrated MC Production system (ZIMP) in addition to funnel

• ZIMP provides user request portals, book­keeping, statistics, and monitoring and plans for automated production services

• Besides DESY, RAL, ScotGrid (Glasgow), Universities of Hamburg, Dortmund, and Karlsruhe currently support the VO ‘zeus’ 

RAL

21 Sep 2004

• 0.5 M events have been produced on the Grid so far

• 84 k events produced at RAL

• Data Quality Management (DQM) has been successfully applied

Andreas Gellrich 21 October 2004  24

http

://gr

id.d

esy.

de/

Conclusions

• We hope you are convinced why and how DESY deploys a Grid Infrastructure

• The HERA­II programme drives the demand for MC production• Changing paradigms of resource sharing requires Grid 

technologies• Recently started  projects expect the Grid to be available on site

• The DESY Production Grid provides a common Grid infrastructure, including all generic Grid services 

• The HERA experiments as well as some globally active groups have started to exploit the Grid to share resources with outside partners

• For DESY, the Grid has become a strategic technology