Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-

Detektors am Super-LHC

Andy Kielburg-Jeka, Andreas Glatte, Andreas Meyer, Arno Straessner

TU Dresden, Institut für Kern- und Teilchenphysik

DPG Frühjahrstagung Bonn, 15. - 19. März 2010

Inhalt

• ALTAS Detektor

• Ausleseelektronik des Flüssig-Argon-Kalorimeters (LAr)

• Datenverarbeitung am ATLAS Detektor

• Super LHC (sLHC) + Herausforderungen

• Modifizierte Auslesekette für den Super LHC (sLHC)

• Status

• Weiteres Vorgehen

• Zusammenfassung

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 2 / 13

ATLAS Detektor

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka

• dient dem Nachweis der pp-Reaktionsprodukte• besteht aus unterschiedlichen Sub-Detektoren

• 4 hoch auflösende LAr Kalorimeter• 182486 Auslese-Kanäle• 40MHz Proton-Proton Kollisionsrate

• Front-End und Trigger-Elektronik- auf dem Detektor, strahlenhart- mehrere FEBs in einem Front-End-Crate

• Back-End und zusätzliche Trigger Elektronik- räumlich getrennt vom Detektor

3 / 13

Derzeitige Ausleseelektronik des LAr Kalorimeters

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka

• 1524 Front-End-Boards (FEB) - bis zu 128 Kanäle- Vorverstärkung, Pulsform, Zwischenspeicherung, Digitalisierung

• FEBs sind über 1600 optische Leitungen mit Back-End-Elektronik verbunden

• 192 Read-Out-Driver Boards (ROD)- digitale Filterung (Energie, Zeit)

• 800 optische Verbindungen zu DAQ PCs

• 68 Read-Out-Subsystem PCs (ROS)- DAQ und High-Level-Trigger Buffer

4 / 13

Datenverarbeitung am ATLAS Detektor

• Level-2-Trigger: fordert ROI-Daten an @ ~75kHz (nur einige ROS involviert)• Event-Builder: fordert alle Daten eines Ereignisses an @ ~3kHz (alle ROS involviert)

• Datenbank: Daten für Analyse gespeichert @ ~200Hz (~300MByte/s)Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 5 / 13

• FEB: Datengenerierung @ 40MHz- Datenaufbereitung für Level-1-Trigger- ursprüngliche Datenmenge reduziert

• Level-1-Trigger Entscheidung < 2.5ms• FEB ROD: Datenübertragung @ ~75kHz

- 1.6GBit/s optisch

• ROD: Digitales Filtern• ROD ROS: Datenübertragung @ ~75kHz

• ROS: Datenspeicherung für High-Level-Trigger

Super LHC (sLHC) + Herausforderungen

• Ausbau des LHC für sehr hohe Luminosität > 1034 cm-2 s-1

• kontinuierlich durch mehrere Upgrade/Shutdown Phasen erreicht

• derzeitiges Szenario:- nominelle Luminosität von 1034 cm-2 s-1 in 2016 erreicht- Langer Shutdown 2020: neue Kollimatoren, evtl. Fokussierungsmagnete (Triplett)- maximale Luminosität ~ 3*1034 cm-2 s-1 > 2020

• ursprünglicher Shutdown 2017 (Strahlenbelastung)• neueste Prognose: maximale Strahlenbelastung erst ~2020 erreicht• Ersetzen der Elektronik des Kalorimeters:

- verbesserte Strahlenresistenz- verbesserter digitaler Trigger- Alterung der Elektronik

• Herausforderungen:- (s)LHC für Betrieb bis 2030 rüsten- Optimierung der Shutdown Phasen (Zeit, Wiederhochfahren, Re-Justierung, usw.)- Abwägen zwischen funktionierendem System und Erreichung max. Luminosität

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 6 / 13

Modifizierte Auslesekette für den sLHC

• Idee für zukünftige Auslesekette:

• 1 Front-End-Crate enthält 14 FEBs

• Übertragung der gesamten Rohdaten an ROD (volle Auflösung)- 1 FEB: 128 K. * 40MHz * 16bits * 10/8 = ~ 100Gbit/s ( heute: 1.6 Gbit/s)- 1 ROD: 14 * 100Gbit/s = ~ 1.4Tbit/s ( heute: 8 * 1.6Gbit/s = ~ 13 Gbit/s)

• erweiterte Funktionalität der RODs:• Berechnung der Level-1 Trigger Summe digital• Vorteil: feinere Granularität• Bestimmung Signalzeit und Zuordnung zu Strahlkreuzung (bunch-crossing)• zusätzlich bisherige Energieberechnung• FPGA: hochgradig parallele Datenverarbeitung möglich

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 7 / 13

Modifizierte Auslesekette für den sLHC (2)

• Integration von ROD und ROS in einem System (ATCA)• ROS genauso wie ROD als Modul ausgeführt (heute: ~ 150 separate PCs)

• ATCA: Advanced Telecommunications Computing Architecture- Erprobter Standard aus Telekommunikationsindustrie- Nutzung kommerziell verfügbarer Komponenten

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka

• ROS: ist auch in neuem Szenario der High-Level-Trigger Buffer- Verwendung von Standard-Komponenten (ATCA, CPU, RAM, …)- Verwendung von Standard-Protokollen für Datenübertragung- Versuch eines vereinfachten Daten-Handlings im neuen ROS System- Erzeugung eines Dateisystems im RAM des ROS Moduls- Speicherung der Event-Daten als Dateien (inkl. Zeitstempel…)

• Idee für zukünftige Auslesekette:

8 / 13

Modifizierte Auslesekette für den sLHC: ROS

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka

• Idee für zukünftiges ROS System (mit Standard-Komponenten)- Prototyp eines ROS Systems (später evtl. CPU Board in ATCA Format)

Xeon

X5520 (Server)

Xeon

10600

12800

MB/s/Richtung

12800

2 Port NIC3800

10600DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

2 Port NIC

2 Port NIC

2 Port NIC

2x 10GBit Ethernet Verbindungen zu High-Level-Trigger (LVL2, EVB)

• 6x 10GBit Ethernet Verbindungen zu 6 RODs

• 16 Lanes konfiguriert als 2x PCIe2.0x8

• 16 Lanes konfiguriert als 2x PCIe2.0x8

• 4 Lanes PCIe1.0

• Mainboard Intel S5520HC• 2x Xeon5550 (2.66GHz, 6.4GT/s, 4 Kerne)• 24GB RAM• 4x Myricom 10 GbE Dual-Port-Netzwerkkarte

9 / 13

Status: Testumgebung

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka

ROD

Switch

Server

• Radisys Promentum ATCA Sys-6010 Crate- 10GbE Backplane, Dual Star- 2/12 Einschübe für Switch/Computing Module- Testplattform für 10GbE Verbindung zwischen FPGA (ROD) und Server (ROS)

• 10GbE Switch mit optischen XFP Transceiver- enthält Management Logik für Crate- 10GbE Verbindung zu Computing Modulen- später durch ROS ersetzt

• experimentelles ROD Board (BNL)- bestückt mit Xilinx Virtex 5 FPGA (6.5Gb Transceiver)- FPGA über Backplane mit Switch verbunden

• Server (ROS) mit 2 Xeon 5550- 4x Myricom 10GbE Dual Port Netzwerkkarten (optische und kupferbasierte SFP+ Verbindungen)- verbunden mit Switch über optische Leitung- Testplattform für späteres ROS- BS: Linux, 64 Bit Kernel v2.6.30

10 / 13

Status: bisherige Ergebnisse

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka

• Server (ROS):- externer Loopback zwischen beiden Ports einer Netzwerkkarte

( „Send-to-Self“ Linux Kernel Patch, keine Verbindung zu FPGA auf ROD)- Nutzung Linux-tmpfs als Dateisystem (RAM)- Transferrate ~9.9GBit/s mit und ohne Switch

(MTU 9000, maximale Transferrate der Karten, komplett im RAM)- genügend Rechenleistung für Parallelbetrieb von 4 Karten

(~60% Auslastung für 80Gbit/s, HT an: ~30% / 80Gbit/s)

• FPGA auf ROD:- 1GbE Verbindung über Standard Ethernet Port- Datenübertragung direkt von FPGA an CPU- 10GbE Anbindung an ATCA Backplane in Arbeit

- Xilinx 10GbE Core teuer - Implementierung 10GbE MAC Core von opencores.org

• ATCA Crate:- 10GbE Verbindung über interne Switch- Vorrausetzung für weitere Tests von Kommunikation FPGA Server

11 / 13

Weiteres Vorgehen

• was ist noch zu tun:- 10GbE Anbindung FPGA über Transceiver an Backplane- Nutzung Standard-Protokolle (Ethernet, IP, UDP…)- Performance Tests von FPGA (Datenverarbeitung, Datentransfer zum Server, …)- Performance Tests von Server mit CERN DAQ Software

ROD ATCA Board

FPGA (Xilinx Virtex5 - XC5VFX70T)

10-GigabitEthernet MAC

CoreATCA-Back plane

GTX-Trans-ceiver

10Gbit Eth.über

XGMII

Switch Blade

10 Gigabit Ethernet Switch

Server (ROS) mit Dateisystem im

RAM

NutzerLogik

10Gbit Eth.über

XAUIXAUIIP-Core

10Gbit Eth.über

XAUI

10Gbit Eth.optisch

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 12 / 13

Zusammenfassung

Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka

• modifizierte Auslesekette des LAr im sLHC mit extrem hoher Datenrate

• Schwerpunkt auf ROS System, Teilaufgaben für ROD (FPGA)

• Server (ROS-Prototyp): 4fach parallele 10Gbit/s Anbindung über Switch möglich (RAM, Auslastung)

• FPGA (ROD-Prototyp): 1Gbit/s Anbindung erfolgreich

• offene Probleme: - 10Gbit/s Anbindung des FPGA an Backplane ATCA Crate- Verbindung zwischen FPGA und Server- Performance Tests von Server und FPGA

13 / 13