Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Hardware-beschleunigtes Cloud-Computing für die Bauteile-Identifikation (AP 6)
powered by IAV
Christian Unger, Berlin 29.11.2018
2
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Agenda
• Über CPU 24/7 + Rechenzentrum
• Ziele des AP 6
• Cloud-Infrastruktur + Schlüsseltechnologien
• Ergebnisse der Hardwarebeschleunigung
• Ausblick
3
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Über CPU 24/7
Wer sind wir?
• Potsdamer HPC Cloud-Provider mit Spezialisierung auf CAE
• Gegründet 2006 aus PoC der TU-Berlin mit Rolls-Royce Dtl.
• ~ 20 Mitarbeiter
• Seit 2018 Tochter der IAV (Ingenieurgesellschaft Auto und Verkehr)
Unsere Kunden (Auszug):
4
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Hochsicherheitsrechenzentrum Berlin-Spandau
5
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Arbeitspaket 6
Ziel:
• Aufbau einer Hardware-beschleunigten Cloud-Infrastruktur
Beteiligte Konsortialpartner:
Arbeitsunterpakete:
• HHI (AG Embedded Systems):
− Laufzeitanalysen
− Evaluierung Beschleunigerkonzepte
− Portierung auf Zielplattform
• CPU 24/7:
− Implementierung Cloud-Computing API
− Gesamtintegration / Infrastruktur
− Validierung / Feldtest
6
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Integration in M3D-Workflow
7
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Cloud Management (OpenStack)
Software-Defined Storage (CEPH)
Temporary block storage
Network-Attached Accelerator Grid (NAA-Grid)
Storage / Tenant (HPC) / OpenStack Management (InfiniBand EDR with 100 Gb/s)
Load balancer
OpenStack controller
Ceph OSD nodes(persistent storage)
Ceph monitor nodes
Distribution nodes
TenantFirewall
Autonomousdeployment node
Bare-metal / VMprovisioning
Health monitoring +failure detection
OpenStack controller
OpenStack controller
Object read+write /data replication
Software-NAA(Golden reference)
GPU-NAA Accelerator Node
FPGA-NAA Accelerator Node
Tenant communication
Cloud APIs / User Interfaces
AdminFirewall
VPN
Cloud-Infrastruktur
8
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Schlüsseltechnologien
OpenStack
• Cloud-Management-Tool
• OpenSource (initiiert durch NASA und Rackspace)
• Proprietäre Distributionen vorhanden (z.B. Mirantis, RedHat, Oracle)
• Key-Features:
− Dynamisches Provisionieren von Compute-Nodes als VMs + Bare-Metal
− Virtual Networks (VLANs) zur logischen Netzwerk-Trennung
− Identity-Services für Authentifizierung
− Storage-Services
− Monitoring + Accounting
− UI / Dashboard + standardisierte APIs
9
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Schlüsseltechnologien
Ceph
• Software Defined Storage (OpenSource)
• Redundant, vertikal + horizontal skalierbar, selbstheilend
• Einsatz auf Commodity-Hardware (kein Vendor-Lock-in)
• Komponenten:
− Object Storage (S3-basiert) -> Datentransfers von/zur Cloud
− Block Storage -> Storage für VMs + Compute-Nodes
− Ceph FS (Parallel File System) -> Nicht im Einsatz in M3D, da erst seit kurzem Production-ready
Für M3D:
− Entwicklung eines eigenen S3-Clients für M3D
10
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Schlüsseltechnologien
Netzwerk-Topologie mit 3 physischen Netzen und VLANs
• InfiniBand EDR (100 Gb/s) mit IPoIB
− Storage-Anbindung + Daten-Replikation
− Tenant-Netzwerk (z.B. für MPI-Kommunikation)
− OpenStack Management-Network
− InfiniBand nativ nicht von OpenStack unterstützt
• 1G Ethernet
− Public Network (z.B. für SSH auf Tenants)
− Admin/PXE Netzwerk (z.B. Netzwerk-Boot von Servern)
• 1G Ethernet (rein administrativ)
− IPMI (Intelligent Plattform Management Interface)
11
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Schlüsseltechnologien
Heterogenes Beschleunigerkonzept
• CPUs (x86, ARM), GPUs und rekonfigurierbare FPGAs
• Nutzung großer Anzahl verteilter Ressourcen, welche mit einfachen Interfaces genutzt werden können
• Idealer Beschleuniger für die jeweilige Anwendung auswählbar
• Auswahl abhängig von:
− Durchsatz
− Latenz
− Energieeffizienz
− Verfügbarkeit einer Implementierung
• Aufbau einer Bibliothek verfügbarer Beschleuniger-Implementierungen
12
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Schlüsseltechnologien
HNAA Runtime Resource Management / Software Framework
13
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Schlüsseltechnologien
Wiederverwendbares Framework für grundlegende FPGA Fähigkeiten wie
• Spezialisiertes Netzwerkinterface
• Speicherzugriff
• Accelerator Sockets als virtuelle Beschleuniger zur idealen Ressourcenausnutzung
• Datentransfer zwischen Accelerator Sockets
• Bussystem zur Steuerung und Überwachung aller Komponenten
14
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Schlüsseltechnologien
HNAA FPGA Hardware Framework
Inbetriebnahme von Intel Boards:
• Arria 10 (Nallatech 385A, Nallatech T510)
• Stratix 10 (Intel Stratix 10 Dev Board)
15
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Ergebnisse der Hardware-Beschleunigung - AP6
SIFT (CPU + FPGA)
• Referenz - CPU:
− pro CPU Kern: ~2,5 s pro HD SIFT
• Hardware-beschleunigt - FPGA:
− pro FPGA: ~0,008s (120 Frames/s bei 1920x1080)
− Beschleunigungsfaktor: 300
Matching auf HD-Bildern (CPU + GPU + FPGA)
• Referenz - CPU:
− Kd-Tree Matching pro CPU Kern: 17,8 s
• Hardware-beschleunigt - GPU:
− Brute-Force Matching pro GPU: 0,5 s
− Beschleunigungsfaktor: 39
• Hardware-beschleunigt - FPGA:
− Kd-Tree Matching pro FPGA: 0,36s
− Beschleunigungsfaktor: 50
17
powered by IAV
M3D:
Hardware-beschleunigtes
Cloud-Computing für die
Bauteile-Identifikation (AP 6)
Christian Unger, 29.11.2018
Ausblick
Cloud-Technologien:
• Evaluierung von Container-basierten Plattformen
− Trend von OpenStack (VMs) zu Kubernetes (Container)
− Hoher Wartungsoverhead bei OpenStack:
• Produktives OpenStack-Rollout dauert ca. 3-6 Monate (selbst unter Einbindung externer Dienstleister)
• Aufbau + Betrieb: Team von mind. 5 FTE + Schulungen nötig
Beschleuniger-Technologien:
• Entwicklung weiterer Beschleuniger für Videocodierung und Neurale Netzwerke (CNN)
• Verarbeitungspipelines zwischen verteilten (virtuellen) FPGAs über 100 Gbit/s Network
− Datenaustausch mit hohem Durchsatz und geringer Latenz
− Ideale Plattform für energieeffiziente Neuronale Netze
18
CLOUD
TECHNOLOGIES
TECHNOLOGY
INNOVATION
COMPUTER VISIONARTIFICIAL
INTELLIGENCE
HARDWARE-ACCELERATORS
Ihr direkter Ansprechpartner
Christian Unger
Head of Technology Innovation
0331 / 279 784 48