Programmable Processing for the Future and Autonomous Car – From classical FPGA to heterogeneous MPSoC

© Prof. Dr.-Ing. Anestis Terzis

Fakultät Elektrotechnik und Informationstechnik

Workshop Introduction

1st official Workshop Ulm, 11.07.2017

© Prof. Dr.-Ing. A. Terzis

Ulm University of Applied Sciences

• 6 Faculties 24 Bachelor- and 9 Master study courses mainly directed at the

technical sector with 4.100 Students

• It integrates the areas of research and development with the help of own

research institutes and several Steinbeis Transfer Centers

• Faculty of Electrical Engineering and Information Technology• Institute of Communication Technology (IKT)• Institute of Automotive Systems Engineering (IFS)• …

2Quelle: www.hs-ulm.de

© Prof. Dr.-Ing. A. Terzis

Institute of Communication Technology

Specific ‘know how’ in the areas:

•Description of digital systems with VHDL and

with High-Level-Methods for FPGAs

•Circuit synthesis of digital systems

•Simulation and layout design of digital and

mixed-signal-ASICs

•Application of modern CMOS

and BiCMOS technologies

3

MPC Proceedings can be found at: www.mpc.belwue.de

© Prof. Dr.-Ing. A. Terzis

Auszug Forschungs- und Kompetenzfelder

4

Quelle: http://studium.hs-ulm.de/de/research/Seiten/default.aspx

Entwurf digitaler Systeme/Mikroelektronik

Drahtlose Kommunikationssysteme

Elektromagnetische Verträglichkeit

FahrerassistenzsystemeUmfelderfassung über Sensorik, Kamera und Sensorfusion bilden die

Basis der Fahrerassistenzaktivitäten an der Hochschule. Insbesondere Radarsensorik und Kameras mit Surround-View-Funktionalität und

Kamera-Monitor-Systeme (Spiegelersatz) werden untersucht.

Wesentlicher Inhalt ist die Elektromagnetische Verträglichkeit von Bus-

und Funksystemen für die Übertragung hoher Datenraten im Kraftfahrzeug. Spezielles Augenmerk liegt auf Entstörmaßnahmen und

störungsfreien Systemkonzepten im Automobil.

Die Forschung für drahtlose Kommunikationssysteme konzentriert sich

auf Algorithmen und Konzepte für ein autonomes Funkmanagement und die Bereitstellung ausreichenden Quality-of-Service (QoS) sowie

auf Low-Power-RF-Front-Ends mit Mehr-Antennentechnologie.

Besonderes Know-How besteht auf den Gebieten:

• Entwurf digitaler Systeme mit VHDL, modernen FPGAs und SoCs• Simulation und Layoutentwurf von HF- und Mixed-Signal-ASICs

• Anwendung moderner Bipolar-, CMOS- und BiCMOS-Techniken

© Prof. Dr.-Ing. A. Terzis

Institute of Automotive Systems EngineeringAutomotive Center A scientific facility of the departments of ‘Electronic Engineering and

Information Technology’ and ‘Mechanical and Automotive Engineering’.

Areas:

Automotive Electronics, Automotive Engineering, Engines and Machines, Mobile Hydraulics, Fluid Dynamics, Structural Mechanics and Acoustics.

5

© Prof. Dr.-Ing. A. Terzis

Kamera-Monitor-Systeme nach ISO 16505und UN R. 46 als Spiegel-Ersatz

6

Normgerechter Entwurf von KMS Entwicklung von KMS-Testverfahren

© Prof. Dr.-Ing. A. Terzis

7

© Prof. Dr.-Ing. A. Terzis

RC-Car-Flotte mit autonomen FahrfunktionenInstitut für Kommunikationstechnik

8

Energiespeicher

Elektromotor

µController Software

Sensorik

Leistungselektronik

WLAN Funknetz

Aktorik

HF-Elektronik

Batteriemanagement

ADAS-Funktionen

© Prof. Dr.-Ing. A. Terzis

Was ist ein FPGA?

Ein Field Programmable Gate Array ist ein digitaler

IC der konfigurierbare Schaltungsteile

enthält u.A.:

• Logik-Blöcke, DSP-Blöcke

• Digital Clock Management

• Interne Speicher-Blöcke

• Gigabit-Transceiver

und mit der HW-Beschreibungs-Sprache

VHDL entworfen wird.

9

Slice

LUTMux/

Carry

LUTMux/

CarryD Q

CE

PRE

CLR

DQCE

PRE

CLR

I/O-Blöcke

Logik-BlöckeVerbindungen

SRAM-Zelle

© Prof. Dr.-Ing. A. Terzis

Was ist ein heterogeneous MPSoC?Beispiel: Xilinx Zynq® UltraScale+™ MPSoC

10Quelle:© Xilinx Link: https://www.xilinx.com/products/silicon-devices/soc/zynq-ultrascale-mpsoc.html

FPG

A

© Prof. Dr.-Ing. A. Terzis

Digitaltechnik und FPGAs im Curriculum der ElektrotechnikAuszug Vorlesungen:

11

Elektrotechnik

und Informationstechnik

B.Eng.

Grundstudium

1

2

3

4

5

6

7

Elektronik für die Informationstechnik

Automatisierung

Kommunikationssysteme

Energie- und Leistungselektronik

Medientechnik

Fahrzeugelektronik

Informatik

Wirtschaft

Hauptstudium mit Schwerpunkten

Digitaltechnik 1: Codes, Schaltalgebra und

Grundfunktionen, Mux/Demux, Coder/Decoder, Arithmetik, Flip-Flops, Asynchron-/Synchron-

Zähler, FSM…4 SWS mit Labor

Digitaltechnik 2: Digitaler Schaltungsentwurf

mit VHDL, Simulation, CPLD, FPGA, Halbleiter-Speicher (EEPROM, SRAM, DRAM, xDDRX…),…

4 SWS mit Labor

Digitale Schaltungen und Systeme: FPGA-Architekturen, High-Level-Entwurfsmethoden, Taktung und Timing-Analysen,

arithmetische Schaltungen, IP-Cores, digitale Schnittstellen, digitale Systeme

4 SWS mit Labor

+ 2 Vorlesungen Mikrocomputertechnik 1/2 mit je 4 SWS …

© Prof. Dr.-Ing. A. Terzis

Digitaltechnik und FPGAs im Curriculum der heutigen Elektrotechnik

12

Digitale Schaltungen und Systeme: Auszug Laborversuche4 SWS mit Labor

Laborversuch:Direct-Sequence-Spread-Spectrum-Übertragung

Laborversuch: Bildverarbeitung

Stereo-Kamera

Display

© Prof. Dr.-Ing. A. Terzis

ADAS im Curriculum der Elektrotechnik

Thema Dozentin/Dozent

Einführung in Fahrerassistenzsysteme Prof. Terzis (HS Ulm)

Erprobung und Absicherung von

Assistenzsystemen

Dr. Schöner (Daimler)

Sicherheitssysteme Prof. Boin (HS Ulm)

Kamerabasierte Fahrerassistenzsysteme 1 Prof. Terzis (HS Ulm)

Prototypischer Kamerasystementwurf Dr. Schweiger (Daimler)

Kamerabasierte Fahrerassistenzsysteme 2 Prof. Terzis (HS Ulm)

Automotive-Radar Dr. Blöcher (Daimler)

Fahrzeugfunksysteme Prof. Terzis (HS Ulm)

Bremssysteme Haiss (CNH Industrial)

Lenksysteme und deren funktionale

Sicherheit

Prof. Krini (Bosch AS)

Application Engineering Hoffmann & Roll (Bosch Eng.)

Brennstoffzellensysteme Dr. Scholta (ZSW)

13

Elektrotechnik

und Informationstechnik

B.Eng.

1

2

3

4

5

6

7

Vorlesung Fahrzeugsysteme (4 SWS): im Schwerpunkt Fahrzeugelektronik

© Prof. Dr.-Ing. A. Terzis

SAE International’s Levels of Driving Automation for On-Road Vehicle

14

© Prof. Dr.-Ing. A. Terzis

Autonomous Car Components

15

Sensors Processing Actuators

§

e.g. Live HD MAP

In Vehicle Processing

Cloud based Processing

Legal Issues, Ethic Issues, International Regulation…

Camera

Radar

Lidar

e.g. FPGA

© Prof. Dr.-Ing. A. Terzis

Automatisiertes FahrenRechtliche RahmenbedingungenIm US. Bundesstaat Massachusetts galt auf der Insel Nantucket folgendes Recht:• bis 1918 mussten Fuhrwerke jedweder Art von einem Pferd gezogen werden!

1616Quelle: Nantucket Historical Association

http://www.flickr.com/photos/nantuckethistoricalassociation/3347365572/

© Prof. Dr.-Ing. A. Terzis

Complexity Levels of the Optical Sensors

17Processing Complexity

Am

ou

nt

of

Sen

sor

Info

rmat

ion

Lo

w

Low

Hig

h

High

Detection & Warning: Lane / Signs

Displaying: Rear View Camera

80

Realtime Stitching

& Detection / Warning:

Surround-View / CMS

Distance Measurement:

e.g. Stereo Camera, Optical Flow

Object Classification, Tracking:

Cars, Streets, Pedestrians…

Scene Interpretation and Behavior Prediction:

Autonomous Driving

© Prof. Dr.-Ing. A. Terzis

Architecture Camera-Monitor-System

18Quelle: A. Terzis (ed.): „Handbook of Camera Monitor Systems - The Automotive Mirror-Replacement Technology based on

ISO 16505”, Series Augmented Vision and Reality, Springer

© Prof. Dr.-Ing. A. Terzis

Object ClassificationExample Mapillary Vistas Dataset

19Quelle: © Mapillary Vistas Dataset, Link: http://blog.mapillary.com/product/2017/05/03/mapillary-vistas-dataset.html

© Prof. Dr.-Ing. A. Terzis

Trends

Steigender Bedarf an Übertragungen und Vernetzung für hohe Bitraten z.B. Display- und Kamerasysteme mit hohen Auflösungen für die Domäne Fahrerassistenz und Komfort/Entertainment:• KMS-Kamera der nächsten Generation z.B. 2MP @ 60fps (ca. 3 Gbit/s)• 4K-Displays (UHD) 3840 × 2160 Pixel x 24 bit x 60 fps (ca. 12 Gbit/s) • Durch Stereo- und 3D-Funktionen kann der Faktor x 2 entstehen.• ADAS 4MP-Kamera Datenrate:

• Bayer-Daten: 2688 x 1520 px x 60 fps x 10 Bit/px = 2,45Gbit/s• RGB-Daten: 2688 x 1520 px x 60 fps x 3 x 10 Bit/px = 7,35Gbit/s

• Sensor-Fusion Radar/Kamera/Lidar/Karte/Car-to-X wird benötigt.

• Aus Sicherheitsgründen kann es nötig sein sowohl die Sensoren als auch die

Aktoren für das autonome Fahren redundant auszulegen! → Faktor 2 bei ADAS-Systemen, Datenübertragung und Processing?

20

© Prof. Dr.-Ing. A. Terzis

Innovationsindikator Patente für das autonome Fahren

21

© Prof. Dr.-Ing. A. Terzis

Agenda des Workshops

10:00 – 10:15 Uhr Andreas Scheffer (Xilinx) & Endric Schubert (MLE):

Welcome Note.

10:15 – 10:45 Uhr Anestis Terzis (Hochschule Ulm):

Programmable Processing for the Future and Autonomous Car -Workshop Introduction.

10:50 – 11:45 Uhr Felix Eberli (Supercomputing Systems AG):Hardwareaspekte Deep Learning - FPGAs für Computer Vision im Auto.

12:00 – 13:00 Uhr Lunch

13:00 – 13:45 Uhr Stephan Reuter, Karl Granström, Dominik Nuss, Alexander Scheel (University Ulm):Multi-Objekt-Tracking und Grid-Mapping für die Fahrzeugumfelderfassung unter Verwendung

von Random-Finite-Sets.

14:00 – 14:45 Uhr Rainer Lienhart (University Augsburg):

Low-Precision Deep Neural Networks (DNN)-State-of-the-art, strengths and weaknesses, and a

proposal for next steps to enable FPGAs to become a preferred computer platform for DNN

inference.

15:00 – 16:30 Uhr Nick Ni, Vinod Kathail, Kay Migge (Xilinx):

Machine Learning Technologies, Effective Data Types for CNN, Caffe to Zynq Design Flow,

High-Level Synthesis - From C/C++ to FPGA.22

© Prof. Dr.-Ing. A. Terzis

Vielen Dank für Ihre Aufmerksamkeit !

23

Prof. Dr.-Ing. Anestis Terzis

Hochschule Ulm

Fakultät Elektrotechnik und Informationstechnik

Eberhard-Finckh-Str. 11, D-89075 Ulm

Tel.: +49(0)731-50-28341Fax: +49(0)731-50-28363

Email: terzis@hs-ulm.de

www.hs-ulm.de/terzis