54
Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW- Veranstaltung am 14.05.08 in Ilmenau Wir sind Ihr Partner für: • Elektronikentwicklung • FPGA-Design • IP-Core Entwicklung • Bildverarbeitung • Softwareentwicklung • Algorithmenentwicklung • Intelligente Lichtsteuerung AVT GmbH Ilmenau Am Hammergrund 1 98693 Ilmenau Tel: +49 (0)3677 / 64 79 0 Fax: +49 (0)3677 / 64 79 69 Email: [email protected] Web: www.avt-ilmenau.de

Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Embed Size (px)

Citation preview

Page 1: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 1

Einsatz von FPGA-Technikspeziell für dieBildverarbeitung

Vortrag im Rahmen der BVMW-Veranstaltung am 14.05.08 in Ilmenau

Wir sind Ihr Partner für:• Elektronikentwicklung• FPGA-Design• IP-Core Entwicklung • Bildverarbeitung• Softwareentwicklung• Algorithmenentwicklung• Intelligente Lichtsteuerung

AVT GmbH IlmenauAm Hammergrund 1

98693 IlmenauTel: +49 (0)3677 / 64 79 0

Fax: +49 (0)3677 / 64 79 69Email: [email protected]: www.avt-ilmenau.de

Page 2: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 2

Wir bieten:

- Produkte als Development-Kit und finale Lösung auf der Basis neuster FPGA-Technik (programmierbare Logik, Schaltkreise undBoard-Design)

- FPGA-Programmiersoftware mit grafischer Oberfläche zurschnellen Einarbeitung (MGP)

- Entwicklung schneller digitaler Applikationen als Hard- und/oder Softwarelösungen (von der Machbarkeit bis zur Produktion)

- Patentlösungen als Patent, Lizenz oder Entwicklungsangebot

- Schulungen und Beratung zu Elektronikentwicklung rund umXILINX FPGAs

- Umsetzung von Bildverarbeitungslösungen auf beliebigenPlattformen (FPGA, PC, …)

Page 3: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 3

Elektronikentwicklung mit FPGAs

- Schnelle Berechnung großer digitaler Datenmengen

- Neuprogrammierung während des Betriebs möglich

- Geringer Energieverbrauch (36 µWatt… 6 Watt)

- Geringer Platzverbrauch, universeller Einsatz

- Zahlreiche Ein- und Ausgänge, viele Schnittstellenstandards

- System-on-reprogrammable-Chip in einem Design möglich

- wiederverwendbare Softwarefunktionen

- als großer Wachstumsmarkt in den USA bereits erkannt(Vorhersage: 2006: 4,5 Mrd $, 2007: 5,2 Mrd $, 2008: 6,3 Mrd )

2006

40%

23%

12%

25%USA

Europa

JapanAsien/Welt

0

200

400

600

800

1000

1200

1400

1600

1800

2002 2003 2004 2005 2006

Net

toei

nnah

men

/ M

io$

(XIL

INX

)

Page 4: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 4

Grundlagen der FPGA-TechnikFPGA-Hardware

Die wichtigsten Vorteile von FPGAs sind:• Sehr schnell für rechenintensive Anwendungen durch parallele

Berechnungen • kleine Abmessungen, geringer Energiebedarf und geringe thermische

Beanspruchung• flexibel durch beliebig oft programmierbare Logikblöcke• sehr viele frei definierbare Ein- und Ausgänge (mehr als 1100)• keine bzw. wenige Redesigns der Leiterplatten notwendig• schnelle Entwicklung von Designs mit komfortablen

Software-Werkzeugen verkürzen “time-to-market"• Integration vieler zusätzlicher Komponenten in den FPGA,

z.B. CPU, I/O Steuerung, RAM Steuerung, Filter,…• Einbindung von Soft-IP-Cores als Expertenwissen in

die Anwendung

FPGAs (Field Programmable Gate Arrays = frei programmierbare Schaltkreise)

Page 5: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 5

FPGA-Hardware

„Die“ eines Spartan-3 FPGA

Große Fläche „atomarer“programmierbarer parallel arbeitender EinheitenRAM-Speicher

Frei programmierbare Ein-/Ausgänge

Weitere Hardware (Multiplizierer, DCM, PPC,…)

Grundlagen der FPGA-Technik

Page 6: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 6

FPGA-Hardware

FPGAs gehören zu den PLDs (Programmable Logic Devices).Die Grundidee ist eine Kombination von programmierbaren UND/ODER-Schaltungen

Mehrere dieser programmierbaren Schaltungsteile werden auf einem PLDs untergebracht. Höher integrierte PLDs meist auf Flash-Technologie sind als CPLDs (Complex PLDs) bekannt.

In der Kombination von PLDs und Gate Array-Technologie entstanden FPGAs, die komplexer als CPLDs sind.

FPGAs besitzen eine regelmäßig aufgebaute Struktur von logischen Zellen bzw. Modulen, die vom FPGA-Designer beliebig verbunden werden können.

Grundlagen der FPGA-Technik

Page 7: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 7

FPGA-Hardware

Unterschiedliche Technologiekonzepte:

• One-Time Programmable (OTP) werden einmalig programmiert und müssen durch die Fuse/Anti Fuse-Technologie bei einer Designänderung durch einen neuen Schaltkreis ersetzt werden. Sie behalten jedoch ihre Information auch nach Abschalten der Versorgungsspannung.

• Neue Entwicklungen existieren bei Flash-basierten FPGAs; diese behalten ihre Information ebenfalls wie CPLDs, sind jedoch komplexer und mit höherer Gatteranzahl ausgestattet. Sie besitzen aber noch deutlich geringere Gatterdichten als SRAM-basierte FPGAs.

• SRAM-basierte FPGAs besitzen die Information für die Logikbaugruppen und ihrer Verbindungen im statischen RAM. Die Speicherzellen der Logikbaugruppen sind somit LUTs (= Look Up Tables). Sie können beliebig programmiert werden, verlieren jedoch die Informationen beim Abschalten der Versorgungsspannung. Sie benötigen beim Wiedereinschalten die Informationen in einem PROM oder im Systemspeicher.

Grundlagen der FPGA-Technik

Page 8: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 8

FPGA-Hardware

Hersteller von FPGAs und ihre Marktanteile 2003:

Grundlagen der FPGA-Technik

Page 9: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 9

FPGA-Hardware

Vergleich derLeistungsfähigkeit von FPGAsmit DSPs

Grundlagen der FPGA-Technik

Page 10: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 10

FPGA-Hardware

Vergleich derLeistungsfähigkeit von FPGAsmit DSPs und ASICs

Grundlagen der FPGA-Technik

Page 11: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 11

FPGA-Hardware

Tendenzen bei FPGAs

Spartan-3 mit 100.000 Gatter: 2$(aber für 500k Stück Abnahme!)

ASIC bei kleinem Preis für FPGAerst ab 250k Stück rentabler

Grundlagen der FPGA-Technik

Page 12: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 12

FPGA-Hardware

XILINX CPLD- und FPGA-Familien

Anzahl Systemgatter100 1.000 10.000 100.000 1.000.000 10.000.000

Virtex-5

Virtex-4

Virtex-II Pro

Virtex-II

Virtex-E

Virtex

Spartan-3ADSP

Spartan-3AN

Spartan-3A

Spartan-3E

Spartan-3

Spartan-IIE

CoolRunner-II

CoolRunner

XC9500

Grundlagen der FPGA-Technik

Page 13: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 13

Verwendete Zahlensysteme

FPGAFixed-point

n-bits(n ∈ N)

Grundlagen der FPGA-Technik

Page 14: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 14

FPGA-Hardware

Bestandteile eines FPGAs:

• programmierbare Logik-Blöcke (Slices, CLBs)

• Ein- und Ausgangsblöcke (I/O)

• Speicher als SelectRAM, BlockRAM

• Taktmanipulation (DLL, DCM)

• Logik-Block-Verbindungen

• Hardware-Multiplizierer

• Weitere Elemente

Grundlagen der FPGA-Technik

Page 15: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 15

FPGA-Hardware (Slices)CLB (Configurable Logic Block)

• beinhaltet (lt. Definition):- 2 Slices (bis Virtex-E, Spartan-IIE und

wieder in Virtex-5)- 4 Slices (ab Virtex-II, Spartan-3)

• Neudefinition von Slices im Virtex-5• teils verwirrende Angaben „CLB Slices“• bis über 100 000 Slices in einem FPGA! Carry Logik ist sehr schnell

-> viele Strukturen entstehen senkrecht! auch teilweise Nutzung der Slices möglich

(unrelated logic)

1 Slice = 2 LUT + 2 Carry Logic + 2 D-FF = Logik + Überlauf + Synchronisation =2 Bit-Logik

Grundlagen der FPGA-Technik

Page 16: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 16

FPGA-Hardware (I/O) Ein-/Ausgangsblock (I/O)

- kann unterschiedliche Standards bedienen- Ausgangsstrom, Pull-up, Pull-down, Impedanz

(DCI) und Signalsteilheit können programmiertwerden

- max. bis 1200 frei programmierbare I/Os-Timing kann geschoben werden- I/O-Spannungen von 1,2 V bis 3,3 V

• viele “single-ended” Standards– LVCMOS mit 1.2 V, 1.5 V, 1.8 V,

2.5 V, or 3.3 V– LVTTL mit– PCI mit 33 MHz und 66 MHz– PCI-X – SSTL I mit 1,8 V und 2,5 V– SSTL II mit 1,8 V und 2,5 V– HSTL I bis IV mit 1,2 V bis 1,8 V– GTL– GTL_DCI mit 1,2 V– GTLP– LVDCI– bis zu 800 Mbps je I/O

• viele differentielle Standards – LVDS, Bus-LVDS– ULVDS– DIFF_SSTL– DIFF_HSTL– Mini-LVDS – RSDS, PPDS– TMDS, LVPECL – LDT (HyperTransport)– bis zu 1,25 Gbps je I/O-Paar

Grundlagen der FPGA-Technik

Page 17: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 17

FPGA-Hardware (BlockRAM)

Speicherbänke mit SelectRAM

Speicher in LUT- schnellster Speicher- kleiner Speicher(einige bit bis kbit)

Speicher in BlockRAM- schnell- mittlerer Speicher(einige kbit bis Mbit)

BlockRAM im FPGA bis 11,6 Mbit,größere nur außerhalb als SRAM,DRAM oder DDR-RAM, jedoch langsamere Speicherlösung und weniger flexibel.

Echter Dual-Port RAM(unabhängiges Schreiben undLesen auf den gleichen RAM)

Organisation in- 4 kbit-Blöcke (bis Virtex-E und

Spartan-IIE, z.B 16 bit x 256,8 bit x 512, 4 bit x 1k, 2 bit x 2k,1 bit x 4k)

- 18 kbit Blöcke (ab Virtex-II undSpartan-3)

- 36 kbit Blöcke ab Virtex-5 auchmit FIFO-Logik (bis 550 MHz)

Grundlagen der FPGA-Technik

Page 18: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 18

FPGA-Hardware (Takt)Funktionen der DLL:- Verdoppeln des Taktes- Teilen des Taktes (1,5; 2; 2,5; 3; 4; 5; 8; 16)- Phaseshift (90°, 180°, 270°)- Duty cycle correction

Zusätzliche DCM-Funktionen:- Phaseshift (beliebige Winkel)- Takt mit M/N multiplizieren mit

M = 2... 32, N = 1... 32

Grundlagen der FPGA-Technik

Page 19: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 19

• Flexibilität: – 4 bis 28 embedded Multiplizierer – 18 x 18 bit signed oder 17 x 17 bit

unsigned Multiplikationen– 2er Komplement signed Multiplikation– 4 bis 18 bit Operanden– Kombinatorische & Pipelined Optionen

• Ermöglicht ‘real-time DSP processing’– können als 18 x 18 MACs (Spartan-3)

aufgebaut werden (bis 250 MHz)• 1:1 Zuordnung zu BlockRAM• im Virtex-4 als ‘DSP-Slice’ mit MAC (multipy-

accumulate) bis zu 500 MHz (256 GMACs/s)• im Virtex-5 als erweiterte ‘DSP-Slices’ bis zu

550 MHz (352 GMAC/s)

FPGA-Hardware (Multiplizierer)

Grundlagen der FPGA-Technik

Page 20: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 20

FPGA-Hardware (PowerPC)

IBM PowerPC bis 450 MHz (Virtex-II, Virtex-IIPro, Virtex-4) mit 680 DMIPS bzw. 1360 DMIPS in einem Chip (Virtex-5: PowerPC 440 bis 550 MHz mit 1100 DMIPS bzw. 2200 DMIPS in einem Chip).

• RISC Prozessor• 32 bit Architektur• 32x 32 bit Register• Hardware-MAC• 16 kB

Instruktionscache• 16 kB Datencache• bis 4 GB logische

Adressen• 128 bit Crossbar

switch (V5)• PLB (Processor Local

Bus) und DMA (V5)

Grundlagen der FPGA-Technik

Page 21: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 21

FPGA-Hardware (EMAC)

•vollduplex 10/100/1000 Mb/s möglich• halbduplex 10/100 Mb/s möglich • entspricht IEEE 802.3-2002

• Ethernet MACs (Media AccessController) spart 3600 Slices/EMAC

• Tri-Mode Ethernet MACs• bis zu 4 EMACs auf einem V4-FPGA• bis zu 8 EMACs auf einem V5-FPGA

Grundlagen der FPGA-Technik

Page 22: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 22

FPGA-Hardware (Rocket I/O)

Rocket I/O MGT (Multi Gigabit Transceiver) 622 Mbps bis 11,1 Gbps

Grundlagen der FPGA-Technik

Page 23: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 23

FPGA-Hardware

Zusätzliche Hardware und Eigenschaften:• 65 nm Process (Virtex-5), 90 nm Prozess (Virtex-4, Spartan-3)• 1,0 V Core Spannung (Virtex-5), 1,2 V (Virtex-4, Spartan-3)• PCI Express Endpoint Blocks (Virtex-5)• VCC- und GND-Anschlüsse als ‚Muster‘ verteilt verringert

Übersprechen (Virtex-5)• I/O-Bänke rechteckig statt dreieckig angeordnet (Virtex-5)• on-chip Temperatursensor (Virtex-5)• on-chip Messung der Versorgungsspannung (Virtex-5)• bis zu 17 analoge Eingänge (Virtex-5)• 10 bit 200 kSps Analog-Digital-Wandler (Virtex-5)• 256 bit AES verschlüsselte Konfiguration (Virtex-4, Virtex-5)• bis zu 16 Mb SPI-Flash im Gehäuse (Spartan-3AN)• auch 0,8 mm Gehäuse-Pitch (CS484, Spartan-3A DSP) sonst nur 1 mm

Grundlagen der FPGA-Technik

Page 24: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 24

XILINX FPGA-Familien

Spartan-IIE

• Gate array replacement• LVDS and LVPECL• 50K to 600K system gates• System integration

Spartan-IIE

• Gate array replacement• LVDS and LVPECL• 50K to 600K system gates• System integration

Spartan-3

• Consumer cost structure• 50K to 5M system gates• Embedded system features• Enhanced clock generation

Spartan-3

• Consumer cost structure• 50K to 5M system gates• Embedded system features• Enhanced clock generation

XC4000 XC4000XLA

Zeit

Virtex-EM

Spartan-3L

XILINX-FPGA- und CPLD-Familien:Virtex: High-End Familie mit besonderen Eigenschaften und der TechnologieführerschaftSpartan: Low-Cost Familie mit günstiger und leistungsfähiger TechnikCoolrunner: CPLDs für kleine schnelle leistungsarme Aufgaben

Grundlagen der FPGA-Technik

Page 25: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 25

XILINX FPGA-Familien

Vergleich vonVirtex-5 mitVirtex-4 undMitbewerbern

Grundlagen der FPGA-Technik

Page 26: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 26

FPGA-ProgrammierungVollständiger Design flow für SoC-Designs

System-on-reprogrammable-Chip (SorC) contains fast Digital Signal Processing(DSP)-algorithms and soft-controller (CPU) for communication and control tasks

Page 27: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 27

FPGA-Programmierung

bit-filePROM-file

bit-file

netlistnetlist

executable

µBlaze coreC-Application drivers peripheral cores

Implementation

Platform generator

Platform generator

Library generator

Gnu Compiler

external memory

Synthesis

VHDL-File

DSPalgorithms

Version 2

Version 2 Version 1Version 1

Software flow Hardware flowEDK ISE

Hardware-Software design flow of a SoC design with Softcore-CPU (MicroBlaze) usesXILINX Embedded Development Kit (EDK) and XILINX Implementation Tool (ISE)

Vollständiger Design flow für SoC-Designs

Page 28: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 28

FPGA-Programmierung

formerlydesign flow

(wiring diagramin Schematics)

very complexfor biggerdesigns;

impossibleto programbig FPGA’s

bit-filePROM-file

Timing Simulation

netlist

Simulation

Implementation

Task

wiring diagramin Schematics

DSP Design flow mit XILINX ISE

Page 29: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 29

FPGA-Programmierung

formerlydesign flow

(wiring diagramin Schematics)

very complexfor biggerdesigns;

impossibleto programbig FPGA’s

DSP Design flow mit XILINX ISE

Page 30: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 30

FPGA-Programmierung

bit-filePROM-file

Timing Simulation

netlist

Simulation

Implementation

VHDL-File

VHDLDesign Entry

Synthesis

VHDL-design flow(XILINX ISE)

very goodknowledge

of the VHDL-

languagenecessaryto programthe FPGA

DSP Design flow mit XILINX ISE

Page 31: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 31

FPGA-Programmierung

VHDL-design flow(XILINX ISE)

very goodknowledge

of the VHDL-

languagenecessaryto programthe FPGA

DSP Design flow mit XILINX ISE

Page 32: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 32

FPGA-Programmierung

GraphicalDesign flow withMatlab/Simulink,

System Generatorand ISE)

very high capitalinvestment,high degree

of knowledgeof FPGA’s,

Matlab/Simulink, VHDLlanguage and

implementationtools

bit-filePROM-file

Timing Simulation

netlist

TaskSimulation

Implementation

Core Generator

VHDL-File

Synthesis

Matlab/Simulink

System Generator

FunctionalSimulation

DSP Design flow mit XILINX ISE

Page 33: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 33

FPGA-Programmierung

GraphicaldesignentrywithMatlab/Simulink

XILINX-LibrarySimulation

Simulink

Page 34: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 34

FPGA-Programmierung

bit-filePROM-file

Timing Simulation

netlist

Simulation

Implementation

VHDL-File

VHDLDesign Entry

Synthesis

frame programacc. to hardware

SchematicsVHDL

Design Entry

Design flow with MGP(Modular graphical

programming(XILINX ISE)

only somebasic

knowledgeof the VHDL-

languagenecessaryto programthe FPGA

DSP Design flow mit XILINX ISE

Page 35: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 35

FPGA-Programmierung

Design flow with MGP(Modular graphical

programming(XILINX ISE)

only somebasic

knowledgeof the VHDL-

languagenecessaryto programthe FPGA

DSP Design flow mit XILINX ISE

Page 36: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 36

FPGA-ProgrammierungDSP Design flow mit XILINX ISE /Floorplaner

Floorplan

des

LS900

Page 37: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Dr.-Ing. Jörg Pospiech 37

FPGA-Applikationen

Beispiele der Leistungsfähigkeit vonFPGA-Bildverarbeitung (Celoxica)

Intelligente Kamera zur Demonstration (AVT)

Page 38: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 38

> Anwendungen:- Einbruchsalarm- Feueralarm- Überwachung von Bauwerken und Baustellen- Überwachung von Produktionsprozessen- Erkennung von Nummernschildern für Parkgaragen- Überwachung von Patienten (Koma, Epilepsie)

Function has to be granted also at challenging motives

Intelligente KameraModule:- Kameramodule mit VGA bis 10 MegaPixel,

Farb- und Schwarz/Weiß-Sensor- GSM zur Kommunikation mit Mobiltelefon- 12 fps (hohe Auflösung) bis 93 fps (VGA)

FPGA-Applikationen

Page 39: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 39

für die ObjektüberwachungDynamische Video Anpassung (DVA)

Beispiel für die Überwachungeiner Objekt-begrenzung:

Die lange Grundstücks-grenze verlangt 3 Kameras, um eine zufrieden-stellende Auflösung zu gewährleisten.

Sie wird auf 3 Monitoren wiedergegeben.

FPGA-Applikationen

Page 40: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 40

Beispiel für die Überwachungeiner Objekt-begrenzung:

Mit der neuen patentierten DVA

wird es möglich, alle Bilder von verschiedenen

Kameras oder einer DVA-Kameraauf nur einem Display anzuzeigen. Die sicherheits- relevanten Details werden

mit voller Auflösung dargestellt.

Moderne FPGAs erlauben die Bildbearbeitung (im Video) einschließlich

Inhaltsbewertungund Anzeige in Echtzeit.

für die ObjektüberwachungDynamische Video Anpassung (DVA)

FPGA-Applikationen

Page 41: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 41

für KfZDynamische Video Anpassung (DVA)

Die AVT GmbH Ilmenau bietet die patentierte Rückspiegeltechnologie der Zukunft. DVA schafft

den Überblick.

Mehrere Kameras zeigen die Rück-

und Seitenspiegelsicht auf

einem Videodisplay.

Alles ist im Bild, aber die

wichtigsten Teile der Straße

(z.B. Fahrzeuge, Radfahrer,

Fußgänger) sind hochaufgelöst.

DVA ist:

- Ständige Rundumsicht auf höchstem Niveau

- 3 Kameras = 1 Bild

- Wichtigste Videoausschnitte hochaufgelöst

FPGA-Applikationen

Page 42: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 42

DVA-Präsentation auf Messen- Präsentation auf der IAA PkW

Besuch des Thüringer Ministerpräsidenten, Wirtschaftsministers und des

Präsidenten des IAA

Page 43: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 43

Kamerasysteme mit FPGAs / Intelligente IP-KameraBeispiel eines embedded Stand-alone Systems mit DVA

Vollständiges Videosystem mit:

-CMOS-Sensor inkl. Ansteuerung

-Bayer-Pattern-Interpolation

-RGB zu YUV

-Helligkeitsregelung mit

Histogrammbewertung

-Dynamische Videoanpassung (DVA)

-Fenstersteuerung im Video

-Referenzbildbereitstellung

-Motion detection

-YUV zu RGB

-VGA-Ausgabe mit Bildvervielfachung (2 bis 4)

-grafische Einblendungen ins VGA-Bild (Grafik, Text)

-JPEG-Komprimierung

-32 bit –Controller

-RS232-, RS485-Steuerung

-Ethernetsteuerung (TCP/IP)

FPGA-Applikationen

Page 44: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 44

Kamerasysteme der industriellen Bildverarbeitung

„In den letzten 25 Jahren stieg die Rechenleistung der uns zur Verfügung stehenden

Technik um den Faktor 105, der Faktor der auszuwertenden Bildinformationen stieg

um den Faktor 109.“ Prof. Bernd Jähne, 25 Jahre Bildverarbeitung, Fraunhofer IPA Stuttgart, 2005

Als zukünftige Notwendigkeit wurde der breite Einsatz von intelligenten Kameras zur

Videovorverarbeitung von mehreren Rednern dieser Veranstaltung postuliert!

Bildübertragung per

USB, Ethernet, GigE

neben Bildübertragung

auch Bildinformationen

aus rechenintensiven

Verarbeitungsschritten

Prinzip der industriellen Bildverarbeitung mit intelligenten Kameras

auch mehrere Kameras

an einen PC anschließbar

ohne Überlastung des PC

FPGA-Applikationen

Page 45: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 45

Intelligente Kamera der nächsten GenerationFPGA-basierende Kamerasysteme sind universell, erweiterbar und leistungsstark, da sie reprogrammierbar sind. Ihre wesentlichen Eigenschaften sind:

• hohe Auflösung (3 bis 10 MegaPixel) bei kostengünstiger Produktion

• leistungsfähige dezentrale Intelligenz in der Kamera

• automatische Erkennung relevanter Objekte (z.B. Pkw)

• geringer Energieverbrauch für autarke Energieversorgung

• drahtlose Schnittstellen zur Kommunikation (WLAN,UMTS)

• Miniaturisierung der vollständigen Lösung (70 x 30 x 30 mm³)

FPGA-Applikationen

Page 46: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 46

IP-Core-Entwicklung für FPGAs

Funktionen mit definiertem Verhalten der FPGA-Hardware werden als IP-Core (Intellectual property) angeboten• der Kunde erhält Expertenwissen

• der Kunde bekommt eine feste definierte Funktionalität

• der Ressourcenverbrauch und das Timing stehen fest

• Entwicklungen werden schneller und preisgünstiger realisiert

• AVT bietet über 100 IP-Cores (überwiegend im Bereich Bildverarbeitung)

• AVT bietet Modifikationen oder neue IP-Cores als Entwicklungsleistung

Beispiele: JPEG-Codec, Bayer-Pattern-Interpolation,...

Floorplan (Hardwareumsetzung) im FPGA

JPEG-Codec als Schematic

FPGA-Applikationen

Page 47: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 47

AVT Lichtsteuerung LS900Die AVT Lichtsteuerung LS900 steuert seriell verbundene Niederspannungs-Halogenlampen durch modulare intelligent getaktete Netzteile mit FPGAs. Die maximale Leistung der Reihenschaltung je Kassette beträgt 900 W.

Cartridge with Switch Mode Power Supply- intelligent control with reprogrammable XILINX FPGA

FPGA-Applikationen

Page 48: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 48

Kleinste Spartan-IIE, Spartan-3 und Spartan-3EDevelopment Kits

§ Development Kit = finales Produkt§ Platz sparendes Design

(100 x 60 mm, 50 x 25 mm, 40 x 30 mm)§ FPGA‘s von XILINX mit bis zu 600.000 Systemgattern§ Umfassende Peripherie on Board§ Schneller Einstieg durch grafische Programmierung

FPGA-Applikationen

Page 49: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 49

Software Dokumentation

ILMENAUILMENAU

Modulare Grafische Programmierung (MGP)Applikationsprogrammierung mit XILINX ISE und AVT Toolbox

- Sehr kurze Einarbeitungszeit- graphische Programmierung mit komplexen Funktionsblöcken (cores)- kostenlose Software für Implementierung und grafischen Input- erweiterbare Funktionsblöcke

Core Toolbox

ILMENAUILMENAURealisierung der Applikation

FPGA-Applikationen

Page 50: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 50

Seminarangebote:1. Einführung in die FPGA-Technik

2. Design und Verifikation von DSP-Funktionen

mit XILINX-Werkzeugen

3. Modulare Grafische Programmierung (MGP)

4. Applikationserstellung mit MicroBlaze Modulen

Vorteile:

- schnelle Orientierung und kurze

Einarbeitungszeit

- Dynamischer Auswahl der

Trainingstage (in 2 Blocks)

- Neueste Technologie

- Schulungsunterlagen

- Teilnahmezertifikat

FPGA-Applikationen

Page 51: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 51

Marketingkonzept auf Hausmessen

- Workshops von NEMO ViQuaNet

im Hause,

sowie in

Jena und

Erfurt

Page 52: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 52

Internationale Beziehungen

Page 53: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 53

Zusammenfassung

• Die AVT GmbH bietet:- moderne schnelle Technik- ein hohes Maß an FPGA-Know How- hervorragende Kontakte- kostengünstige Hardware und Programmiertools - viele fertige IP-Cores als Funktionalitäten- Hilfe zur Erstellung von eigenen Funktionalitäten- direkte Nachbarschaft zu Dienstleistern

(EMV bei CE-LAB, Konstruktion bei CE-SYS Engineering etc.)

• Zielstellung: - gemeinsame Projekte (Förderung ist möglich)- Einstieg und Ausbau von firmeneigenem Know How- Herstellung von Kontakten- leistungsfähige Hardwareplattformen aufbauen- Entwurf und Herstellung von Produkten

Page 54: Einsatz von FPGA-Technik speziell für die Bildverarbeitung · Firmendarstellung 24.10.2007 1 Einsatz von FPGA-Technik speziell für die Bildverarbeitung Vortrag im Rahmen der BVMW-Veranstaltung

Firmendarstellung 24.10.2007 54

Kontaktinformationen

AVT GmbH IlmenauAutomatisierungs- und Verfahrenstechnik

Am Hammergrund 1

D-98693 Ilmenau

Sie erreichen uns unter:

Tel: +49 (0) 36 77 / 64 79 0

Fax: +49 (0) 36 77 / 64 79 69

Email: [email protected]

Web: www.avt-ilmenau.de

Ansprechpartner:

Dr.-Ing. Jörg Pospiech Geschäftsführer, Entwicklungsleiter

Dipl.-Ing. Renaldo Holzapfel Projektleiter Grafische Programmierung

Dipl.-Ing. Jens Kessler Projektleiter Embedded Programming

Dipl.-Ing. Kai Frieße Projektleiter Hardwareentwicklung

Herr Wilfried Geyer Konstruktion