Bildgestützte Messverfahren

Preview:

DESCRIPTION

Bildgestützte Messverfahren. Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung Beleuchtung – “Illumination and Image Formation” Farbe, Farbmodelle Farbwahrnehmung, Farbkonstanz Bildaufnahme – “Solid-State Image Sensing” Kamera - PowerPoint PPT Presentation

Citation preview

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20051

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Bildgestützte Messverfahren

• Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung

• Beleuchtung – “Illumination and Image Formation”– Farbe, Farbmodelle– Farbwahrnehmung, Farbkonstanz

• Bildaufnahme – “Solid-State Image Sensing”

• Kamera– Modell, projektive Geometrie, Kalibrierung– Pose, PnP

• Stereo Rekonstruktion• Punktkorrespondenzen (‘corners+descriptors’)• Tracking

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20052

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Eine gute Einführung bietet der Katalog vonTheImagingSource

Praxis !

LU SS !

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20053

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Bildaufnahme

Solid State ImagingP.Seitz

Handbook of Computer Vision and ApplicationsEds. B. Jähne, H. Haußecker, P. Geißler

Vol.1, Chap. 7, pp. 165-222

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20054

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

“Electronic Imaging” Processing Chain

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20055

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Fundamentals

Photonen dringen in den Halbleiter einErzeugung von Ladungsträger-Paaren

– Quanteneffizienz – Ein Photon kann viele Paare erzeugen

Trennung der Paare: Photostrom– Elektrisches Feld E– Diffusion durch thermische Bewegung– Trennung innerhalb der Rekombinationszeit– Speicherung der Ladungen– Streng lineare Kennline !

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20056

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Photons Semiconductor

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20057

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Optical Losses

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20058

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Quantum Efficiency

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20059

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Absorption

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200510

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Photostrom Verarbeitung

Integration während BelichtungszeitAusnutzung der Kapazität mit der das Feld

erzeugt wird– Photodiode im Sperrbetrieb– MOS Kapazität

Spezialfälle:– Offset od. Verstärkung programmierbar– Logarithmische Charakteristik

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200511

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Photodiode vs. MOS Kapazität

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200512

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Ladungsträger Transport

CCD – Charge Coupled Device– Charge Transfer Efficiency CTE– S-CCD (surface channel): CTE 99.99%– B-CCD (buried channel): CTE 99.99995%

PD – Photodiode– Jedes Pixel hat einen eigenen Schalter zur gemeinsamen „video

line“– Hohe Kapazität der video line Höheres Rauschen

Siegeszug der CCD gegenüber der PD seit 1970

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200513

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

CCD – Ladungsträger Transport

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200514

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

CCD Architekturen

Frame Transfer: FT-CCD– Nachbelichtung während Transport– Verschluss (mechanical shutter)– 100% Füllfaktor

Interline Transfer: IT-CCD– ~30% Füllfaktor– Elektronischer Verschluss

FT + IT: FIT-CCD– Profikameras

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200515

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

CCD/PD

a. Frame-transfer (FT)b. Interline-transfer (IT)c. Field interline-transfer

(FIT)d. CMOS PD array

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200516

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

CMOS PD – Logarithmic Response (1)

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200517

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

CMOS PD – Logarithmic Response (2)

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200518

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

PD mit APS

Moderne CMOS Kameras

Active Pixel Sensor APS:– Der erste MOSFET des Ausgangsverstärkers wird

direkt bei jedem Pixel platziert– Geringere Kapazität– Geringeres Rauschen !

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200519

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

PD mit APS

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200520

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

APS CMOS Kameras

Vorteile:– Standard CMOS Technologie– Random Access Pixels– Non-destructive pixel readout– Programmable exposure times– Geringer Stromverbrauch

Nachteile gegenüber CCDs– Kleinerer Füllfaktor– Höheres Rauschen – Fixed Pattern Noise

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200521

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

High Speed Tracking mit CMOS Kameras

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200522

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

4 ways to increase the fill factor (1)

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200523

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

4 ways to increase the fill factor (2)

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200524

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Kameras

CCD – CMOSAnalog

– Video Standard (RS-170, CCIR, NTSC, PAL)– Frame Grabber + A/D Konverter

Digital– A/D Konversion on chip / in der Kamera– Datentransfer über Bus (USB, Firewire)

„intelligente Kameras“– A/D Konversion und Signalverarbeitung in der Kamera

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200525

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Analog Video Standards

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200526

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Color Sensors3-chip (prisms)

Filter (stripe, diagonal stripe, Bayer)

Foveon X3: penetration depth / λ

http://www.panasonic-electric-works.at/pewat/de/safedownloads/dd_x633_de_fb_grundlagen_farbbildverarbeitung_0806.pdf

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200527

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Color Filter Types

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200528

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Foveon X3

e.g. SIGMA SD1010.2 Mpixel =3.4 Mpixel * 3 !!! (R+G+B)

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200529

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Bildaufnahme

HDRC – High Dynamic Range CMOS ImagersU. Seger et al.

Handbook of Computer Vision and ApplicationsEds. B. Jähne, H. Haußecker, P. Geißler

Vol.1, Chap. 8, pp. 223-235

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200530

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

HDRC vs. CCD

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200531

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

HDRC Examples

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200532

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

High Speed Examples

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.200533

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Advantages (and problems) of log images

Recommended