Bildgestützte Messverfahren

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20051

WS 2008/09Image-based Measurement 2 Image Acquisition Axel Pinz

Bildgestützte Messverfahren

• Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung

• Beleuchtung – “Illumination and Image Formation”– Farbe, Farbmodelle– Farbwahrnehmung, Farbkonstanz

• Bildaufnahme – “Solid-State Image Sensing”

• Kamera– Modell, projektive Geometrie, Kalibrierung– Pose, PnP

• Stereo Rekonstruktion• Punktkorrespondenzen (‘corners+descriptors’)• Tracking




Eine gute Einführung bietet der Katalog vonTheImagingSource

Praxis !

LU SS !




Bildaufnahme

Solid State ImagingP.Seitz

Handbook of Computer Vision and ApplicationsEds. B. Jähne, H. Haußecker, P. Geißler

Vol.1, Chap. 7, pp. 165-222




“Electronic Imaging” Processing Chain




Fundamentals

Photonen dringen in den Halbleiter einErzeugung von Ladungsträger-Paaren

– Quanteneffizienz – Ein Photon kann viele Paare erzeugen

Trennung der Paare: Photostrom– Elektrisches Feld E– Diffusion durch thermische Bewegung– Trennung innerhalb der Rekombinationszeit– Speicherung der Ladungen– Streng lineare Kennline !




Photons Semiconductor




Optical Losses




Quantum Efficiency




Absorption




Photostrom Verarbeitung

Integration während BelichtungszeitAusnutzung der Kapazität mit der das Feld

erzeugt wird– Photodiode im Sperrbetrieb– MOS Kapazität

Spezialfälle:– Offset od. Verstärkung programmierbar– Logarithmische Charakteristik




Photodiode vs. MOS Kapazität




Ladungsträger Transport

CCD – Charge Coupled Device– Charge Transfer Efficiency CTE– S-CCD (surface channel): CTE 99.99%– B-CCD (buried channel): CTE 99.99995%

PD – Photodiode– Jedes Pixel hat einen eigenen Schalter zur gemeinsamen „video

line“– Hohe Kapazität der video line Höheres Rauschen

Siegeszug der CCD gegenüber der PD seit 1970




CCD – Ladungsträger Transport




CCD Architekturen

Frame Transfer: FT-CCD– Nachbelichtung während Transport– Verschluss (mechanical shutter)– 100% Füllfaktor

Interline Transfer: IT-CCD– ~30% Füllfaktor– Elektronischer Verschluss

FT + IT: FIT-CCD– Profikameras




CCD/PD

a. Frame-transfer (FT)b. Interline-transfer (IT)c. Field interline-transfer

(FIT)d. CMOS PD array




CMOS PD – Logarithmic Response (1)




CMOS PD – Logarithmic Response (2)




PD mit APS

Moderne CMOS Kameras

Active Pixel Sensor APS:– Der erste MOSFET des Ausgangsverstärkers wird

direkt bei jedem Pixel platziert– Geringere Kapazität– Geringeres Rauschen !




PD mit APS




APS CMOS Kameras

Vorteile:– Standard CMOS Technologie– Random Access Pixels– Non-destructive pixel readout– Programmable exposure times– Geringer Stromverbrauch

Nachteile gegenüber CCDs– Kleinerer Füllfaktor– Höheres Rauschen – Fixed Pattern Noise




High Speed Tracking mit CMOS Kameras




4 ways to increase the fill factor (1)




4 ways to increase the fill factor (2)




Kameras

CCD – CMOSAnalog

– Video Standard (RS-170, CCIR, NTSC, PAL)– Frame Grabber + A/D Konverter

Digital– A/D Konversion on chip / in der Kamera– Datentransfer über Bus (USB, Firewire)

„intelligente Kameras“– A/D Konversion und Signalverarbeitung in der Kamera




Analog Video Standards




Color Sensors3-chip (prisms)

Filter (stripe, diagonal stripe, Bayer)

Foveon X3: penetration depth / λ

http://www.panasonic-electric-works.at/pewat/de/safedownloads/dd_x633_de_fb_grundlagen_farbbildverarbeitung_0806.pdf




Color Filter Types




Foveon X3

e.g. SIGMA SD1010.2 Mpixel =3.4 Mpixel * 3 !!! (R+G+B)




Bildaufnahme

HDRC – High Dynamic Range CMOS ImagersU. Seger et al.

Handbook of Computer Vision and ApplicationsEds. B. Jähne, H. Haußecker, P. Geißler

Vol.1, Chap. 8, pp. 223-235




HDRC vs. CCD




HDRC Examples




High Speed Examples




Advantages (and problems) of log images

Documents

Bildgestützte Messverfahren