Upload
kaseem-watts
View
26
Download
1
Embed Size (px)
DESCRIPTION
Desktop Video. SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido [email protected]. 1. Grundlagen. 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime. 1.1 Videotechnik. Das menschliche Auge Grundlagen zu Signalen Schwarzweißfernsehen - PowerPoint PPT Presentation
Citation preview
27.5.1999
2
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1. Grundlagen
1.1 Videotechnik
1.2 Kompression
1.3 Formate + deren Eigenschaften
1.4 Quicktime
27.5.1999
3
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik
• Das menschliche Auge• Grundlagen zu Signalen• Schwarzweißfernsehen• Farbfernsehen• Videotechnik im Rechner
27.5.1999
4
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Das menschliche Auge1.1 Videotechnik - Das menschliche Auge
• Menschliches Auge ist Rezeptor für Bilder.• Bildet Randbedingungen für das Folgende.• Auge:
• ortsabhängiges Auflösungsvermögen
• optischer Tiefpaß: nur begrenztes Vermögen, Kanten (fl hohe Frequenz) aufzulösen.
• Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde
• Flimmereffekt: bei ≤ 50 Bilder/sec: periodische Schwankung der Helligkeitsempfindung
27.5.1999
5
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Grundlagen zu Signalen 11.1 Videotechnik - Grundlagen zu Signalen 1
- Darstellung über Wellen - Modulation
- Signale: Amplitude, Frequenz, Phase
27.5.1999
6
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Grundlagen zu Signalen 21.1 Videotechnik - Grundlagen zu Signalen 2
• Modulation – Jede Art der Beeinflussung einer charakteristischen Größe
(Amplitude, Frequenz, Phase) von meist höherfrequenten, ungedämpften periodischen Vorgängen, im engeren Sinne von elektromagnetischen [Hochfrequenz]wellen bzw. -schwingungen, Lichtstrahlen oder Impulsfolgen zum Zwecke der Übertragung von Signalen oder Nachrichten ...
27.5.1999
7
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Grundlagen zu Signalen 31.1 Videotechnik - Grundlagen zu Signalen 3
• Beispiele: • Amplitudenmodulation
27.5.1999
8
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Grundlagen zu Signalen 41.1 Videotechnik - Grundlagen zu Signalen 4
• Frequenzmodulation
27.5.1999
9
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Grundlagen zu Signalen 51.1 Videotechnik - Grundlagen zu Signalen 5
• Quadraturmodulation: – Betrachte Trägerfrequenz und eine um 90 Grad
phasenverschobene Variante derselben.
– Führe Amplitudenmodulation zweier Teilsignale auf diese Träger durch.
– Summiere diese beiden zu einem neuen Signal auf.
27.5.1999
10
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Grundlagen zu Signalen 61.1 Videotechnik - Grundlagen zu Signalen 6
• Beispiel für Diskretisierung einer kontinuierlichen Funktion:
27.5.1999
11
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Grundlagen zu Signalen 71.1 Videotechnik - Grundlagen zu Signalen 7
• Lehrsatz der Informationstheorie:• Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon)
– Ist ein Signalstrom durch eine kontinuierliche Funktion f(t) gegeben und wird diese Funktion durch Abtasten in bestimmten Zeitintervallen Dt in eine aus diskreten Impulsen bestehende Funktion zerlegt, so läßt sich aus dieser Impulsfunktion die ursprüngliche Funktion ohne Informationsverlust wiedergewinnen, wenn für die Bandbreite B gilt:
• Dt < 1/(2B). Oder: Abtastrate 1/Dt > 2B.
27.5.1999
12
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Grundlagen zu Signalen 7 1.1 Videotechnik - Grundlagen zu Signalen 7
• Bandbreite: • Differenz zwischen größter und kleinster Frequenz in
einem zusammenhängenden Bereich von Schwingungen unterschiedlicher Frequenzen.
• In Nachrichtentechnik:
• Breite eines Frequenzbandes zwischen zwei Grenzfrequenzen, für die die übertragene oder von einem Bandfilter hindurchgelassene Leistung auf die Hälfte, die Spannung auf das 0,71fache abfällt; wird absolut in Hz oder relativ (auf die mittlere Frequenz bezogen) angegeben.
27.5.1999
13
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Schwarzweißfernsehen 11.1 Videotechnik - Schwarzweißfernsehen 1
• Darstellung von Helligkeit : Luminanz • Zeilensprungverfahren (Schema)
27.5.1999
14
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Schwarzweißfernsehen 21.1 Videotechnik - Schwarzweißfernsehen 2
• in Europa: 625 Zeilen, Breite:Höhe = 4:3
– also 833 Punkte pro Zeile
27.5.1999
15
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Schwarzweißfernsehen 3 1.1 Videotechnik - Schwarzweißfernsehen 3
• Extreme Übergänge schwarz-weiß-schwarz:
27.5.1999
16
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Schwarzweißfernsehen 41.1 Videotechnik - Schwarzweißfernsehen 4
• BAS-Signal (Schema) [Bild -Austast -Synchronsignal]
27.5.1999
17
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Schwarzweißfernsehen 51.1 Videotechnik - Schwarzweißfernsehen 5
• Abschätzungen zum BAS: – Für 25 Bilder/sec:
• Zeilendauer: 64s (= 40ms/625 Zeilen)
• Abtastfrequenz: 13,5 MHz,
• Zeilenfrequenz (1/64s=) 15.625 KHz
• Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz
• zudem: "Schwebungseffekte erzeugen unvernünftige Bilder"
• --> Kell-Faktor: 0,64 (0,67)
– --> Vertikale Auflösung von 400 Zeilen
27.5.1999
18
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Schwarzweißfernsehen 61.1 Videotechnik - Schwarzweißfernsehen 6
• Amplitudenmoduliertes Videosignal:
27.5.1999
19
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 11.1 Videotechnik - Farbfernsehen 1
• Erste Grundidee: Zusammensetzen aus z. B. RGB• Komponentenkodierung:
– Betrachtet die Bestandteile der Videoinformation getrennt voneinander.
z. B. Synchronisation extra
• Verschiedene Arten: – RGB Grundfarben werden angegeben
– Oder: Herausziehen der Luminanz Y:
– YUV• Luminanz (Leuchtdichte) [braucht man für SW-Fernseher]
• Chrominanz (Farbinformation)
27.5.1999
20
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 21.1 Videotechnik - Farbfernsehen 2
• Bestimmung von YUV aus RGB: Y = 0.30 R + 0.59 G + 0.11 B
U = (B-Y) * 0.493
V = (R-Y) * 0. 877
• Analoge Behandlung für YIQ - Signal (verwendet für NTSC)
Y = 0.30 R + 0.59 G + 0.11 B
I = 0.60 R - 0.28 G - 0.32 B
Q = 0.21 R - 0.52 G + 0.31 B
- Randbedingung (historisch): Als Erweiterung zum SW- Fernsehen, d.h. zum BAS-Signal
27.5.1999
21
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 31.1 Videotechnik - Farbfernsehen 3
• FBAS - Signal : Farb - Bild - Austast - Synchronsignal
27.5.1999
22
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 41.1 Videotechnik - Farbfernsehen 4
• Verschiedene Fernsehnormen– NTSC National Television Systems Committee (Amerika)
• Bildwechselfrequenz: 30 Hz• Bild aus 525 Zeilen• verwendet Quadraturamplitudenmodulation
– SECAM Sequential Coleur avec Memoire (Frankreich, ...) • Bildwechselfrequenz: 25 Hz• Bild aus 625 Zeilen• verwendet Frequenzmodulation
– PAL Phase alternating line (Deutschland, Bruch 1963)
• Bildwechselfrequenz: Halbbilder 50 Hz• Bild aus 625 Zeilen• Grundprinzip: Quadraturamplitudenmodulation
27.5.1999
23
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 51.1 Videotechnik - Farbfernsehen 5
• Bandbreite des FS-Signals (auch SW-FS)
27.5.1999
24
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 5a 1.1 Videotechnik - Farbfernsehen 5a
• Ergänzende Literatur:– Conventional Analog Television - An Introduction
www.ee.washington.edu/conselec/CE/kuhn/ntsc/95x4.htm
27.5.1999
25
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 61.1 Videotechnik - Farbfernsehen 6
• Fernsehen der Zukunft: (?) – D2-MAC: Duobinary Multiplexed Analog Components
• Komponentenverfahren! 2 hochwertige Stereo- resp. 8
Kanäle niederer Güte für Audio.
(wohl überholt !!!)– HDTV: High Definition Television
• in Europa: Übertragungsverfahren HD-MAC
(HD = High Definition)• Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!)
absolut: 1,152* 109 bit/s• durch Datenkompression Reduktion auf 34 Mbit/s
(" ohne merklichen Qualitätsverlust")
27.5.1999
26
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 71.1 Videotechnik - Farbfernsehen 7
– HDTV (Fortsetzung) • wird unterschieden in:
– Studiostandard
– Produktionsstandard
– Übertragungsstandard
– Reproduktionsstandard
– übergeordneter Standard HDP (P = Progressiv)
27.5.1999
27
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 7a1.1 Videotechnik - Farbfernsehen 7a
• Ergänzende Literatur: (Stand 14.4.99)– HDTV Television - An Introduction
http://www.ee.washington.edu/conselec/CE/kuhn/hdtv/95x5.htm
– HDTV (High Definition Television)http://www.circuitcity.com/tv2/products-tv-hdtv.htm
– High Definition Televisionhttp://meteor.uscolo.edu/ebersole/handbook/hdtv.html
27.5.1999
28
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 81.1 Videotechnik - Farbfernsehen 8
• HDTV-Entwicklungen: – HD-MAC Europa
• 1250 Zeilen , 50 Halbbilder, Bildwiederholfrequenz: 100
– MUSE Japan • 1125 Zeilen 60 Hz
• (seit ´92 auf Sendung, gar keine Kompatibilität)
– NTSC • 1050 Zeilen, 59,94 Hz
27.5.1999
29
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 91.1 Videotechnik - Farbfernsehen 9
• Digitales Fernsehen (gemäß beschlossener Normen) – Geschlossene Kodierung (denkbar)
• BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec
• FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate
• Probleme: – -Übersprechen, -Norm-abhängig, -Abtastfrequenz
+Datenreduktion nicht komponentenabhängig,– Weitere Störungen
– Komponentenkodierung: 4:2:2 Kodierung• Luminanz wird höher gewichtet:
• Behandlung von Y (Luminanz) mit 13.5 MHz,
• R-Y und B-Y je mit 6.25 MHz.
• Je zu 8 bit pro Abtastwert. --> Multiplexen.
27.5.1999
30
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - Farbfernsehen 101.1 Videotechnik - Farbfernsehen 10
– Komponentenkodierung (Fortsetzung) • Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate.
• Paßt nicht in herkömmliche PCM-Hierarchie.
• Daher Substandards mit niedrigerer Datenrate: – 1:(5/6,5/6)-->180Mbit/sec
– 2:(3/4,1/2)--> 135Mbit/sec
– 3:(2/3,1/3)--> 108Mbit/sec
– Weitere Reduktionen möglich.
27.5.1999
31
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 1Videotechnik im Rechner 1
• Fast nie mit Zeilensprungverfahren ( Ausnahme: Amiga)• Bildwechselfrequenz ca. ≥ 70 Hz, daher flimmerfrei.• Farben über CLUT (Color LookUp Table)
– Anzahl der verwendbaren Farben n << m Anzahl aller darstellbaren Farben.
• Einige "Standards "(v.a. alte):– CGA Color Graphics Adapter
Bildgröße: 320*200 PixelAnzahl der verfügbaren Farben: 4Aufwand zur Darstellung eines Bildschirminhaltes:
320*200 Pixel*(2bit/Pixel)/(8bit/byte) = 16 000 byte
27.5.1999
32
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 2Videotechnik im Rechner 2
– EGA Enhanced GraphicAdapter
Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16
Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte
– VGA Video Graphics Array
Bildgröße: 640*480 Pixel Anzahl Farben: 256
Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte
– 8514/ A Display Adapter Mode
Bildgröße: 1024*768 Pixel Anzahl Farben: 256
Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte
27.5.1999
33
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 3Videotechnik im Rechner 3
– EGA Enhanced GraphicAdapter
Bildgröße: 640*350 Pixel
Anzahl der verfügbaren Farben: 16
Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte
– VGA Video Graphics Array
Bildgröße: 640*480 Pixel Anzahl Farben: 256
Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte
– 8514/ A Display Adapter Mode
Bildgröße: 1024*768 Pixel Anzahl Farben: 256
Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte
27.5.1999
34
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 4Videotechnik im Rechner 4
– XGA Extended Graphics Array
Bildgröße: 640*480 Pixel
Anzahl der verfügbaren Farben: 65536
Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(16bit/Pixel)/(8bit/byte) = 614400
byte
Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!)
Also: Kompressionsverfahren nötig !
27.5.1999
35
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1. Grundlagen
1.1 Videotechnik
1.2 Kompression1.3 Formate + deren Eigenschaften
1.4 Quicktime
27.5.1999
36
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression1.2 Kompression
• Motivation • Kompressionsverfahren• Anforderungen an Kodierungen• Kodierungen• Klassifikation der Kodierungs- und
Kompressionsverfahren• Grundlegende Verfahren• JPEG • H. 261• MPEG
27.5.1999
37
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Motivation 11.2 Kompression - Motivation 1
• Zur Motivation von Datenkompression
– Beispielrechnungen für typische Werte:- Abkürzungen: 1kbit = 1.000 bit
1Kbit = 210 bit = 1.024 bit- Analog für Mbyte:
1Mbit = 210 *210 bit = 1.024*1.024 bit
– Speicherplatzbedarf: = Anforderung an Speicherplatz , wenn je ein Bildschirminhalt resp. je ein Datenstrom pro Sekunde unkomprimiert dargestellt wird:
27.5.1999
38
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Motivation 21.2 Kompression - Motivation 2
• Je ein Bildschirminhalt
– Text Annahme: je Zeichen der Größe 8*8 Pixel sind 2
Byte nötig.Zeichen je Bildschirmseite: 640*480/(8*8) = 4800Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte
– VektorbilderAnnahme: typisches Bild besteht aus 500 Geraden,
Koordinate in x-Richtung : 10 bit, Koordinate in y-Richtung : 9 bit,
Attributvektor pro Gerade: 8 bit. Bit je Linie: (9+10+9+10+8) bit = 46 bitSpeicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8 Kbyte
27.5.1999
39
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Motivation 31.2 Kompression - Motivation 3
• Je ein Bildschirminhalt (Fortsetzung)
– Pixelbild
• Annahme: 256 Farben, d.h. 1byte pro PixelSpeicherplatzbedarf: 640*480*1 byte = 307200 byte = 300 Kbyte
Von hier ab:
• Platzbedarf für je eine Sekunde
– Sprache in Telefonqualität
• Annahme: Abtastung mit 8kHz, quantisiert mit 8 bitDatenstrom: 64 Kbit/sSpeicherplatzbedarf: 8 Kbyte
27.5.1999
40
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Motivation 41.2 Kompression - Motivation 4
• Platzbedarf für je eine Sekunde (Fortsetzung)
– Stereo-Audiosignal in CD-Qualität
• Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bitDatenstrom: 2*44100* 16/8 byte/s = 176400byte/sSpeicherplatzbedarf: 172 Kbyte
– Videosequenz
• Annahme: 25 Vollbilder pro SekundeLuminanz und Chrominanz zusamm. mit 3 byte pro PixelLuminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y) mit 6,75 MHz.8 bit-gleichförmige Kodierung:(13,5 MHz + 2*6,75 MHz) * 8bit = 216*106 bit/s (entspricht ca. 27 MByte/s)
27.5.1999
41
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Motivation 51.2 Kompression - Motivation 5
– Videosequenz (Fortsetzung)
• Datenrate: 640*480*25*3 byte/s = 23 040 000 byte/sSpeicherplatzbedarf: 22500 Kbyte = 21, 97 MbyteDatenübertragungsraten von ungefähr 140 (175,78) Mbit/s.
’ Heute nicht kostengünstig realisierbar.
Kontinierliche Medien erhöhen die Anforderungen an das System erheblich!
Durch Kompressionsverfahren "erheblich" reduzierbar.
27.5.1999
42
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Kompressionsverfahren1.2 Kompression - Kompressionsverfahren
Kompressionsverfahren, die immer wieder genannt werden:
– JPEG für Einzelbilder
(Joint Photographic Expert Group)– MJPEG
– [H.261(px64) für Videosequenzen mit geringer Auflösung]
– MPEG für Bewegtbilder als auch Audio
(Motion Picture Expert Group)
– [DVI für Einzelbilder und kontinuierliche Medien
(Digital Video Interactive)]
27.5.1999
43
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Anforderungen an Kod. 11.2 Kompression - Anforderungen an Kod. 1
1. Gute Qualität nach Kodierung - Dekodierung
2. Verfahren möglichst einfach
3. Symmetrisch in Aufwand für Kompression-Dekom-pression– z. B. für Dialogsysteme (Bildübertragung,
Videoconferencing, ..) etwa:
Ende-zu-Ende Verzögerung ≤ 150 msec ( z. B. px64)
4. Kompression mit hohem Aufwand - Dekompression schnell
z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme, ...): einmal komprimieren, häufig dekomprimieren, möglichst in Echtzeit (z.B. DVI)
27.5.1999
44
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Anforderungen an Kod. 21.2 Kompression - Anforderungen an Kod. 2
3.+ 4. sollen erfüllen:– Formal unabhängig von Bildschirmgröße/ Bildwiederhol-
frequenz zu definieren
– verschiedene Datenraten für Audio/Video
– Audio/Video exakt synchronisierbar, auch mit anderen Medienobjekten
– kostengünstig, möglichst Software
– Kooperation von unterschiedlichen Systemen
’ Standards : de jure - de facto
27.5.1999
45
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Anforderungen an Kod. 31.2 Kompression - Anforderungen an Kod. 3
4. soll insbesondere erfüllen:– schneller Vor- /Rücklauf bei Anzeige der Daten
– wahlfreier Zugriff auf Einzelbilder ≤ 0.5 sec
– Dekompression von Einzelbildern/Videosequenzen direkt, d.h. ohne Zugriff auf "vorherige" Daten möglich.
’ Editieren nach wahlfreiem Zugriff möglich.
27.5.1999
46
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Kodierungen 11.2 Kompression - Kodierungen 1
• Grobe Einteilung:– Entropiekodierung: verlustfrei
(Entropie: mittlerer Informationsgehalt einer Zeichenmenge)
– Quellenkodierung:meist verlustbehaftet nutzt Semantik der Daten, bzgl. des Kompressionsgrades abhängig vom Medium.
– Kanalkodierung (hier weggelassen)
– hybride Kodierung
27.5.1999
47
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Kodierungen 21.2 Kompression - Kodierungen 2
• Wesentliche Schritte der Datenkompression für Audio und Video (am Beispiel Einzelbild formuliert):
27.5.1999
48
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Kodierungen 31.2 Kompression - Kodierungen 3
Schritte der Datenkompression (Fortsetzung) 1. Bildaufbereitung
• z. B. Zerlegung in Blöcke von je 8x8 Pixel
• mit n Bit Beschreibungstiefe pro Block/Pixel
2. Bildverarbeitung • erzeugt geeignete digitale Darstellung (verschiedenste
Verfahren)
3. Quantisierung• erzeugt Verlustbehaftung
4. Entropiekodierung • Bearbeitet linearen Datenstrom; verlustfreie Kompression!
(2. und 3. können mehrfach iterativ durchlaufen werden).
Dekompression läuft invers.
27.5.1999
49
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Klassifikation K&K1.2 Kompression - Klassifikation K&Kverf 1verf 1
(wichtig für unseren Kontext; Verfahren werden im folgenden z. Teil erläutert)
• Entropiekodierung– Lauflängenkodierung Huffman-Kodierung
– Arithmetische Kodierung
• Quellenkodierung– Prädiktion: DPCM DM
– Transformation: FFT DCT
– nach Wichtigkeit, "Layered Coding": • Bitposition • Unterabtastung
• Subband Kodierung
27.5.1999
50
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - Klassifikation K&K1.2 Kompression - Klassifikation K&Kverf 2verf 2
• Vektor-Quantisierung• Hybride Kodierung
– JPEG
– MPEG
– px64
27.5.1999
51
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 1 Verfahren 1
VorbemerkungHybride Verfahren verwenden unterschiedliche
grundlegende Verfahren.
Gemäß den Fähigkeiten/Eigenschaften der Sinnesorgane: unterschiedliche Gewichtungen für verschiedene Attribute, z. B.
Helligkeit hohes Gewicht,
Farbe niedrigeres Gewicht.
27.5.1999
52
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 2 Verfahren 2
• Lauflängenkodierung– Voraussetzung: Bytestrom wird übertragen.
– Bei häufigen Wiederholungen von Bytes: Angabe des Bytes + Anzahl des Vorkommens. (Unter Verwendung von M(arkierungs)-Bytes, z. B. "!“
– Wenn mindestens 4 Bytes gleich, dann wird gezählt. Damit 4 - 259 gleiche in 3 Bytes kodierbar.
– Beispiel ( in vereinfachter Darstellung ) :
Unkomprimierte Daten : a!bbbcccccccccd
Lauflängenkodierung : a! !bbb!c5d
27.5.1999
53
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 3 Verfahren 3
• Nullunterdrückung (Spezialfall der Lauflängenkodierung)
– Nur ein spezielles Zeichen wird potentiell gezählt.
– Ab 3-258 gleiche Bytes so auf 2 Bytes reduzierbar. Variationen möglich.
• Vektorquantisierung– (vereinfacht:) Zerlegt Datenstrom in Blöcke zu je n Bytes.
– Verwendet Tabelle mit Mustern als Einträgen. Suche Muster, das gegebenen Block am besten approximiert . Block erhält Index(vektor) des zug. Musters aus dieser Tabelle zugeteilt.
27.5.1999
54
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 4 Verfahren 4
• Beispiel zur Vektorquantisierung:– Tabelle für Blöcke (hier durch 3 Dezimalziffern dargestellt)
– ´24´,´801´ komprimiert ergibt z.B. (1,1), (6,4), dekodiert:´10´,´794´
Dimension 1 Dimension 2
1 2 3 4 Aufwand:
1 10 69 110 170 3 Ziffern: 12 bit
2 204 219 250 271 ‚Vektor‘: 3 +2 bit
3 305 328 352 388
4 401 439 455 479
5 501 527 556 597
6 700 726 751 794
7 901 932 955 979
27.5.1999
55
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 5 Verfahren 5
• Weitere Verfahren– (Static) Pattern Substitution
• Ersetzt häufige Muster durch einzelne Bytes. (Z.B. BEGIN in Progspr.)
• Häufig durch Approximation (z.B. für Bilder. fl Vektorquantisierung)
• Anmerkungen:– M- Bytes benutzen
– benötigt eine vorher bekannte Codetabelle
– schwierige Musterfindung bei Einzelbildern und Audiodaten
27.5.1999
56
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 6 Verfahren 6
– Diatomic Encoding• Variante von Static Pattern Substitution:
• Zusammenfassung je zweier Datenbytes. Z.B. für englisch: 8 häufigste Paare: 'E ', 'T ', 'TH', ' A', 'S ', 'RE', 'IN', 'HE' (Vorsicht: Leerzeichen!)
• Allein Ersetzung dieser durch spezielle Bytes, die sonst nie auftreten ’10% Ersparnis.
27.5.1999
57
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 7 Verfahren 7
• Dynamic Pattern Substitution– Grundidee
• wie Static Pattern Substitution
• Erstellung der Codetabelle aber zur Laufzeit
– Problem• Erkennung der besten Muster
– Beispiel: Unkomprimierte Daten : ABCDEABCEEABCEE Komprimierte Daten : ABCDE11 Tabelleninhalt : 1=ABCEE
• Implementierung – Lempel-Ziv Encoding: in vielen Programmen eingesetzt
27.5.1999
58
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 8 Verfahren 8
• Lempel-Ziv Encoding 1– Grundideen
• Codetabelle wird während der Kompression erzeugt
• jede neue Folge von Bytes in der Codetabelle aufnehmen
– Kompression • sei #i der i-te Index und W der Inhalt von einem Fenster
– Pseudocode 1.) Codetabelle initialisieren mit Alphabet
2.) Fenster = [ W ] mit W = leer
3.) Falls ein Zeichen K vorhanden ist, dann Fenster = [ WK ]
Sonst Index von W ausgeben und Programm beenden
4.) Falls Fensterinhalt in der Codetabelle, dann W = WK, 3.)
Sonst füge WK in die Codetabelle ein, Index von
W ausgeben, setze W = K und springe zu Punkt 3.)
27.5.1999
59
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 9 Verfahren 9
• Beispiel für Lempel-Ziv Kodierung :– Alphabet = { A,B,C } - Originaldaten : ´ABABAAA´
– Lempel-Ziv Kodierung : ´#1 #2 #4 #1 #7´
27.5.1999
60
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 10 Verfahren 10
• Lempel-Ziv Kodierung 3– Anmerkungen
• keine explizite Übertragung der Codetabelle
– Tabellengröße • bestimmt Kompressionsgrad und Geschwindigkeit
• wächst schnell– Speicherplatzprobleme, Index wird zu groß
– erfordert erneute Initialisierung
27.5.1999
61
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 11 Verfahren 11
• Lempel-Ziv Kodierung 4– Dekompression
• inverses Verfahren der Kompression
• Aufbau der Codetabelle – sortiertes Alphabet initialisiert die Codetabelle
– beim ersten dekomprimierten Index passiert nichts
– sonst das vorherige dekodierte Codewort plus erstes Zeichen von dem neuen dekodierten Codewort einfügen
27.5.1999
62
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 12 Verfahren 12
• Lempel-Ziv Kodierung 5– Sonderfall
• Problem : verspäteter Aufbau der Tabelle um einen Schritt
letzter Eintrag aus der Codetabelle wurde benutzt
erster Buchstabe des dekodierten Codewortes wird benötigt
Anfang des zuletzt
dekodierten Codewortes
ist gleich dem Anfang
des neuen
letzter Buchstabe
= erster Buchstabe
27.5.1999
63
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 13 Verfahren 13
• Statistische Kodierung• Zeichen können unterschiedlich lang kodiert werden.
• häufig vorkommende Zeichen werden kurz, selten vorkommende Zeichen werden lang kodiert.
• wichtig: Eindeutige Dekodierung muß möglich sein.
• Beispiele: Huffman, Arithmetische Kodierung (s.u.).
• Huffman Kodierung• Gegeben: Zeichen mit Wahrscheinlichkeit/ (relative)
Häufigkeit ihres Auftretens.
• Darstellung: Kodierung mit minimaler Anzahl benötigter Bits über binären Baum.
• Prefix Code: - variable Symbollänge - kein Codewort ist Prefix eines anderen
27.5.1999
64
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 14 Verfahren 14
• Beispiel (zu Huffman) : – Zahl = Anzahl des (relativen) Auftretens des Zeichens
– p(A) = 10, p(B) = 30, p(C) = 5, p(D) = 8, p(E) = 6’ p(CE) = 11, p(AD) = 18, p(ACDE) = 29, p(ABCDE) = 59
27.5.1999
65
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 15 Verfahren 15
Beispiel (zu Huffman, Fortsetzung) : ’ Kode: w(A) = 011, w(B) = 1, w(C) = 000, w(D) = 010,
w(E) = 001
• Ersichtlich eindeutige Kodierung, da alle Zeichen an Blättern stehen.
• Beispiel: ’ABBAC’ wird kodiert durch: 01111011000
• Bei "üblicher" 3bit-Kodierung: 15 Bit nötig.
• Hier nur : 11 Bit nötig.
• In unserem Kontext:– Tabelle für jedes Einzelbild oder für mehrere Einzelbilder
– resp. für eine Sequenz oder Menge von Sequenzen.
– Dieselbe Tabelle braucht man für Kodierung und Dekodierung.
27.5.1999
66
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 16 Verfahren 16
• Arithmetische Kodierung 1 – Motivation
• Huffman- Kodierung liefert keine ausgeglichenen Bäume
– Beispiel• ein Zeichen kommt zu 90% vor
• ein Bit benötigt bereits zuviel Speicherplatz
– Grundidee• eine Zeichenkette entspricht einem Intervall zwischen [0..1]
• eine Zahl aus dem Intervall repräsentiert die Zeichenkette
• die Auftrittswahrscheinlichkeit bestimmt die Intervallgröße
– anfängliche Festlegung • Reihenfolge • Auftrittswahrscheinlichkeiten • Intervalle
27.5.1999
67
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 17 Verfahren 17
• Arithmetische Kodierung 2– auch optimale Kodierung (wie Huffman).
– kodiert Zeichen immer unter Berücksichtigung aller vorangegangenen Zeichen
’ wahlfreier Zugriff nicht möglich.
27.5.1999
68
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 18 Verfahren 18
• Arithmetische Kodierung 3• Kodierung: Beispiel:
– sei • low( i ) = untere Intervall-
grenze des i-ten Zeichens
• high( i ) = obere Intervall- grenze
• L = 0 und H = 1
– für alle Zeichen i = {1..n} berechne : L = L + ( H - L ) ·low( i ) H = L + ( H - L ) ·high( i ) // ( alten L-Wert benutzen )
– wähle eine Zahl zwischen L und H
27.5.1999
69
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 19 Verfahren 19
• Arithmetische Kodierung 4• Beispiel: ´ACB´ entspricht einer Zahl aus [0,12..0,15[ z.B 0.13
27.5.1999
70
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 20 Verfahren 20
• Arithmetische Kodierung 5Zeichen werden nicht einzeln sondern ganzer String wird
kodiert ’– Anzahl der komprimierten Zeichen
• Länge vorher übergeben
• Endezeichen
– Eigenschaften• kein zufälliger Zugriff möglich
• Kompressionsrate ungefähr wie bei der Huffman Kodierung
27.5.1999
71
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 21 Verfahren 21
• Transformationskodierung– transformiert Daten in anderen mathematischen Raum, in
dem (hoffentlich) besser kodiert werden kann.
z.B.: • Diskrete Kosinustransformation DCT (vgl. später JPEG)
• Wavelets
• Fouriertransformation FFT
27.5.1999
72
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 22 Verfahren 22
• Subbandkodierung– nur selektive Frequenztransformation
– Qualitätskriterium: Anzahl der Bänder
– gut zur Kompression von Sprache
• Prädiktion/relative Kodierung– Grundidee: Kodierung von Differenzen von Bytes resp.
Bytefolgen
– Beispiele:• 1. ein Bild:
– Kanten fl große Differenzwerte für Luminanz/ Chrominanz
– Flächen fl kleine Differenzwerte
– homogene Fläche fl viele Nullen ’ Lauflängenkodierung
27.5.1999
73
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 23 Verfahren 23
• Prädiktion/relative Kodierung (Fortsetzung)
– Beispiele (Fortsetzung)• 2. Bilder über der Zeit:
– Bewegtbilder: beschrieben durch Differenz eines Bildes zum vorherigen.
– z. B. Nachrichtensendung/Bildtelefon: Hintergrund weitgehend gleich.
– Bewegungskompensation über Bewegungsvektor möglich.
• 3. in Audiotechnik: Differential Puls Code Modulation (DPCM)
– Folge von PCM-kodierten Abtastwerten werden dargestellt durch
- erster Abtastwert durch volle Beschreibung
- für die nachfolgenden durch Differenz zum vorherigen Wert.
27.5.1999
74
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 24 Verfahren 24
• Delta Modulation– Variation von DPCM
– Kodierung der Differenzwerte durch genau 1 bit.
– (kleine Differenzen sind dadurch sinnvoll beschreibbar.)
• ! DIFFERENZBILDUNG ist wesentliches Merkmal aller im Multimedia-Bereich eingesetzten Verfahren!
27.5.1999
75
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 25 Verfahren 25
• Adaptive Kompressionsverfahren– Bisherige Verfahren:
• gut in bestimmtem Kontext
• untypische Folgen von Zeichen fl keine Kompression.
– Adaptive Verfahren:• lassen Anpassung des Verfahrens an zu komprimierende
Daten zu.
• Grundidee: – Kodierungstabelle (etwa nach Huffman) durch Zähler je
Eintrag für Vorkommen erweitern.
– Die Zuordnung der Kodewörter durch Anderung gemäß der Häufigkeit der Vorkommen (Zählereinträge!) anpassen!
’ Die häufigst erscheinenden Zeichen werden dann immer am kürzesten kodiert.
27.5.1999
76
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 26 Verfahren 26
Adaptive Verfahren (Fortsetzung)
Beispiel:– Adaptive DPCM (ADPCM, häufig auch nur DPCM).
• wenige Differenzbits beschreiben:– wenige große Differenzen -> hohe Frequenzen
– wenige kleine Differenzen -> niedrige Frequenzen
• Fehler in diesem Kontext: Slope overload - Änderung der Faktoren adaptiv möglich.
• --> nicht geeignet für z.B. Audio mit sich häufig ändernden Anteilen; jedoch:
• CCITT: für Telefonie ADPCM: 8kHz Abtastfrequenz, 4 bit pro Abtastwert.
27.5.1999
77
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 27 Verfahren 27
• Weitere grundlegende Verfahren:– Farbtabellen
– Stummschaltung: • Daten werden nur kodiert, wenn der Lautstärkepegel
bestimmten Schwellwert überschreitet.
27.5.1999
78
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 1 (Gliederung)1.2 Kompression - JPEG 1 (Gliederung)
• Anforderungen an JPEG • Übersicht:Schritte im JPEG-Kompressionsverfahren
Bildaufbereitung (für alle Modi)• Bildverarbeitung im 1. Modus (FDCT)• Quantisierung• Entropiekodierung• Erweiterter, verlustbehafteter DCT-basierter Mode• Verlustfreier Mode• Hierarchischer Mode• Zur Qualität
27.5.1999
79
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 2 1.2 Kompression - JPEG 2
• (Joint Photographic Expert Group)• J, da 2 Kommissionen beteiligt waren, wohl 1992
veröffentlicht• für farbige und grauskalierte Standbilder• auch für Bewegtbildsequenzen, dann M(otion)JPEG• als Software oder mit spezieller
Hardwareunterstützung verfügbar.• Vorsicht: z. Teil nur ein Teil von JPEG kommerziell
erhältlich ("Basismode")
27.5.1999
80
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 3 1.2 Kompression - JPEG 3
• Anforderungen an JPEG:– Unabhängigkeit
• von der Bildgröße
• von Höhe zu Breite - eines Bildes - eines Pixels.
• der Farbvielfalt vom verwendeten Farbraum
• von der Komplexität des Bildinhalts
• von den statistischen Eigenschaften des Bildinhalts
– Aktueller Stand bzgl. des Kompressionsgrades und der erreichbaren Bildqualität (nahezu) zu erreichen.
– Softwarelösung sollte auf (möglichst vielen) Standardprozessoren laufen.
27.5.1999
81
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 41.2 Kompression - JPEG 4
• Anforderungen an JPEG (Fortsetzung 1) – Hardwarelösung sollte Komplexität der Verarbeitung
drastisch reduzieren.
– Beim Dekodieren mögliche Alternativen unterstützen:• sequentiellen Bildaufbau
• progressiven Bildaufbau (Bild wird erst nur grob, dann immer feiner gezeigt.)
• verlustfreie Dekodierung
• Kodierung mit unterschiedlichen Auflösungen desselben Bildes.
27.5.1999
82
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 51.2 Kompression - JPEG 5
• Anforderungen an JPEG (Fortsetzung 2)
– ’ obige "Parametrisierbarkeit" läßt Wahl zu unter:• Qualität des reproduzierten Bildes
• Dauer der Kompression
• Größe des komprimierten Bildes
– Möglichkeit: nur Kodierer oder Dekodierer nötig
– Austauschformat nach JPEG:• Parameter + Tabellen des Kodierprozesses
(Manchmal nur als "abbreviated Format", wenn gewisse "Meta"daten aus dem Kontext schon bekannt)
• Bilddaten
27.5.1999
83
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 61.2 Kompression - JPEG 6
• Übersicht:Schritte im JPEG-Kompressionsverfahren
27.5.1999
84
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 71.2 Kompression - JPEG 7
JPEG-Modi:
1. Baseline Process, Basis Mode– verlustbehafteter, sequentieller DCT-basierter Mode (muß
von jedem JPEG-Decoder unterstützt werden.)
2. Erweiterter verlustbehafteter DCT-basierter Mode– stellt Menge von Alternativen zur Verfügung.
3. Verlustfreier Mode--> verlustfreie Reduktion; geringerer Kompressionsfaktor
4. Hierarchischer Mode– liefert mehrere, unterschiedliche Auflösungen pro Bild
– verwendet Algorithmen aus 1.-3.
27.5.1999
85
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 81.2 Kompression - JPEG 8
• Bildaufbereitung (für alle Modi) – Zu beantwortende Frage:
• Wie wird ein (unkomprimiertes) Bild beschrieben und zur Verarbeitung in Teilinformationen zerlegt ?
– Nach obigem: • Viele Parameter offen, jedoch werden folgende
Voraussetzungen an die Beschreibung des unkomprimierten Bildes gestellt:
– Ein Bild besteht aus N Ebenen/Komponenten Ci 1≤i≤N, 1≤N≤255.
27.5.1999
86
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 91.2 Kompression - JPEG 9
• Bildaufbereitung (für alle Modi; Fortsetzung 1)
– Pro Pixel: p bit Beschreibungstiefe• p = 8, 12, falls verlustbehafteter Modus
• 2≤ p ≤ 12 , falls verlustfreier Modus.
• Ansonsten vorweg Transformation in eine solche Darstellung.
27.5.1999
87
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 101.2 Kompression - JPEG 10
• Bildaufbereitung (für alle Modi; Fortsetzung 2) – Für 1≤i≤N: Xi Spaltenzahl, Yi Zeilenzahl.
Beispiel 1: Beispiel 2: Homogene Auflösung Heterogene Auflösung
der Ebenen der Ebenen
27.5.1999
88
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 111.2 Kompression - JPEG 11
• Bildaufbereitung (für alle Modi; Fortsetzung 3)
Konkrete Notation eines Bildes durch :– (N, p, y, x, Vmax, Hmax, (i, Vi, Hi) 1≤i≤N), wobei:
• x := Min i = 1,.., N Xi , y := Min i = 1,.., N Yi
• (X := Max i = 1,.., N Xi , Y := Max i = 1,.., N Yi)
• Hi := Xi/x; Vi := Yi/y
• (Hmax := Max i = 1,.., N Hi , Vmax := Max i = 1,.., N Vi)
– Dabei Voraussetzung: 1≤Hi ,Vi≤4 für Hi, Vi¿§
– Festlegung: Dateneinheit:• 1 Pixel, falls verlustfreier Modus
• Block aus 8*8 Pixel, falls ein verlustbehafteter Modus
27.5.1999
89
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 121.2 Kompression - JPEG 12
• Bildaufbereitung (für alle Modi; Fortsetzung 4)
Verarbeitung:– nicht über Ebenen
verschachtelt:
– über Ebenen verschachtelt (Interleaving):• Problem: zusammengehörige Informationen sind zu
verarbeiten, trotz evtl. unterschiedlicher Auflösung der verschiedenen Ebenen.
• führt zum Begriff der MCU: Minimum Coded Units
27.5.1999
90
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 131.2 Kompression - JPEG 13
• Bildaufbereitung (für alle Modi; Fortsetzung 5)
– Beispiel:
– Vorgehen: • Zerlege jede Komponente/Ebene in Regionen, so daß die
Anzahl der Regionen für jede Ebene gleich groß ist.
• Die jte MCU enthält jeweils die jte Region der Ebene i (für 1≤i≤N).
27.5.1999
91
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 141.2 Kompression - JPEG 14
• Bildaufbereitung (für alle Modi; Fortsetzung 6)
– Für JPEG gilt:• Jede MCU erfüllt:
– Maximal 4 Komponenten können derart verschachtelt kodiert werden
– maximal 10 Dateneinheiten können enthalten sein.
– (Ende Bildaufbereitung für alle Modi.)
27.5.1999
92
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 151.2 Kompression - JPEG 15
• Bildverarbeitung im 1. Modus (FDCT)– Überblick:
– unkomprimiertes Bild wird in Dateneinheiten zu je 8*8 Pixel zerlegt
– p = 8 [bit]
27.5.1999
93
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 161.2 Kompression - JPEG 16
• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung1)
– Bildverarbeitung für je 8x8 Pixel:
(F)DCT: Diskrete Cosinus Transformation• Beschreibe dazu 8*8 Pixel so:
• Verschiebe Wertebereich von [0,255] nach [-128, 127]
• Dann gilt: Pixelwerte syx aus [-128, 127] für 0≤x,y≤7
• Wende darauf FDCT (Forward DCT) an:
• Svu = (1/4) cu cv x= 0,.., 7 y= 0,.., 7
syx cos((2x+1)u/16) cos((2y+1)v/16)
• mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1 für u,v [0,7].
27.5.1999
94
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 171.2 Kompression - JPEG 17
• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung2)
– Dies ist interessant, da folgende Interpretation:• Svu interpretierbar als "zweidimensionale" Frequenz.
• Beispiele:– S00 DC- Koeffizient
(fl Gleichspannungsanteil; direct current)
bestimmt Grundfarbton für die 64 Pixeldateneinheiten
– andere: AC - Koeffizienten (fl Wechselspannungsanteil)
– S70 = höchste Frequenz, die nur in waagerechter Richtung auftritt, d. h. dichtest mögliches Muster senkrechter Streifen.
– S77 maximal, wenn 8*8 Dateneinheit aus möglichst vielen, d.h. 1*1 Karos
27.5.1999
95
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 181.2 Kompression - JPEG 18
• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung3)
– "zweidimen-
sionale"
Frequenzen
27.5.1999
96
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 191.2 Kompression - JPEG 19
• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung 4)
– Rücktransformation durch IDCT (Inverse DCT) :• syx = (1/4) u= 0,.., 7 v= 0,.., 7
cu cv Svu cos((2x+1)u/16) cos((2y+1)v/16)
mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1.
– Anmerkungen:• Cos-Werte in Tabelle erfaßbar.
• Hin- und Rücktransformation nicht exakt.
• Genauigkeit durch JPEG nicht vorgeschrieben.
• Flächen erzeugen viele AC-Koeffizienten zu Null oder fast Null.
27.5.1999
97
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 201.2 Kompression - JPEG 20
• Quantisierung – Erzeugt Verlustbehaftung
– pro Block: 64 Quantisierungseinträge; individuell einstellbar (vom Bildmaterial abhängig)
• Bildqualität <--> Kompressionsgrad einstellbar
– Qvu 8bit ganzzahlige Werte gemäß:
• sqvu = round Svu/Qvu.
• Je größer Tabelleneinträge, desto gröber die Quantisierung.
– Dequantisierung mit derselben Tabelle gemäß
• Rvu = sqvu* Qvu
27.5.1999
98
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 211.2 Kompression - JPEG 21
• Entropiekodierung – Vorbereitung der Verarbeitung in der Kodierung
• i.a. unterschiedliche Behandlung von DC- und AC - Koeffizienten
• DC-Wert: beschreibt Grundfarbton, differieren i.a. wenig von Block zu Block. Daher:
– Differenzbildung benachbarter Werte
27.5.1999
99
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 221.2 Kompression - JPEG 22
• Entropiekodierung (Fortsetzung 1) – AC-Werte: "Zick-Zack"- Verarbeitung
nach steigenden
Frequenzen
(entspricht meist
fallenden Werten
--> 0)
27.5.1999
100
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 231.2 Kompression - JPEG 23
• Entropiekodierung (Fortsetzung 2)
– JPEG-Entropiekodierung• Zunächst Lauflängenkodierung (von Nullwerten)
• dann: Huffman (/z. T. Arithmetische Kodierung)
--> Liefert ISO- Intermediate-Symbol-Sequenz- Format
i. w. folgende alternierende Angaben:• Anzahl der folgenden Koeffizienten mit dem Wert Null
• für die Darstellung des danach folgenden Koeffizienten benutzte Anzahl an Bits
• Wert des Koeffizienten, dargestellt mit der angegebenen Anzahl an Bits
27.5.1999
101
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 241.2 Kompression - JPEG 24
• Entropiekodierung (Fortsetzung 3)
– Zudem:• AC- Werte fi0 sowie DC- Werte werden so dargestellt, daß
Anzahl benötigter Bits von der Größe des Wertes abhängt– AC-Werte: 1-10 bits
– DC-Werte: 1-11 bits (i.a. höhere Auflösung)
• Huffman: – keine Lizenzgebühren für Patente
– schlecht: Anwendung hat Kodierungstabellen bereitzustellen.
• Hier verwendet man: sequentielle Kodierung
27.5.1999
102
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 251.2 Kompression - JPEG 25
• Bildaufbau bei Dekodierung– Beispiel:
27.5.1999
103
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 261.2 Kompression - JPEG 26
• Erweiterter, verlustbehafteter DCT-basierter Mode– Unterschiede zum 1. Mode:
• p = 8 oder 12
• Neben sequentieller Kodierung: progressive Kodierung
(fl Layered Coding)
– Erlaubt folgenden Bildaufbau bei Dekodierung• Beispiel:
27.5.1999
104
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 271.2 Kompression - JPEG 27
• Erweiterter, DCT-basierter Mode (Fortsetzung 1)
– Wird erreicht durch:• Erweiterung der Quantisierung
--> Alle quantisierten Werte kommen in Puffer
--> Selektive Weiterverarbeitung – Spectral Selektion:
» zuerst: nur Koeffizienten der niedrigen Frequenzen
» danach: auch Koeffizienten der höheren Frequenzen
– Successive Approximation:» alle Koeffizienten werden übertragen.
» jedoch nach Wertigkeit weiterverarbeitet
– Neben Huffman: Arithmetischer Kode • Patentschutz (noch?) - paßt sich autom. den statistischen Eigensch.
des Bildes an.- > keine Tabellen auf Seiten der Anwendung nötig.
27.5.1999
105
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 281.2 Kompression - JPEG 28
• Erweiterter, DCT-basierter Mode (Fortsetzung 2)
Verschiedene alternative Kombinationen in den Teilschritten:
Bildaufbau Bits/ Abtastwert Entropiekodierungsequentiell 8 Huffman - Kodierung
sequentiell 8 Arithmetische Kodierung
sequentiell 12 Huffman-Kodierung
sequentiell 12 Arithmetische Kodierung
progressiv sukzessive 8 Huffman-Kodierung
progressiv spektral 8 Huffman-Kodierung
progressiv sukzessive 8 Arithmetische Kodierung
progressiv spektral 8 Arithmetische Kodierung
progressiv sukzessive 12 Huffman-Kodierung
progressiv spektral 12 Huffman-Kodierung
progressiv sukzessive 12 Arithmetische Kodierung
progressiv spektral 12 Arithmetische Kodierung
27.5.1999
106
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 291.2 Kompression - JPEG 29
• Verlustfreier Mode
– Start: • Dateneinheit: Pixel mit 2- 16 bit Beschreibungstiefe.
Statt Transformationskodierung:
27.5.1999
107
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 301.2 Kompression - JPEG 30
• Verlustfreier Mode (Fortsetzung 1)
– Prädiktionsverfahren • Für Pixel X : 1-8 Prädiktoren
Aufgabe: Möglichst gute
Vorhersage von X aus
den bekannten A,B,C
Selektionswert Prädiktion Selektionswert Prädiktion
0 keine Prädiktion 4 A + B + C
1 A 5 A + (B-C)/2
2 B 6 B + (A-C)/
3 C 7 (A + B)/2
Selektionswert sowie Prä(X) - X werden entropiekodiert.
27.5.1999
108
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 311.2 Kompression - JPEG 31
• Hierarchischer Mode– nach Bedarf: - verlustbehaftet -verlustfrei
– Kodierungen je eines Bildes mit (mehreren) unterschiedlichen Auflösungen
• 1. Digitalisiertes Bild "um den Faktor 2n herabsetzen" --> komprimieren
• 2. Digitalisiertes Bild "um den Faktor 2n-1 herabsetzen"
--> Bild gemäß 1 davon abziehen ("Differenzbild")
--> komprimieren• 3. 2. geeignet iterieren, bis "vollständiges" Bild
komprimiert.
• Damit Skalierung einfach möglich.
27.5.1999
109
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 321.2 Kompression - JPEG 32
• Hierarchischer Mode (Fortsetzung) – Vorteil:
• Anwendung verarbeitet die Auflösung, die ihr angepaßt ist.
--> Berechnung der reduzierten Informationen aus den detailliert beschriebenen Bildern durch die Anwendung nicht nötig.
– Nachteil: • Kodierung ist rechen- und speicherplatzintensiv.
27.5.1999
110
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - JPEG 331.2 Kompression - JPEG 33
• Zur Qualität– Für DCT-kodierte Einzelbilder:
• 0,25 bis 0,50 bit/Pixel :Mäßige bis gute Qualität, für einige Anwendungen ausreichend.
• 0,50 bis 0,75 bit/Pixel: Gute bis sehr gute Qualität, für viele Anwendungen ausreichend.
• 0,75 bis 1,50 bit/Pixel: Ausgezeichnete Qualität, für die meisten Anwendungen ausreichend.
• 1,50 bis 2,00 bit/Pixel: Meistens vom Original nicht mehr zu unterscheiden. Genügt fast allen
Anwendungen, selbst bei höchsten Qualitätsansprüchen.
– Im verlustfreien Modus:• Kompressionsgrad 2:1 im Mittel.
27.5.1999
111
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - H.261 (px64) 11.2 Kompression - H.261 (px64) 1
• Bewegtbildstandard• Für Einsatz bzgl. ISDN gedacht für z. B.:
– Bildtelefon - Videokonferenzsysteme
--> Kodierung + Dekodierung in Echtzeit
– jetzt: für Videokompression auf p x 64 Kbit/sec mit p = 1, 2, . .., 30
• H. 261 Video Codec for Audiovisual Services at p x 64 kbit/s– Coder/Decoder
– 1990 verabschiedet
– Voraussetzung: Kompression + Dekompression ≤ 150 msec Signalverzögerung.
27.5.1999
112
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - H.261 (px64) 21.2 Kompression - H.261 (px64) 2
• Bildaufbereitung– Präzise(re) Voraussetzungen:
• Am Eingang anliegende Bildwechselfrequenz: 29,97 = 30000/1001 (wieso?)
• Geringere Bildwechselfrequenzen für Übertragung zugelassen (z.B. 10-15)
• Nicht Zeilensprungverfahren.
• Bild mit Y Luminanz, Cb,Cr Chrominanzdifferenzen (gemäß CCIR 601)
• 2:1:1 kodiert (vgl. YUV (Fernsehen); entspricht wohl 4:2:2)
27.5.1999
113
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - H.261 (px64) 31.2 Kompression - H.261 (px64) 3
• Auflösungen: 4:3 Seitenformat– CIF (Common Intermediate Format) : optional
• 288*352 Pixel Luminanz
• 144*176 Chrominanz
– QCIF (Quarter CIF) : vorgeschrieben• 144*176 Pixel Luminanz
– Zur Hilfe: [(2*3*3*8) *(2*11*8)] für unten
• 72* 88 Chrominanz [(3*3*8) *(11*8)]
• Nötiger Kompressionsgrad, um mit QCIF über 1 ISDN-
B-Kanal zu kommen: 1: 47,5. (bei 10 Bildern/sec)• Heute technisch machbar.
• CIF benötigt 6 ISDN-B-Kanäle
27.5.1999
114
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - H.261 (px64) 41.2 Kompression - H.261 (px64) 4
• Verwendete Unterteilung je eines Bildes:– Jede Komponente in Blöcke zu 8*8 Pixel
– Makroblock: 4 Blöcke für Y, je 1 für Cb und Cr
– Gruppe von Blöcken: 3*11 Makroblöcke
– QCIF-Bild: 3 Gruppen
– CIF-Bild: 12 Gruppen
27.5.1999
115
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - H.261 (px64) 51.2 Kompression - H.261 (px64) 5
• Kodierungsverfahren– Intraframe. Zur Kodierung werden nur Daten eines Bildes
verwendet
(vgl. Intrapicture bei MPEG; s.u.)
– Interframe: Zur Kodierung werden Daten aus mehreren Bildern verwendet.
(vgl. P-Bilder in MPEG; s.u.).
– Norm schreibt hier keine Parameter fest.
– Zu Intraframe:• 8*8 Pixelblock mit DCT (wie bei JPEG)
• DC und AC Koeffizienten unterschiedlich quantifiziert
• Kodierung mit Kode variabler Länge.
27.5.1999
116
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - H.261 (px64) 61.2 Kompression - H.261 (px64) 6
– Zu Interframe:• Für jeden Makroblock mit Prädiktion möglichst ähnlichen
Block im vorangegangenen Bild suchen.
Relative Lage über Bewegungsvektor festlegen. • Bewegungsvektor nicht zwingend vorgeschrieben• Möglich: Differenzen zwischen sequentiell
aufeinanderfolgenden Makroblöcken kodieren.
• Datenstrom – ist in H.261 in Schichten aufgeteilt. Unterste Schicht:
– Eigenschaften: komprimierte Bilder
• Fehlerkorrektur möglich • Jedes Bild hat 5 bit lange Bildnummer • Letztes Bewegtbild kann als Standbild "eingefroren" werden. • ........
27.5.1999
117
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG1.2 Kompression - MPEG
• Vorbemerkungen zu MPEG– MPEG: Moving Picture Expert Group
– Derzeitige Fassungen: (eine Klassifikation, zitiert nach: MPEG Video Webpage,
http://bs.hhi.de/mpeg-video/ (5.5.99)
• MPEG-1: Standard zur Speicherung und zum Information Retrieval bewegter Bilder und assoziiertem Audio auf Speichermedien
• MPEG-2: Standard für digitales TV
Noch in Entwicklung:
• MPEG-4: Standard für Multimedia-Anwendungen
• MPEG-7: Standard zur Inhaltsrepräsentation für die Inhaltssuche
27.5.1999
118
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 11.2 Kompression - MPEG-1 1
• Vorbemerkungen zu MPEG-1• MPEG-1:
• Zur Bearbeitung von Algorithmen zur Audio- und Bewegtbildkodierung.(s.u.)
• Interntl. Standard seit 92 (MPEG-1 „approved“ Nov. 92).
• berücksichtigt andere Normierungen– JPEG: Bewegtbild entspricht Folge von Standbildern; JPEG
lag früher vor.
– H.261
• MPEG 1: Datenrate ≤ 1856 Kbit/s (lt. Steinmetz ‚93)
• MPEG-1: Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s
drogo.cselt.stet.it/mpeg/standards/mpeg-1/mpeg-1.htm (5.5.99)
27.5.1999
119
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 21.2 Kompression - MPEG-1 2
– Geeignet für symmetrische und asymmetrische Kompression (incl. Audio)
– MPEG spezifiziert: - Video - Audio - Systemdefinition
• Videokodierung– Bildaufbereitung (ähnlich H.261)
• Bild ist beschrieben durch: – Y Luminanz,
– Cb,Cr Farbdifferenzkomponenten
– Y hat in horizontaler und vertikaler Richtung je doppelte Auflösung (Color Subsampling)
• Es sollte sein: Räumliche Auflösung ≤ 768*576 Pixel
27.5.1999
120
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 31.2 Kompression - MPEG-1 3
• Bildaufbereitung (Fortsetzung)– p = 8 in jeder Ebene
– Weitere Infos bei MPEG:• 14 unterschiedliche Seitenverhältnisse von Pixeln
• 8 Bildwechselfrequenzen: 23,976 Hz, 24 Hz, 25 Hz, 29,97 Hz, 30 Hz, 50 Hz, 59,94 Hz, 60 Hz.
– Verwendung von Prädiktoren für Bildbereiche
– Aufbau eines Bildes aus Bereichen:• Block : 8*8 Pixel• Makroblock: - 16*16 Pixel Luminanz, - 8*8 Pixel je Chrom.
diese 6 Blöcke werden sequentialisiert
– --> der Anwender hat keine MCUs zu definieren– 3 Komponenten werden gemeinsam komprimiert/ dekompr.
• kein progressiver Bildaufbau (Bildaufbau in max 41,7 ms)
27.5.1999
121
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 41.2 Kompression - MPEG-1 4
• Bildverarbeitung – 4 unterschiedliche
Bildkodierungsarten:
wegen: effiziente
Kodierung <-->
wahlfreier Zugriff
auf Einzelbild/Frame
– Bildarten: I-, P-, B-, D- Bilder
27.5.1999
122
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 51.2 Kompression - MPEG-1 5
• Bildverarbeitung (Fortsetzung 1)Beschreibung grob. (Zu Einzelheiten vgl. [Steinmetz ´93])
– I-Bilder (Intra Coded Pictures)• wird als Standbild (Einzelbild) behandelt.
• wie in JPEG (8*8 Blöcke, DCT, DPCM für DC-Koeff, ....)
• Kompression jedoch in Echtzeit nötig --> geringe Kompressionsrate
• bilden Anker für wahlfreien Zugriff
– P-Bilder (Predictive Coded Pictures)• verwenden vorangegangene I- resp. P-Bilder
--> Bewegungsschätzung: (Algorithmus ist nicht vorgeschrieben; nur die Kodierung des Ergebnisses. Bewegungsvektor + Differenzbild)
27.5.1999
123
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 61.2 Kompression - MPEG-1 6
• Bildverarbeitung (Fortsetzung 2)Bewegungsvektoren häufig (fast) gleich. Daher dafür DPCM-
Kodierung.
--> höhere Kompressionsrate als I-Bilder.
• Makroblöcke in P- Bildern auch wie in I-Bildern kodierbar.
• Im Prinzip gleich, im Detail anders als bei JPEG.
– B-Bilder (Bidirectionally Predictive Coded Pictures)• verwendet vorangegangene und nachfolgende I- und P-
Bilder
--> höchste Kompressionsrate
27.5.1999
124
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 71.2 Kompression - MPEG-1 7
• Bildverarbeitung (Fortsetzung 3)• Beispiel (zu sinnvollem Einsatz von B-Bildern):
Bewegung eines Balles von links nach rechts vor statischem Hintergrund. Geben sukkzessive Teile des Hintergrundes frei. Daher Ableitung aus nachfolgenden Bildern günstig.
• u.a. Interpolation von Makroblöcken.
• B-Bilder werden nicht im Dekoder als Referenzbilder gespeichert.
– D-Bilder (DC-Coded Picture)• intraframekodiert; nur DC-Parameter (, resp.
niederfrequente AC) • für schnellen Vorlauf
• diese Funktionalität kann auch durch periodisch auftretende I-Bilder erreicht werden
27.5.1999
125
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 81.2 Kompression - MPEG-1 8
• Bildverarbeitung (Fortsetzung 4)– Weitere Anmerkungen:
• Reihenfolge der Bilder in der Dekodierung und der Präsentation können unterschiedlich sein. (vgl. Beispiel oben + unten)
• Rückwärtslauf hier (evtl.) aufwendig, da Group of Pictures vorher zu verarbeiten .
• In praktischen Anwendungen von MPEG:– Bildfolge : I BBPBBPBB I BBPBBPBB I ....
--> Wahlfreier Zugriff auf jedes 9. Bild.
• (Mindestens alle 15 Bilder je ein I Bild gefordert.)
27.5.1999
126
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 91.2 Kompression - MPEG-1 9
• Quantisierung– wird an Bedarf angepaßt
• Audiokodierung– Abtastraten: eine aus 32 kHz, 44,1 kHz, 48kHz;
Abtastung mit 16 bit.
– Kompression je Audiosignal: – zu einem von 64, 96, 128, 192 kbit/sec.
– Vorverarbeitung: FF - Transformation (--> also Infos in Spektraldarstellung)
– Zerlegung des Frequenzbereichs in 32 (disjunkte) Bereiche (Bänder).
• Können unterschiedlich gewichtet quantisiert werden.
27.5.1999
127
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 101.2 Kompression - MPEG-1 10
• Audiokodierung (Fortsetzung)
– 3 Qualitätsstufen:• Stufe 1+2: PCM-kodiert
• Stufe 3: PCM-kodiert + Huffman
– verarbeitbar: • 1 Kanal,
• 2 unabhängige Kanäle
• Joint Stereo: nutzt Abhängigkeiten zwischen beiden Kanälen
– kompatibel zu:• CD-DA (Compact Disc - Digital Audio)
• DAT (Digital Audio Tape)
27.5.1999
128
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 111.2 Kompression - MPEG-1 11
• DatenstromMPEG spezifiziert feste Syntax für Audio- und Videodaten-
strom
– Audiostrom • besteht aus Frames, diese aus Audio Access Units, diese
wiederum aus Slots.• Slot: bei niedrigster Komplexität der Kodierung: 4 Byte, sonst
1 Byte• Audio Access Unit: kleinstmögliche Audiosequenz
komprimierter Daten, die unabhängig von allen übrigen Daten vollständig dekodiert werden kann.
– Spieldauern hierfür:- 48kHz: 8ms - 44.1 kHz: 8,7ms - 32
kHz: 12 ms
• Frame: feste Anzahl von Abtastwerten
27.5.1999
129
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 121.2 Kompression - MPEG-1 12
• Datenstrom (Fortsetzung 1)– Videostrom: 6 Schichten
• Sequence
• Group of
pictures
• Picture
• Slice
• Makroblock
• Block
27.5.1999
130
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 131.2 Kompression - MPEG-1 13
• Datenstrom (Fortsetzung 1)– Videostrom: (Fortsetzung)
• Sequence Layer: Steuert Zwischenspeicherung der Daten– Angaben enthalten u.a.:
» für Sequenz konstante Bitrate
» für Dekodierung min. Speicherplatz
– Video Buffer verifier: Sitzt hinter Quantisierer. Wird zur Überprüfung der durch die Dekodierung entstehenden Verzögerungszeit verwendet.
– Zwischen Sequenzen können grundlegende Parameter des Dekoders neu gesetzt und Initialisierung durchgeführt werden.
27.5.1999
131
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 141.2 Kompression - MPEG-1 14
• Datenstrom (Fortsetzung 2)– Videostrom (Fortsetzung 1)
• Group of Pictures Layer: – Enthält mindestens ein I-Bild (und das an erster Stelle)
.
– Folge im Datenstrom und in der Präsentation können unterschiedlich sein
Beispiel:» Reihenfolge bei der Darstellung:
Bildart B B I B B P B B P B B I
Bildnummer 0 1 2 3 4 5 6 7 8 9 10 11» Reihenfolge im Datenstrom:
Bildart I B B P B B P B B I B B
Bildnummer 2 0 1 5 3 4 8 6 7 11 9 10
27.5.1999
132
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 151.2 Kompression - MPEG-1 15
• Datenstrom (Fortsetzung 3)– Videostrom (Fortsetzung 2)
• Picture Layer: beinhaltet
– je ein gesamtes Einzelbild
– zeitlicher Bezug über Bildnummer
– (noch freie weitere Datenfelder [für Erweiterungen])
• Slice Layer– besteht aus Anzahl von Makroblöcken, die sich von Bild zu
Bild ändern können.
– enthält u.a. Skalierung der DCT-Quantisierung für dieses slice.
• Macro Block Layer
• Block Layer
27.5.1999
133
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 161.2 Kompression - MPEG-1 16
• Systemdefinition– Zusammenfassung von Audio- und Videostrom.
– Multiplexen incl. • Koordination beim Datentransfer zwischen einkommenden
und ausgehenden Datenströmen
• Justage von Uhren
• Puffermanagement
– Zerlegung des Datenstroms (nach ISO 11172) in Packs. • Erster Pack enthält Infos z.B. über maximal auftretende
Datenrate. (Headerinfos).---> Dies Vorgehen kritisch bei Verteilungsanwendung (etwa
späteres Aufschalten!).
– MPEG setzt zur Synchronisation erforderliche Zeitstempel.
27.5.1999
134
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 171.2 Kompression - MPEG-1 17
• Systemdefinition (Fortsetzung 1)– Prototypischer ISO/IEC 11172 Dekoder:
27.5.1999
135
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-1 181.2 Kompression - MPEG-1 18
• Anmerkungen– MPEG verlangt nicht Kompression in Echtzeit.
– MPEG spezifiziert Prozeß der Dekompression, nicht den Dekoder selbst.
– Weitgehend verfügbar: MPEG 1Datenrate: 1.5
Mbit/s
– Wichtig: Qualität, Kompressionsfaktor
– Unwichtig: Kompressionszeit
27.5.1999
136
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 11.2 Kompression - MPEG-2 1
• MPEG-2 (ISO 13818) Referenzen: (Stand: 14.6.98)
– Startseite zu MPEG-2 (ISO 13818): http://www.mpeg2.de/
– MPEG-2-Dokumentation:
http://www.mpeg2.de/doc/index.htm
– Video-Codierung mit MPEG-2: Breites Spektrum (deutsch) (*)http://www.mpeg2.de/doc/mpuo05/mpuo05.htm
– MPEG-2 FAQ Table of Contentshttp://bmrc.berkeley.edu/projects/mpeg/faq/mpeg2/
27.5.1999
137
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 21.2 Kompression - MPEG-2 2
• MPEG-2 (ISO 13818) Referenzen: Fortsetzung
– Überblicke zu MPEG (u.a. MPEG-2):• The MPEG Home Page:
– http://drogo.cselt.stet.it/mpeg/ (5.5.99)
• MPEG and multimedia communications (Leonardo Chiariglione) ["Vater" von MPEG]http://drogo.cselt.stet.it/ufv/leonardo/paper/isce96.htm (**)
• Recent advances in video compression http://www.stud.ee.ethz.ch/%7Erggrandi/intro.html
• Anmerkung:– Dieses Material v.a. nach (*) zusammengestellt.
27.5.1999
138
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 31.2 Kompression - MPEG-2 3
• Entwicklungstufen des Standards ISO 13818 (MPEG-2):– Working Draft 1 November 1992
– Comittee Draft November 1993
– Draft International Standard März 1994
– International Standard November 1994
– "Generische Kodierung von Bewegtbildern und synchronisiertem Audio" (übersetzt)
27.5.1999
139
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 41.2 Kompression - MPEG-2 4
• Ziele: – MPEG 1:
• Kodierung von Video auf CD-ROMs
• Anwendungen bei: Video-CDs (CD-V/heute: DVD), CD-Interactive (CD-I), Spieleconsolen
27.5.1999
140
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 51.2 Kompression - MPEG-2 5
• Ziele (Fortsetzung):– Ziele für MPEG 2:
• Für Einsatz im Fernsehfunk (broadcasting):
• Einsatzgebiete: – Video-On-Demand im Consumerbereich (Home Cinema)
– hochqualitative und verlustfreie Übertragung von Video im Studiobereich
» Verringerung der Kosten bei Satellitenübertragungen
» Nicht: Videokonferenzen (dazu: --> H.261)
» (würde: --> synchrones Kodierungsverhältnis, geringe Kodierverzögerung)
– in MPEG-2: – Verzögerung zwischen analogem Eingangsstrom und
digitalem Videodatenstrom: 1/2 bis 3 Sekunden.
27.5.1999
141
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 61.2 Kompression - MPEG-2 6
• Systemansatz:– Kombination eines oder mehrerer elementarer Video- und
Audioströme mit weiteren Daten in • einen oder mehrfachen Strom zur
– Speicherung
– Übertragung
– Spezifiziert in • Program- und
• Transportstrom
– (Vgl. Bild nächste Seite)
27.5.1999
142
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 71.2 Kompression - MPEG-2 7
• Systemansatz (Fortsetzung):
27.5.1999
143
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 81.2 Kompression - MPEG-2 8
• Verwendete Mechanismen (für Videos): – bei MPEG-1 und MPEG-2 ähnlich:
• Einzelbilder kodieren – mit temporären Abhängigkeiten (IPB-frames) und
– zeitlichen Verschiebungen von Bildinhalten (motion vectors).
• Mathematische Verfahren zur Datenreduktion: – Diskrete-Cosinus-Transform-Kodierung,
– Huffman- und Lauflängenkodierung.
– Ungleicher Kodier-/Dekodier-Aufwand: Studio-/Home-Hardware
27.5.1999
144
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 91.2 Kompression - MPEG-2 9
• MPEG-2 ermöglicht:– Skalierbarkeit:
• schnellere Dekodierhardware ---> erhöhte Bildqualität
• räumlich: für 16:9 HDTV-Bild Abwärtskompatibilität zu herkömmlichem 4:3.
• Bitrate bis 10 Mbit/s.
– erhebliche Flexibilität des Videoteils:• verschiedene Bildformate
• wahlfreie Bildqualität
• variable Bitraten
27.5.1999
145
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 101.2 Kompression - MPEG-2 10
• MPEG-2 ermöglicht: (Fortsetzung 1)– erhebliche Flexibilität des Videoteils (Fortsetzung)
• channel hopping: wahlfreier Zugriff auf verschiedene Videokanäle
• nachträgliche und einfache Editierung des kodierten Bitstroms
• trick modes (z.B. für effektreiche Überblendungen)
• Wiederholung des Kodier- /Dekodiervorgangs darf nicht zu weiteren Qualitätsverlusten führen.
27.5.1999
146
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 111.2 Kompression - MPEG-2 11
• MPEG-2 ermöglicht: (Fortsetzung 2) – Audioteil
der Kodierung muß mehrere Kanäle (--> Multilingualität) und niedrigere Sampling-Frequenzen unterstützen.
– Rückwärtskompatibilität zu MPEG-1 und H.261u.a.: MPEG-2 Kodierer realisieren Sub-Kodierer, die exakt
rückwärtskompatible Datenströme erzeugen.
z.B.: MP@ML: Video Main Profile + Video Main Level ist MPEG-1 ähnlich.
27.5.1999
147
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 121.2 Kompression - MPEG-2 12
• Kodierungs"methoden": - Profiles und Levels - Scalability - Security
– Profiles (complexity of compression) und
Levels (sample rate, framedimension, coded bitrates)• schränken die zur Verfügung stehenden Parameter der
Kodierung ein, um dieseEinschränkungen dann in den Kompressionsalgorithmen ausnutzen zu können.
• Standardisieren Kodierungsparameter.
27.5.1999
148
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 131.2 Kompression - MPEG-2 13
• Kodierungs"methoden":(Fortsetzung 1)– Profile und Level in MPEG-2:
27.5.1999
149
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 14 1.2 Kompression - MPEG-2 14
• Kodierungs"methoden":(Fortsetzung 2)– Sampling Größen und Bitraten:
27.5.1999
150
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 15 1.2 Kompression - MPEG-2 15
• Scalability:• ist die Möglichkeit des Dekoders, Teile eines Datenstroms
zu ignorieren und doch sinnvolle und angepaßte Video- und Audioausgaben zu erzeugen. --> MPEG-2 weitgehend speicher- und übertragunsmedienunabhängig.
27.5.1999
151
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 16 1.2 Kompression - MPEG-2 16
• Kodierungs"methoden":(Fortsetzung 3)– Zeitliche Scalability
• Bildrate kann erhöht werden, indem in den normalen Ablauf des "Base Layers“ zusätzliche B-frames des "Enhancement Layers" dekodiert werden.
27.5.1999
152
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 17 1.2 Kompression - MPEG-2 17
• Kodierungs"methoden":(Fortsetzung 4) – Qualitative Scalability
• anstelle der ungenaueren B-frames des "Base Layers"werden P-frames des "Enhancement Layers" dekodiert und angezeigt.
27.5.1999
153
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 18 1.2 Kompression - MPEG-2 18
• Kodierungs"methoden":(Fortsetzung 5)– Pan-Scan-Scalability: ermöglicht die Definition von
Ausschnitten im aktuellen Bild. Diese Ausschnitte können zwar von Bild zu Bild unterschiedlich eingeteilt werden, die Hauptanwendung ist jedoch die Definition eines 4:3 Fernsehbildes innerhalb eines 16:9
HDTV-Bildes.
27.5.1999
154
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 191.2 Kompression - MPEG-2 19
• Kombinationsmöglichkeiten:
27.5.1999
155
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 201.2 Kompression - MPEG-2 20
• Weitere Möglichkeiten von MPEG-2:– Sicherheit (Vertraulichkeit + Integrität) wird unterstützt
(nicht ausgeführt.)
– Makroblock-Scalability:einzelne Macroblöcke können mehrfach, in verschiedenen
Qualitätsstufen kodiert werden.
– Block-based Motion Compression Prediction (MCP):• das Erkennen von relativen Bewegungen einzelner Blöcke
im Vergleich von Bild zu Bild wird im MPEG-2 Format viel einfacher realisiert.
– Frame Motion Prediction:• Das Auffinden von ganzen, gleichen Frames innerhalb des
Datenstroms (Frame Motion Prediction) und
27.5.1999
156
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 211.2 Kompression - MPEG-2 21
• Weitere Möglichkeiten von MPEG-2:(Fortsetzung 1)– Field Motion Prediction:
• das Auffinden von gleichen, wie auch immer geformten Teilen in verschiedenen Bildern und auch innerhalb des aktuellen Bildes wird ermöglicht. ---> vgl. JPEG
– variabler Farbraum• für den Studiobereich notwendig, ein Farbverlust ist
während der Produktionsphase von Filmen nicht akzeptabel
• in MPEG-1 wird immer im Verhältnis 4:1:1 kodiert.
27.5.1999
157
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-2 221.2 Kompression - MPEG-2 22
• Weitere Möglichkeiten von MPEG-2:(Fortsetzung 2)– Zu Audio: (kurz)
• für Kodierung von Audiosignalen hoher Qualität (CD,Studio).
• auch für digitale Quellen ausgelegt, z.B. ISDN.
• unterstützt HDTV, Dolby Sorround (bis zu 5 Kanäle)
– MPEG-2 ist auf Verwendung von Hardware zugeschnitten--> SetTop Boxen
27.5.1999
158
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-4 11.2 Kompression - MPEG-4 1
• Wo bleibt MPEG 3 ?– Sollte v.a. HDTV bis zu 1920x1080 Pixel bis zu 30 Hz
mit kodierten Bitraten zwischen 20 und 40 Mbit/sec bearbeiten. Wurde jedoch allein durch MPEG 1+2 beschreibbar. HDTV ist nun Bestandteil von MPEG-2 High Level-1440. MPEG 3 ist damit gecancelt.
– Anmerkung: • Vorsicht. MPEG 3 nicht gleich
• MP3 : = MPEG 1 Layer 3 (aktuelles Audioformat !!!!)
27.5.1999
159
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-4 21.2 Kompression - MPEG-4 2
• (Nur) Einstieg in MPEG-4:– zitiert v.a. nach: Overview of the MPEG-4 Standard
• ISO/IEC JTC1/SC29/WG11 N2725 March 1999/Seoul, South Korea
• www.drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm (Stand 5.5.99)
• Inhaltsverzeichnis– Executive Overview
– Scope and features of the MPEG-4 standard
– Detailed technical description of the MPEG-4
– List of major functionalities provided by MPEG-4 in Vers. 1
– Verification Test: checking MPEG’s Performance standard
– Profiles in MPEG-4 Version 1 - Version 2 of MPEG-4
– Annexes
27.5.1999
160
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-4 31.2 Kompression - MPEG-4 3
• Executive Overview– MPEG-4 (offiziell: ISO/IEC 14496) is an ISO/IEC
standard von MPEG entwickelt
– MPEG-4 • begonnen Juli 1993
• Draft Intnl Standard level Oktober 1998.
• Offizieller Standard: 1999
• Aktuell wird gearbeitet an MPEG-4 Version 2 (abwärtskompatibel zu MPEG-4 Version 1)
27.5.1999
161
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-4 41.2 Kompression - MPEG-4 4
• Executive Overview (Fortsetzung 1)– MPEG-4 stützt sich auf die nachgewiesenermaßer
erfolgreichen Gebiete: • Digital television
• Interactive graphics applications (synthetic content)
• Interactive multimedia (World Wide Web, distribution of and access to content)
– MPEG-4 liefert standardisierte technologische Elemente für die Integration von
• Produktion
• Verteilung und
• Zugriff auf den Inhalt
aller drei Bereiche von oben. Also: nicht (nur) Kompression !!
27.5.1999
162
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-4 51.2 Kompression - MPEG-4 5
• Executive Overview (Fortsetzung 2)
The MPEG-4
standard: a set of
technologies
to support AVOs
"audio-visual
objects"
27.5.1999
163
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-4 61.2 Kompression - MPEG-4 6
• Executive Overview (Fortsetzung 3)
Satz von Technologien:– 1. Kodierte Repräsentation von Objekten mit sprachlichem oder
visuellem oder audiovisuellem Inhalt (AVOs)
– 2. Art, wie individuelle AVOs in einer Szene zusammengesetzt werden;
– 3.Art, wie AVOs gemultiplexed und synchronisiert werden, so daß sie über Netzwerke transportiert werden können bei Einhaltung benötigter Qualität.
– 4. Generisches (?) Interface zwischen Anwendung und Transportmechanismus
– 5. Art für die Benutzerinteraktion mit der Szene
– 6. Projektion der AV Szene gemäß Benutzersicht/Hörpunkt.
27.5.1999
164
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-4 71.2 Kompression - MPEG-4 7
27.5.1999
165
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.2 Kompression - MPEG-4 81.2 Kompression - MPEG-4 8
• MPEG 4: zielt auf sehr niedrige Bitraten 4800 - 64000 bits/sec. Bis 176x144 und 10 Hz: Für Videophone und analoges Telephon.
• Aktuelle Infos zu MPEG-4:– Overview of the MPEG-4 Standard
• drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm
(Stand 5.5.99)
– MPEG Informations, Questions and Answers• http://www.crs4.it/HTML/LUIGI/MPEG/mpegfaq.html
(Stand 5.5.1999)
27.5.1999
166
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1. Grundlagen
1.1 Videotechnik
1.2 Kompression
1.3 DV Formate + deren Eigenschaften
1.4 Quicktime
27.5.1999
167
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Literatur1.3 DV Formate - Literatur
• Bajohr, M.: DV FormateVortrag und Ausarbeitung im Seminar „Digitales Video“
Veranstalter Dittrich, FBI UniDo, SS 99• Roger Jennings: “Video, Audio, and Data Recording
Formats”http://www.adaptec.com/technology/standards/
1394formats1.html [Stand: 09.02.1999]• Wilt, A. J. : “The DV, DVCAM, & DVCPRO
Formats” + weitere Beiträge zu “Video and Data Recording Formats”U.a. http://www.adamwilt.com/DV.html [Stand: 04.02.1999]
27.5.1999
168
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Gliederung1.3 DV Formate - Gliederung
• Formate für Video im Consumerbereich
• DV - Format
– Vorbemerkungen - Eingangsbilddarstellung
– Allgem. DV Format - Digital Interface (DIF) Format
• DV - Format : Technische Aspekte
– DV Kassetten und Aufzeichnungsformat
– 1394/FireWire - LSI Impl. eines DV Systems
• Sichtbare Phänomene
• DV Formate konkret
27.5.1999
169
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - ... für Video im Consumerbereich
• Analog:– VHS/VHS-C
• VHS weitest verbreitet
• VHS-C durch Adapterkassette in norm. VCRs abspielbar.
– S-VHS• Bessere Qualität; Y/C Kodierung
– Video 8• Erheblich kleinere Kassetten
– Hi 8• Bessere Qualität im Vergleich zu Video 8; Y/C Kodierung
• Digital: – DVC/MiniDV
27.5.1999
170
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Vorbemerkungen 11.3 DV Formate - Vorbemerkungen 1
• DV: Standard für digitales, komprimiertes Video und Audio
• von 10 Firmen gegründet:– Sony Corp– Panasonic– Victor Corporation of Japan (JVC)– Philips Electronics, N.V. – Sanyo Electric Co. Ltd– Hitachi, Ltd.– Sharp Corporation – Thompson Multimedia– Mitsubishi Electric Corporation– Toshiba Corporation
27.5.1999
171
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Vorbemerkungen 21.3 DV Formate - Vorbemerkungen 2
• DV definiert ein eigenes Kassettenformat• MiniDV und DVC• Video wird in einer Rate von 4:1:1 (NTSC) oder
4:2:0 (PAL) gesampled• max. Auflösung: 720 x 480 Pixel• Datenrate bei ca. 3.6 Mbyte/sec• Kompressionsverhältnis: 5.0 - 7.0 : 1
(in der Regel 5.0:1)• Digitale Datenübertragung via FireWire• Vervielfältigung ohne Verluste
27.5.1999
172
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate -1.3 DV Formate - Eingangsbilddarstellung 1
• Verschiedene Notationen: SQCIF, CIF und SDTV, nach ITU-R BT.601; hier SDTV verwendet.
• YUV-Darstellung:
Helligkeitswerte Y
Farbdifferenz Rot Cr
Farbdifferenz Blau Cb• DV ist eine 4:1:1 YUV Bildfolge (NTSC)• bei einer 4:1:1 Norm ergibt sich:
Ersparnis von 12 (von ursprüngl. 24) Bit pro Pixel!• --> PIX Formate
27.5.1999
173
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate -1.3 DV Formate - Eingangsbilddarstellung 2
• Speicherplatzverbrauch pro Pixel
wobei Farbtiefe: Anzahl Bits für die Helligkeit (nach ITU-R BT.601: 8 Bit)
Beispiel:Ein „volles“ RGB Bild mit 720 x 480 Pixel
Hinweis: RGB Bilder sind 4:4:4 (=24 Bit pro Pixel) gecoded
bitsPixel
=Farbtiefe* (1+Wert2Wert1
+Wert3Wert1
)
8 bit* (1+44
+44)* 720* 480 Pixel=1.036.800 byte≈1 MByte
27.5.1999
174
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate -1.3 DV Formate - Eingangsbilddarstellung 3
• 4:2:2 Format– Farbe wird in der halben Rate des
Helligkeitssignals gesampled– Bei 720 Pixeln pro Zeile ergeben sich 360
Farbabtastungen pro Farbdifferenz
27.5.1999
175
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate -1.3 DV Formate - Eingangsbilddarstellung 4
• 4:1:1 Format– Farbe wird in der viertel Rate des
Helligkeitssignals gesampled– Bei 720 Pixeln pro Zeile ergeben sich 180
Farbabtastungen pro Farbdifferenz
27.5.1999
176
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate -1.3 DV Formate - Eingangsbilddarstellung 5
• 4:2:0 Format 1– Wird eine Farbe gar nicht berücksichtigt?
NEIN! – Farbe in der halben Rate des Helligkeitssignals in
horizontaler und vertikaler Richtung abgetastet
27.5.1999
177
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate -1.3 DV Formate - Eingangsbilddarstellung 6
• 4:2:0 Format 22 Definitionen:– jeweils 360 Farbinformationen für Rot und Blau
pro ungerader Zeile– jeweils 360 Farbwerte für Rot in den ungeraden
Zeilen und 360 Farbwerte für Blau in den Geraden (co-sited)
27.5.1999
178
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate -1.3 DV Formate - Eingangsbilddarstellung 7
• PIX Formate im Vergleich:
Es ergibt sich ein immer noch zu hoher Datenstrom!
– ca. 240 Mbit/s (unkomprimiert, RGB)
– ca. 170 Mbit/s (4:2:2)
– ca. 120 Mbit/s (4:1:1, 4:2:0)
(alle Berechnungen gelten für 720 x 480 Pixel bei 30 frames/sec)
Format 4:2:2 4:1:1 4:2:0
System D-1, D-5, DigiBeta,BetaSX, Digital-S,DVCPRO50
NTSC DV,DVCAM, DVCPRO
PAL DV, DVCAM,DVD, main-profileMPEG-2
Speicherplatz für einBild mit 720 x 480 Pixel
731 kByte 506 kByte 506 kByte
Kompressionsverhältnis ca. 30 % 50 % 50 %
27.5.1999
179
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Allgem. Format: Aufbau 11.3 DV Formate - Allgem. Format: Aufbau 1
• Ein komprimiertes Bild besteht aus 10 tracks
• Bildauflösung: 720 x 485 Pixel!
• 1 Track umfaßt 138 Datablocks (nur Video)
• 1 Datablock enthält 76 Bytes Nutzdaten und 1 Byte Header
• inklusiv Fehlerkorrektur und Synchronisationsdaten ergeben sich 90 Bytes pro Datablock
• die Synchronisations- und die Fehlerkorrektur-daten werden nicht mitübertragen!
27.5.1999
180
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate 1.3 DV Formate - Allgem. - Allgem. Format: Format: Aufbau 2Aufbau 2
• Video, Audio und Subcode Aufnahme Format
27.5.1999
181
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Allgem. Format: 1.3 DV Formate - Allgem. Format: Datenraten 1Datenraten 1
• Videodatenrate:
Es werden statt 30 frames/sec immer nur 29,97 frames/secberücksichtigt, da bei 1000 frames ein Bild nicht verwendet wird
Mbpsframes
byte
bitsbytesblocks
frame
tracks146,25
sec97,29*8*76*138*10 =
sec97,29
sec30*
1000
999 framesframes
frames
frames=
27.5.1999
182
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Allgem. Format: 1.3 DV Formate - Allgem. Format: Datenraten 2Datenraten 2
• Videodatenrate ITU-R BT.601 (4:1:1):
Kompressionsverhältnis:
Kompressionsverhältnis zu 4:2:2 Format:
8bits*(1+14
+14
)* 720* 485Pixel*29,97frames
sec=125,59Mbps
167,525,146
≈6,6:1
125,5925,146
≈5:1
27.5.1999
183
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Allgem. Format: 1.3 DV Formate - Allgem. Format: Datenraten 3Datenraten 3
• Audioinformationen werden in 9 blocks zu 76 bytes gespeichert
• max. Audiodatenrate:
entspricht 4 Spuren in 32 kHz zu 12-bit:
oder 2 Spuren in 48 kHz zu 16-bit:
Mbpsframes
byte
bits
block
bytes
track
blocks
frame
tracks64,1
sec97,29*8*76*9*10 =
MbpsbitsMHzchannels 536,112*1000
32*4 =
MbpsbitsMHzchannels 536,116*1000
48*2 =
27.5.1999
184
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Allgem. Format: 1.3 DV Formate - Allgem. Format: Datenraten 4Datenraten 4
• Gesamtdatenrate (Audio & Video), inklusiv Parity, aber ohne ITI sector
• Overhead:
• 25 % der aufgezeichneten Daten für subcode data, error detection und error correction!
Mbpsframes
byte
bitsblocks
block
bytesblocks
block
bytes
frame
tracks5,35
sec97,29*8*))12*12()163*90((*10 =+
%25100*5,35
7,8
7,864,115,255,35
=
=−− MbpsMbpsMbpsMbps
27.5.1999
185
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Allgem. Format:Allgem. Format: FehlerbehandlgFehlerbehandlg
• DV nutzt den Reed-Solomon (RS) error detection / correction Code
• Daten eines droupouts (burst errors) nur selten rekonstruierbar
• große Menge an Arbeitsspeicher (RAM) erforderlich
• Error concealment arbeitet mit einer Schätzung der verlorenen Daten
• Zur Datenübertragung wird nur ein error detection Code verwandt
27.5.1999
186
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Allgem. Format:Allgem. Format: Fehlererkennung mit KreuzparitätFehlererkennung mit Kreuzparität
• Video und Audio Daten mit einer Kreuzparität versehen
• nur „1 Bit Fehler“ korrigierbar
• gerade Parität
Darstellung einer Error Detection mit Parity bits
27.5.1999
187
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 11.3 DV Formate - DIF (Format) 1
• Aufbau 1– Data in Frame: DIF
– Format zur Datenübertragung via FireWire
– arbeitet nur mit error detection
=> einfachere Implementierung, geringerer Overhead
– DIF Format lehnt sich an das allg. DV Format an
– Bildauflösung: 720 x 480 Pixel
– die Synchronisations- und die Fehlerkorrekturdaten werden nicht mitübertragen!
27.5.1999
188
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 21.3 DV Formate - DIF (Format) 2
• Aufbau 2– Ein NTSC Bild mit 720 x 480 Pixel wird in 10 gleichgroße
DIF Sequenzen zu je 12000 Bytes gepackt– Eine DIF Sequenz beinhaltet 5 Superblocks für die
Videodaten– DIF Sequenzen bestehen aus 150 DIF Blocks zu je 80
Bytes (=20 Quadlets) Inhalt
Eine DIF Sequenz besteht aus:– 135 DIF blocks für Video Daten– 9 DIF blocks für Audio Daten – 6 DIF blocks für Header, Subcode und Video Auxiliary
(VAUX)
27.5.1999
189
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 31.3 DV Formate - DIF (Format) 3
• DIF Sequenzen im Detail 1
Anordnung von DIF Sequenzen
27.5.1999
190
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 41.3 DV Formate - DIF (Format) 4
• DIF Sequenzen im Detail 2– Resultierende Datenrate:
– Übertragung der DIF Blocks:
• 9 Audio DIF Blocks werden interleaved mit 135 Video DIF Blocks in eine 9 x 14 Matrix gemischt
• Zu Beginn wird ein 6 Block langer Header mit Subcode und VAUX übertragen
• Wiedergabe erfolgt in der gleichen Reihenfolge wie die Aufnahme
10Sequenzen
Bild*150
blocksSequenz
* 80bytesblock
*8bitsbyte
* 29,97BilderSekunde
=28,77Mbps≈3,6MbyteSekunde
27.5.1999
191
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 51.3 DV Formate - DIF (Format) 5
• DIF Sequenzen im Detail 3
• Übertragungssequenz von Data, Video und
Audio DIF Blocks
27.5.1999
192
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 61.3 DV Formate - DIF (Format) 6
• Superblocks & Makroblocks 1– DV frames bestehen aus 270 Videosegmenten => pro DIF
Sequenz ergeben sich 27 Videosegmente– jedes Videosegment beinhaltet 5 komprimierte
Makroblocks zu je 80 Bytes– ein Makroblock entspricht physikalisch einem DIF Block – jeder Makroblock stellt eine 32 x 8 Pixel Region innerhalb
eines Bildes dar => 1350 Makroblocks pro Bild– ein Superblock enthält 27 Makroblocks => pro DIF
Sequenz gibt es 5 Superblocks (5 * 27 = 135 DIF Blocks)– jeweils 5 Superblocks pro Spalte ergeben eine DIF
Sequenz
27.5.1999
193
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 71.3 DV Formate - DIF (Format) 7
• Superblocks & Makroblocks 2
Struktur eines Videosegments
27.5.1999
194
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 81.3 DV Formate - DIF (Format) 8
• Superblocks & Makroblocks 3
Aufbau eines Makroblocks3 bytes für die DIF block ID information
14 bytes jeweils für die Helligkeitsinformationen Y0, Y1, Y2, Y3 (=56 bytes)
10 bytes jweils für die Farbinformation Cr und Cb (= 20 bytes)1 byte als quantization number (QNO) und block status (STA)
27.5.1999
195
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 91.3 DV Formate - DIF (Format) 9
• Superblocks & Makroblocks 4
Anordnung der Makroblocks– Pro Superblock (Spalten) gibt es 27 Makroblocks– Die letzten Makroblocks (24, 25, 26) ergeben jeweils eine 16 x 8 Pixel
Region pro Zeile => 720 Pixel / 32 Pixel = 22,5– Makroblocks werden nicht zeilenweise angeordnet => error
concealment
27.5.1999
196
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 101.3 DV Formate - DIF (Format) 10
• Superblocks & Makroblocks 5
Superblocks innerhalb eines NTSC frames
27.5.1999
197
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 111.3 DV Formate - DIF (Format) 11
• Superblocks ...
Anordnung der Makro-blocks innerhalb eines NTSC DV frame
27.5.1999
198
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 121.3 DV Formate - DIF (Format) 12
• Dekodierung eines Videosegments 1– Dekodierung der AC Koeffizienten erfolgt mit einem 3
schrittigen variable length decoding Algorithmus:Schritt 1:
dekodiere VLC AC Koeffizienten für Y0, Y1, Y2, Y3, Cr und Cb innerhalb eines Makroblocks
Schritt 2:dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Makroblocks
Schritt 3:dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Video Segments
27.5.1999
199
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - DIF (Format) 131.3 DV Formate - DIF (Format) 13
• Dekodierung eines Videosegments 2Dekomprimierung und IDCT:– Inverse quantization– “Zigzag” Koeffizienten Sortierung– Inverse Gewichtung– Inverse diskrete Cosinus Transformation (DCT) nach 8-8 oder 2-4-8
(2-4-8 wird benötigt, wenn sich viele Details im Bild befinden.)– Speichere die Pixeldaten in der richtigen Reihenfolge innerhalb des
Video framesRandbedingungen:– Alle 3 Video Segmente muß der Audio DIF Block übersprungen
werden– Nach jeweils 27 Video Segmenten muß der Header, Subcode und
VAUX übersprungen werden. Dieses sind 6 DIF blocks.– Decodiere die 27 Video Segmente– Dieses wird nun 10 Mal pro Bild durchgeführt. Als Ergebnis erhält
man ein YUV kodiertes 4:1:1 Bild mit einer Auflösung von 720 x 480 Bildpunkten
27.5.1999
200
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Techn. Aspekte:Techn. Aspekte: Kassetten 1 Kassetten 1
• Grundlagen– 2 verschiedene Formate: DVC und MiniDV– Band hat eine Breite von 6,35 mm (1/4 inch)– wird mit 18,81 mm/sec im Normal Modus fortbewegt– MiniDV ist mit einem Kassettenadapter zur Standard DV
Kassette kompatibel– interner Festwertspeicher, MIC (Memory in Cassette),
max. 16 MB, aber nicht erforderlich!– MIC Daten werden über FireWire mitübertragen– geringere Probleme gegen Dropouts, als bei Hi8 Bändern– Bandmaterial besteht aus 5 Schichten
27.5.1999
201
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Techn. Aspekte:Techn. Aspekte: Kassetten 2 Kassetten 2
• Geometrische Eigenschaften
Standard DV MiniDV
Geom. Abmessungen 125 mm x 78 mm x 14,6 mm 56 mm x 49 mm x 12,2 mm
Bandlänge 250 m 65 m
Kapazität 4,5 h = 58,5 GByte 1 h = 13 GByte
27.5.1999
202
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Techn. Aspekte:Techn. Aspekte: Kassetten 3 Kassetten 3
• Anordnung der Spuren 1– min. 2 Köpfe auf einer rotierenden Kopftrommel– Rotationsgeschwindigkeit: 9000 rpm– azimuth recording Verfahren (+/- 10 Grad)– Spurlage um 9 Grad geneigt– Spurlänge: 35 mm, davon genutzt 33 mm– Spurbreite: 10 microns (Millionstel eines Meters)
(Hi8 benötigt 20,5 microns, VHS sogar 58 microns)– keine Kontrollspur zur Bandgeschwindigkeitsanpassung
=> DV mischt Pilottöne in den Datenstrom– 2 horizontale Spuren, die herstellerabhängig genutzt
werden
27.5.1999
203
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Techn. Aspekte:Techn. Aspekte: Kassetten 4 Kassetten 4
• Anordnung der Spuren 2
Spuranordnung auf dem DV Band
27.5.1999
204
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Techn. Aspekte:Techn. Aspekte: Kassetten 5 Kassetten 5
• Anordnung der Spuren 3
Aufnahme eines
Bildes nach NTSC
Norm
Anzahl an Tracks kann von DV geändert werden:=> NTSC 525/60 nutzt 10 Tracks pro Bild=> PAL 625/50 benötigt 12 Tracks pro Bild
27.5.1999
205
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Techn. Aspekte:Techn. Aspekte: Kassetten 6 Kassetten 6
• Verwendung der Spuren– Insert and Track Information (ITI) Sektor:
• Track status• Kontrollspur während des Insert Schnittes => Pilottonspur
– Audio Sektor: • Audio und Audio Auxiliary (AAUX) Daten• 4 x 32 kHz, 12 Bit oder 2 x 48 kHz [44.1 kHz, 32 kHz], 16 Bit
– Video Sektor: • Video und Auxiliary Video (VAUX) Daten• Video Bilder mit DCT und Huffmann Kodierung auf 5:1
komprimiert• VAUX Daten enthalten Datum und Uhrzeit, Zoom und Linsen-
einstellung, shutter speed, Farbbalance, sonstige Kamera Einstellungen
– Subcode Sektor:• Timecode in kleinen Blöcken, packs, gespeichert• sonstige Informationen
27.5.1999
206
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate 1.3 DV Formate -Techn. Aspekte:-Techn. Aspekte: 1394/FireWire 1 1394/FireWire 1
• Grundlagen– digitale Kommunikation zwischen max. 63 DV Geräten– Hochgeschwindigkeits serieller Bus (bidirektional)– dient der „reinen“ Kommunikation ähnlich TCP/IP, keine
Angaben zur Kodierung/Dekodierung
Vorteile– digitale Kopien zwischen 2 Camcordern oder VTRs mit 1394 I/O
Interface ohne Qualitätsverlust – linear editing ohne Qualitätsverlust möglich, keine Artefakte– Digitale Daten können von einem VTR oder einem Camcorder
mit 1394 I/O Interface direkt in einen Computer übertragen werden. Es ist keine Digitalisierung erforderlich!
– Günstiger Preis. Diese Schnittstelle wird in bereits vielen low-end DV-Kameras eingebaut und kostet wesentlich weniger als die professionelle Lösung, SMPTE 259M SDI (serial digital interface)
27.5.1999
207
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate 1.3 DV Formate -Techn. Aspekte:-Techn. Aspekte: 1394/FireWire 2 1394/FireWire 2
• IEEE-1394 Steckernorm
– 2 geschirmte verdrillte Adernpaare (RX und TX)– Stromversorgung (8 - 40 V, 1.5 A)– „Gameboy“ Stecker– Datenraten: 98.304, 196.608, 393.216 Mbps!
27.5.1999
208
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate 1.3 DV Formate -Techn. Aspekte:-Techn. Aspekte: 1394/FireWire 3 1394/FireWire 3
• DVC 1394 Paket
27.5.1999
209
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Sichtbare Phänomene 1Sichtbare Phänomene 1
• PIX Sampling in der Praxis 1
4:1:1 codiertes Bild
27.5.1999
210
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Sichtbare Phänomene 2Sichtbare Phänomene 2
• Aufnahme mit VX1000
• 525/29.97 NTSC Mode
• 2 Pixel gleiche Farbe, da co-sited 4:1:1 Format
4:1:1 codiertes Bild (Detail)
27.5.1999
211
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Sichtbare Phänomene 3Sichtbare Phänomene 3
• Aufnahme mit VX1000
• 625/50 PAL Mode
4:2:0 codiertes Bild (Detail)
27.5.1999
212
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 1 PIX Artefakte 1
• AllgemeinDurch die Farbreduktion ergeben sich 3 Probleme:
• Mosquito Noise• Quilting• Motion Blocking
– diese Effekte sind in der Regel kaum sichtbar– nur von Bedeutung beim Videoschnitt (Vergrößerung,
Zeitlupe, Gamma Korrektur, ...)
27.5.1999
213
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 2 PIX Artefakte 2
• Mosquito Noise 1– Entstehung durch hochfrequente Bildanteile
– Erkennbar durch Pixelrauschen an scharfen Kanten
– nur innerhalb einer 8 x 8 Pixel Region
– tritt in allen DCT orientierten Kompressionsverfahren auf, wie JPEG, DV oder MJPEG
– Minderung dieser Artefakte durch Tiefpaß Filter => Weichzeichnen, Reduktion der Schärfe
27.5.1999
214
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 3 PIX Artefakte 3
• Mosquito Noise 2
Testbild, erzeugt mit Adobe Premiere 4.2
27.5.1999
215
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 4 PIX Artefakte 4
• Mosquito Noise 3
Testbild, erzeugt mit Adobe Premiere 4.2 (Detail)
27.5.1999
216
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 5 PIX Artefakte 5
• Quilting 1– Entstehung durch Diskontinuität benachbarter DCT (8 x 8)
Blöcke
– Sichtbar an leicht diagonalen Linien
– Effekt tritt vor allen bei langsamen Kamera-schwenks auf
– Minderung durch Kontrastveringerung
27.5.1999
217
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 6 PIX Artefakte 6
• Quilting 2
4:1:1 codiertes Bild
27.5.1999
218
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 7 PIX Artefakte 7
• Quilting 3
Detailaufnahme (72 x 48 Pixel, 8 x 8 DCT Pfeile)
27.5.1999
219
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 8 PIX Artefakte 8
• Motion Blocking 1– Entstehung durch getrennte Codierung der beiden
Halbbilder => Codecs
– tritt hauptsächlich bei PAL codierten Videos auf
– Sichtbar bei schnell bewegten Objekten
– Bild verliert in den „ruhigen“ Flächen an Schärfe
– Minderung durch höhere Verschlußzeiten der Blende => High Speed Shutter
27.5.1999
220
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 9 PIX Artefakte 9
• Motion Blocking 2
Aufnahme mit einer PAL DVCAM
27.5.1999
221
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Phänomene: DV Aussetzer 1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 1& Fehler 1
• Ursachen– Fehler werden hauptsächlich durch das Bandmaterial
verursacht– Fehler kann nicht beseitigt werden, da nur error detection=> fehlerhafte Stelle wird ausgelassen = Dropout
FehlerartenDropout
• 32 x 8 Pixel Region defekt• verdrecktes oder verknittertes Band
Bandeffekt• vorheriges Bild bleibt im Puffer stehen und wird angezeigt• verschmutzte oder defekte Videoköpfe (1 Kopf liest falsche
Daten)
27.5.1999
222
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Phänomene: DV Aussetzer 1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 2& Fehler 2
• Dropout 1
Dropout, aufgenommen mit einer VX1000 auf Sony MiniDV, 32 x 8 Pixel
27.5.1999
223
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Phänomene: DV Aussetzer 1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 3& Fehler 3
• Dropout 2
Dropout, aufgenommen mit einer VX1000 auf Panasonic MiniDV, (32 x 20) - (16 x 4) Pixel
27.5.1999
224
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Phänomene: DV Aussetzer 1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 4& Fehler 4
• Dropout 3
Multiple Dropout, bei einem Videokopf
27.5.1999
225
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate - Phänomene: DV Aussetzer 1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 5& Fehler 5
• Bandeffekt
Bandeffekt, NTSC 525/60 Bild mit 10 Streifen
27.5.1999
226
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 11.3 DV Formate konkret 1
• Klassifizierung
System Zielgruppe
DV (56 Firmen) Consumer, Amateur
DVCam(Sony) Industriefilm,teilweise Broadcast
DVCPro (Panasonic) Consumer, Broadcast
Betacam SX (Sony) Broadcast
Digital Betacam (Sony) Broadcast
Digital-S (JVC) Broadcast, Studiobereich
27.5.1999
227
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 21.3 DV Formate konkret 2
System
DV DVCam DVCPro Betacam SX Digital Be-tacam
Digital-S
Entwickler
56 Firmen Sony Panasonic Sony Sony JVC
Bandge-schwindig-keit
18,8 mm/s 28,2 mm/s 33,8 mm/s 59,6 mm/s 96,7 mm/s 57,8 mm/s
Spurbreite
10 m 15m 18m 32m 24m 20m
Quantisie-rung 8Bit 8Bit 8Bit 8Bit 10Bit 8Bit
Kompressi-onsfaktor 5:1 5:1 5:1 10:1 2:1 3,3:1
Signalver-arbeitung 4:2:0 4:2:0 4:1:1(4:2:2) 4:2:2 4:2:2 4:2:2
DatenrateVideo/ges. 25/41,85
Mbps
25/41,85Mbit/s
25/41,85Mbit/s
18/40
Mbit/s
84/125,68
Mbit/s
50/99
Mbit/s
27.5.1999
228
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 31.3 DV Formate konkret 3
System
DV DVCam DVCPro Betacam SX Digital Be-tacam
Digital-S
DigitaleSchnittstelle IEEE 1394 QSDI,SDI SDI,CSDI SDDi,SDI SDI SDI
Audio Sam-pling 12/16 Bit 16 Bit 16 Bit 16 Bit 16 Bit 16 Bit
Audio
Quantisie-rung
32/48 KHz 32/48 KHz 48 KHz 48 KHz 48 KHz 48 KHz
Audio K a-näle 4/2 4/2 2 4 4 4
Bandmateri-al Mi-
niDV/DV,ME-Band
MiniDV/DV,ME-Band
Mi-niDV/DV,ME-Band
Betacam Betacam VHS
Spielzeiten/
min 60/270 40/184 63/123 60/240 bis 125 105
27.5.1999
229
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 41.3 DV Formate konkret 4
• DVCPro 4:1:1– Propritäres Format von Panasonic und Television Systems
Co.– Benutzt Metallband mit einer Spurberite von 18 micron
und einer Bandgeschw. Von 33,82 mm/sec– nicht kompatibel zu DV, aber MiniDV Kassetten– Neuere VTRs können beide Formate abspielen– Beide Längsspuren werden für audio cue und control
tracks genutzt– Studioqualität– günstigere Versionen verfügen statt dem SDI über ein
1394/FireWire Anschluß– 4 fache Datenübertragung zwischen VTRs oder
Computern mit FireWire Anschluß– AJ-D200, VTR: AJ-D230
27.5.1999
230
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 51.3 DV Formate konkret 5
• DVCPro 4:2:2 (DVCPro 50)– Weiterentwicklung der DVCPro– 1/4 inch DV Metallbänder mit einer Bandgeschw. von
67,64 mm/sec– 3,3:1 Kompression bei 4:2:2, gleich mit JVCs 1/2 inch
Digital-S– DV ähnliches Format, jedoch Verdoppelung der Tracks
pro Bild (bei NTSC statt 10 jetzt 20, bei PAL 24)– 2 zusätzliche Videoköpfe erforderlich (4 Köpfe)– Datenrate: 50 Mbps– kompatibel zu dem alten DVCPro Format
27.5.1999
231
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 61.3 DV Formate konkret 6
• DVCAM– Entwickelt von Sony für die industrielle Videoproduktion– nutzt DV ME Band und weicht nur mit der Trackbreite
von 15 microns und der Bandgeschw. vom DV Format ab– Bandgeschwindigkeit: 28.22 mm/s– durch die breitere Spur verkürzt sich die Aufnahmezeit
einer 4.5 h Kassette auf 3 h– 2 Mbit MIC zur Speicherung von 198 Szenen– 4 fache Übertragungsgeschw. zwischen VTRs oder
Computern mit FireWire– liest normale DV Bänder, aber keine DVCPRO– DSR-130, DSR-200, VTR: DSR-85– DCR-VX800, DCR-VX1000, DCR-VX9000
27.5.1999
232
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 71.3 DV Formate konkret 7
• Digital-S– Entwickelt von Japan Victor Corp. (JVC)– 1/2 inch VHS Kassetten mit einer Spieldauer von max.
104 min– Kompression: 3.3:1 DCT 4:2:2– 2 Längsspuren für audio cue track und control track– einige Digital-S Recorder können auch SVHS Kassetten
abspielen– Produktionskosten wurden gesenkt, da die Mechanik aus
den VHS Videorekordern übernommen wurde– geringere Dropouts als bei den 1/2 inch Bändern
27.5.1999
233
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 81.3 DV Formate konkret 8
• Betacam SX– Entwickelt von Sony– 1/2 inch digitales Format– Spurbreite: 32 microns– benutzt MPEG-2 Kompression mit 4:2:2– Auflösung: 720 x 512 (nicht 720 x 480!)– max. Datenrate: 50 Mbps– Standard Datenrate bei 18 Mbps für Satelliten Link– Einsatz für Broadcast ENG/SNG
27.5.1999
234
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.3 DV Formate konkret 91.3 DV Formate konkret 9
• Qualität
Bewertung:1 : Normales Video10: Studioqualität(Subjektive Einschätzungvon Adam Wilt et al.)
System
D-5 (10-bit uncompressed digital) 10
D-1 (8-bit uncompressed digital) 9.9
Digital Betacam, Ampex DCT 9.7
Digital-S, DVCPRO50 9.6
DV, DVCAM, DVCPRO 9.2
MII, Betacam SP 9.1
D-3, D-2 (composite digital) 9
1" Type C 8.9
3/4" SP 6.5
3/4", Hi8, SVHS 5
Video 8, Betamax 4
VHS 3
EIAJ Type 1, Fisher-Price Pixelvision 1
27.5.1999
235
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
DV Formate - LSI Implementierung 1DV Formate - LSI Implementierung 1
• Aufbau– LSI Entwurf von Matsushita Electric Ind. der Schaltkreise
für das consumer DV– Einsatz in DVCPRO– Fähigkeit: einen 4:1:1 DV Datenstrom in einen 4:2:2 DV
Datenstrom zu interpolieren– Audio I/O mit I2C Interface von Philips
=> IC erzeugt ein serial D-1 (SMPTE 259M) video und AES/EBU serial audio Signal zur Versorgung der digitalen Komponenten der DVCPRO
– Integration des 1394 Interfaces– Verzögerung von 2 Bildern bei der Aufnahme und
Wiedergabe des Audio/Videostroms
27.5.1999
236
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
DV Formate - LSI Implementierung 2DV Formate - LSI Implementierung 2
• Funktionsweise 1– Application Layer
• shuffle/deshuffle• compression/decompression der DV-Daten
– Tape Format Layer • Erzeugung der Reed-Solomon-Codes• die Modulation/Demodulation für die Aufnahme/
Wiedergabeköpfe– DVC-BUS
• proprietären Bus, der die beiden Einheiten verbindet• mit 8 Datenleitungen und 3 Kontrollsignalen• BDEN (data enable)• BDCK (data clock)• BQUIET (data start)
27.5.1999
237
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
DV Formate - LSI Implementierung 3DV Formate - LSI Implementierung 3
• Funktionsweise 2
LSI Entwurf der DVCPRO
27.5.1999
238
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1. Grundlagen
1.1 Videotechnik
1.2 Kompression
1.3 DV Formate + deren Eigenschaften
1.4 Quicktime
27.5.1999
239
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Gliederung1.4 Quicktime - Gliederung
• Was ist QT?• Literatur• Historie• Bestandteile
– Component Manager
– Image Compression Manager
– Movie Toolbox
• Movie• Frontends
– QT Viewer - QT Player (Pro)
– QTVR Player
27.5.1999
240
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Was ist QT?1.4 Quicktime - Was ist QT?
• Ein Herstellerstandard (Apple).• Architektur/Toolkit für multimediale Daten
– unterstützt:
- Standbilder - Graphik - Video - Sound
- Sprites/ Animation - Text - MIDI - 3D
-Tween - Timecode - VR
– schließt ein:
- Benutzerschnittstellen - Mediendienste (z.B. für Kompr.)
- Datenformate - Abstraktionsschicht
– Hardwareunabhängig - Plattformunabhängig - Erweiterbar
• Apple möchte: „Postscript“ für Digitale Medien
• Alternativen anderer Hersteller : - AVI? - Real networks?• Grundlage für MPEG-4 Standardisierung (?)
27.5.1999
241
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Literatur 1.4 Quicktime - Literatur
• Literatur: (Stand 26.5.99)
– QT Home Page; http://www.apple.com/quicktime/
– QT Spezifikationen
http://www.apple.com/quicktime/specifications.html
– QuickTime4 Fact Sheet
http://www.apple.com/quicktime/pdf/QuickTime4_FS-a.pdf
– QuickTime4Pro Data Sheet http://www.apple.com/quicktime/pdf/QuickTime4Pro_DS-a.pdf
– Die QuickTime Media Layer; Broschüre Apple 1996
– Flechtker, B.: QT 3.0/4.0; Vortrag im Kompress.Sem., (Veranstalter Dittrich), FBI, UniDo, SS ‘99
27.5.1999
242
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Historie 1.4 Quicktime - Historie
• 1991 von Apple vorgestelltJPEG, Cinepak, e-mail mit multimedialen Daten
• 1992 QT 1.5doppelte Geschwindigkeit, Kodak Foto Format
• 1994 QT 2.0Videos erstmals Bildschirm-füllend, Videos in mehreren Sprach-versionen,
MPEG I können ohne spezielle Hardware abgespielt werden
• QT 2.5Midi, searchable Text Tracks
• QT 3.0Sorenson Video Codec, Qdesign Music Compressor,
Qualcomm Pure Voice
• 1999 QT 4.0 (final 8.6..99)
27.5.1999
243
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime -Verfügbarkeit1.4 Quicktime -Verfügbarkeit
• Mac Teil des Betriebssystems
• PC 3.11 95/98 NT4.0
• SGI Irix
27.5.1999
244
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Bestandteile 11.4 Quicktime - Bestandteile 1
• auf Benutzerebene: – QT-Viewer: Standbilder
– QT-Player: Movies, Sounds
– QTVR-Player: Interaktive 3D-Movies
• auf Entwicklerebene:– Bietet:
• „Datenbank“, die Routinen registriert und Applikationen zur Verfügung stellt
• Routinen zum – Anfertigen, Editieren und Abspielen
– Komprimieren und Dekomprimieren
27.5.1999
245
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Bestandteile 21.4 Quicktime - Bestandteile 2
• QuickTime: (als) Systemerweiterung • Bei Installation integriert es sich in das Betriebssystem und
kann von beliebigen Anwendungen ohne extra Aufruf durch den Anwender im Hintergrund benutzt werden.
– Toolbox: liefert „Manager“• Manager sind Routinensammlungen, die vom Programmie-rer
angesprochen werden
• stellen ihre Dienste anderen Managern oder Applikationen zur Verfügung
• erweiterbar durch Hinzufügen von Components
• bieten standardisierte Human Interfaces
• 3 wichtige Manager:
– Component Manager - Image Compression Manager
– Movie Toolbox
27.5.1999
246
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Bestandteile 31.4 Quicktime - Bestandteile 3
• Component Manager– ist für das Verwalten von Geräten und Ressourcen
(Components) zuständig, die jede Anwendung nutzen kann.
• Zudem unterstützt er gleichzeitigen Zugriff mehrerer Programme auf das gleiche Programm oder die Ressource.
• QT 3.0: 175 Components
• QT 4.0: „over 200 media capabilities and components“
27.5.1999
247
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Bestandteile 41.4 Quicktime - Bestandteile 4
• Image Compression Manager (ICM)– ist für das Komprimieren und Dekomprimieren von
Bilddatenmengen zuständig.
– Geräte- und Treiber-unabhängig
– verwaltet verschiedenste Kompressionsmodelle.
(Für künftige Codecs offen!)
27.5.1999
248
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Bestandteile 51.4 Quicktime - Bestandteile 5
– Unterstützte Video Kompressoren (QT 4): – H.261 - H.263 - Animation - Apple BMP
– Apple Video - Cinepak - Component video
– DV NTSC and PAL - Graphics
– Intel Indeo Video 3.2 + 4.4 - Microsoft RLE
– Microsoft Video 1 - Motion JPEG A + B– Photo JPEG - Planar RGB - Sorenson Video 1+2
– Unterstützte Sound Kompressoren (QT 4): – 24-bit integer - 32-bit floating point
– 32-bit integer - 64-bit floating point
– ALaw 2:1 - AU - IMA 4:1 - MACE 3:1
– MACE 6:1 - MS ADPCM
– QDesign Music 1 + 2 - Qualcomm PureVoice
27.5.1999
249
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Bestandteile 61.4 Quicktime - Bestandteile 6
• Movie Toolbox – Routinen für das
• Herstellen,
• Bearbeiten,
• Synchronisieren und
• Abspielen von Daten des
Datentyps „movie“.
27.5.1999
250
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 1
• QT spielt ein movie:
27.5.1999
251
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 2
• Organi-
sation
eines
movies 1
1
2
3 Video
Video
Audio
Poster PreviewT
rack
s
Zeitachse
• Beliebig viele Tracks
• Individueller Offset
• Alternate Group
• Searchable Text Tracks
27.5.1999
252
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 3
• Organi-
sation
eines
movies 2
• Track verweist über Pointer auf das Medium
• Medium enthält Rohmaterial
• Rohmaterial kann sowohl in der Resource Fork als auch in der Data Fork enthalten sein
(nur auf Mac)
2 VideoTrack
Media
27.5.1999
253
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 4
• Datenstruktur eines movies:– Movie ist Baumstruktur, die aus Atomen (atoms)
unterschiedlicher Hierachieebenen besteht
– Atome können andere Atome enthalten
– Jedes Atom enthält Informationen über Typ und Länge
27.5.1999
254
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
• Movie
5Atom eines
movies:
Movie atom
Movie headeratom
Movie clippingatom
User-defined dataatom
Track atom
Clipping regionatom
Movie user data
Track headeratom
Track clippingatom
Clipping regionatom
Track matteatom
Clipping regionatom
Editatom
Edit listatom
Media atom
Media headeratom
Media handlerReference atom
Video media information atom
Data information atom
27.5.1999
255
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 6
• Darstellung eines movies 1
27.5.1999
256
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 7
• Darstellung eines movies 2
27.5.1999
257
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 8
• Darstellung eines movies 3
27.5.1999
258
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 9
• Darstellung eines movies 4
27.5.1999
259
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 10
• Darstellung eines movies 5
27.5.1999
260
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 11
• Von QuickTime in Movies unterstützte Medientypen 1– Video:
• MPEG, M-JPEG (jetzt hinreichend kompatibel zwischen verschiedenen Herstellern) und andere digitale Video-Standards, z. B. Cinepak, ...
• DV (neu in QT 3.0)
– Sprites:• Graphikbausteine für Computerspiele
– Sound:• Musik, Geräusche, Töne - eben digitalisierte Schallwellen;
mLAW-, IMA-Codecs.
27.5.1999
261
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 11
• Von QuickTime in Movies unterstützte Medientypen 2– Music:
• für MIDI-Daten
– Text:• wird meist zum Untertiteln von Videos eingesetzt.
– Graphiken
– Animation:• gerenderte, also bildweise berechnete Daten aus
Animationsprogrammen
– Quickdraw 3D:• Apples 3dimensionaler Graphikstandard
27.5.1999
262
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 12
• Von QuickTime in Movies unterstützte Medientypen 3– Tween:
• Art Steuerspur, um z. B. Quickdraw-Operationen wie Skalieren, Rotieren etc.
auf Daten in anderen Spuren anzuwenden.
– Time Code:• auch nach dem SMPTE - Standard;
(Society of Motion Picture and Television Engineers).
27.5.1999
263
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 133
• Anmerkungen 1– Synchronisation
• der verschiedenen zeitbasierten Daten wird erreicht durch Verwendung von Spuren/Tracks in einem Zeitkoordinatensystem.
• ---> Parallelität von Datenströmen.
– Bei Leistungsengpässen • werden Bilder übersprungen.
• Ton wird solange wie möglich vollständig erhalten.
• Zeitbasis wird, wenn irgend möglich, eingehalten.
27.5.1999
264
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - 1.4 Quicktime - Movie 144
• Anmerkungen 2 – QuickTime unterstützt Multiprocessing (erste Schritte).
– Text in Textspur (z. B. für Untertitel) ist Text und kein Graphikoverlay.
• --> z.B. durchsuchbar. Gut für etwa Indizierung von Bild- oder Videokatalog.
• Codecs arbeiten asynchron zu QuickTime.
27.5.1999
265
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Frontends 11.4 Quicktime - Frontends 1
• QuickTime Viewer– Für (Stand)bilder
27.5.1999
266
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Frontends 21.4 Quicktime - Frontends 2
• QuickTime Player (Pro) 1– Easy-to-use controls
– New enhanced interface
– Ability to save effects settings
– Movie controller selection slider
– Bass and treble controls
– Balance control
– Streaming media support
– Ability to save movie favorites
– Info tray
27.5.1999
267
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Frontends 31.4 Quicktime - Frontends 3
• QuickTime Player (Pro) 2– Import file formats
• 3DMF • AIFF • AU• Audio CD Data (Macintosh) • AVI
• BMP • DV • FlashPix*
• GIF • JPEG/JFIF • Karaoke• MacPaint • Macromedia Flash• MIDI • MPEG 1 • MPEG 1, Layer
3(MP3)• Photoshop* • PICS • PICT• Pictures • PNG • QuickTime Image File• QuickTime Movie • SGI• Sound • Targa • Text• TIFF* • Virtual Reality (VR) • Wave
27.5.1999
268
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Frontends 41.4 Quicktime - Frontends 4
• QuickTime Player (Pro) 3– Export file formats
• AIFF • AU • AVI
• BMP • DV Stream • FLC
• Image Sequence movie exporters • JPEG/JFIF
• MacPaint • MIDI • Photoshop
• PICT • Picture • PNG
• QuickTime Image • QuickTime Movie
• SGI • System 7 Sound • Targa
• Text • TIFF • WAV
27.5.1999
269
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Frontends 51.4 Quicktime - Frontends 5
• QuickTime Player (Pro) 4– Video effects
• Alpha gain • Blur
• Color balance • Color style
• Color tint • Edge detection
• Emboss • Film noise
• General convolution • Lens flare
• HSL balance • RGB balance
• Sharpen • Zoom
27.5.1999
270
Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich
1.4 Quicktime - Frontends 61.4 Quicktime - Frontends 6
• QuickTime VR (Teil vom QT Player)– Softwarelösung zur Erstellung und Erkundung virtueller
Welten.
– Unterschied zum Videofilm: Benutzer steuert seinen Blick (via Maus) selbst.
– 2 Techniken:• Panoramavideotechnik:
– 360 Grad Rundumblick wird durch "Vernähen" von Fotos erzeugt.
• Object-Video-Technologie:– Erlaubt interaktive Untersuchung von Objekten.
– Läßt das Objekt sich vor den Augen des Benutzers um 360 Grad drehen.
– Personen und Objekte anklickbar (Hot Spots).