Foveated 3D Graphics

8/18/2019 Foveated 3D Graphics

1/8


2/8

Austritt aus dem Auge. Diese Stelle des Austritts wird als blinderFleck bezeichnet, da sie lichtunempfindlich ist und keine Sinnes-zellen enthält. An der Rückseite des Auges befindet sich die Foveacentralis, die bei Tageslicht die Stelle des schärfsten Sehens ist.

Während die Fovea die Stelle der schärfsten Sicht ist, ermittelt dieIris die Menge des Lichtes, welches ins Auge eintritt. Die zweiwichtigsten optischen Elemente sind die Linse und die Hornhaut.

Das menschliche Auge kann nur Objekte wahrnehmen, wenn von

ihnen Licht ausgeht oder wenn von ihnen Licht reflektiert wird.Licht gilt in der Physik als Ursache der Sehwahrnehmung. Für dasAuge ist nur ein kleiner Teil des Lichtes wahrnehmbar, der von ca.400 − 800 nm Wellenlänge reicht.

2.1.2 Sehschärfe

Die Fähigkeit des Auges, feine Details zu erkennen, wird üblicher-weise als Sehschärfe bezeichnet. In seiner einfachsten Form wirdSehschärfe ausgedrückt als Maß der Auflösung.

Oft wird Sehschärfe als MAR (minimum angle of resolution). Diesist der kleinste aufzulösende Sehwinkel. 1/MAR-Maße haben alsFunktion der Exzentrizität einen stark gekrümmten (annähernd hy-perbolischen) Verlauf und sind deshalb schwer vergleichbar oder

ineinander zu überf ̈uhren. Aus diesem Grund folgen viele MAR-Maße in erster Näherung einer linearen Funktion.

Gemäß Reddy ist Sehschärfe ein Maß f ̈ur die kleinsten Details, wel-che eine Person auflösen kann. Dies ist nur ein Maß f ̈ur die Größeund berücksichtigt nicht den Kontrast. Deshalb wird die Sehschärfein der Regel unter optimalen Beleuchtungsbedingungen bewertet,z.B. schwarze Buchstaben auf einem weissen Hintergrund mit hel-ler Beleuchtung[Reddy 1997]

Ein bekannter Forscher der Psychophysik, Hermann Rudolph Au-bert, beschäftigte sich u.a. mit der Art und Weise wie ein Beob-achter Muster, Bewegung und Orientierung wahrnimmt. Zusammenmit dem Augenarzt Richard Förster f ̈uhrte er eine Reihe von Testsauf die Sehkraft außerhalb des Fixierungspunkts durch, die sie alsindirekte Sicht bezeichneten [Aubert and Förster 1856]. Aus die-

ser Arbeit wurde auch das “Aubert-Förster Gesetz“abgeleitet. DieDaten zeigten, dass die Sehschärfe Änderungen zwischen zentralenund peripheren Sehens in etwa linear mit der Sichtwinkel der Ex-zentrizität sind. Genauer, die minimal wahrnehmbare Winkelgröße(Kehrwert der Sehschärfe) steigt annähernd linear mit der Exzentri-zität 1

Diese Erkenntnis wird bis heute als allgemein-gültiges Standard-modell in der Psychophysik benutzt, worauf sich auch die Autorenstützen. Dieses Modell sagt sehr genau die Performance vieler low-level Sichtaufgaben vorher [Strasburger et al. 2011].

2.2 Foveation

Foveation bedeutet ursprünglich Anwinkeln der Augen, um sich auf

ein Objekt zu konzentrieren. Dies bedeutet, dass das Objekt mitsanft varrierender Auflösung betrachtet wird: am Fixationspunktsehr scharf und zur Peripherie hin immer schlechtere Auflösung.

Die Autoren verwenden den Begriff Foveation als Abkürzung fürdie Abnahme der Sehschärfe mit Exzentrizität im menschlichenSichtsystem.

Ein Bild zu fovealisieren bedeutet, das Bild auf eine Art abzutastenoder zu filtern ähnlich der Foveation im menschlichen Auge.

1Winkelabstand weg von der zentralen Blickrichtung

Foveation kann als eine Technik zur effizienten Ausnutzung derBandbreite gesehen werden.

2.3 Psychophysik

Die Psychophysik wurde begründet druch Fechner (1860). Man un-terscheidet in der Psychophysik klassische und moderne Methoden.

Die Psychophysik untersucht den Zusammenhang zwischen objek-

tiven physikalischen Reizen und den subjektiven psychologischenEmpfindungen. Aus diesem Grund ist die Psychophysik zwingendnotwendig, um realistische Bilder darzustellen.

Eine Messung am Menschen bzw. an Versuchspersonen beruht auf deren subjektivem Urteil und auf Berichten über ihr Wahrneh-mungserleben.

Im Allgemeinen kann man davon ausgehen, dass zwischen derReizgröße und den Urteilen der Versuchspersonen ein monotonerZusammenhang besteht. Allerdings bewirken physikalische Rei-ze eine eigene Wahrnehmung, welche die Eigenschaften der sieauslösenden Reize keinesfalls wiedergeben muss.

Ein und derselbe Reiz kann unter gleichen Bedingungen unter-schiedliche Empfindungen hervorrufen.

Aus diesen Gründen erfolgt in der Psychophysik eine statistischeBetrachtung der Versuchsergebnisse.

Ein zentraler Begriff ist die Schwelle, bei der man zwei Arten unter-scheidet: Absolut- und Unterschiedsschwelle. Die Absolutschwelleist die kleinste benötigte Reizintensität, damit eine Person einenReiz in 50% der Fälle entdeckt. Die Unterschiedsschwelle ist diekleinste Differenz zwischen zwei Reizen, die einer Person in 50%der Fälle ihre Unterscheidung erlaubt.

Absolut- und Unterschiedsschwelle sind psychophysische Kenn-zahlen, um Angaben darüber zu machen, wie gut Reize erkanntbzw. unterschieden werden k ̈onnen.

Der Zusammenhang zwischen den Antworten oder der Wahrneh-mung einer Person und dem physikalischen Reiz wird durch eine

psychometrische Funktion beschrieben. Diese bildet die Grundlagefür eine Vielzahl von Methoden zur Schwellwertbestimmung. Sieist eine stetige eindimensionale Wahrscheinlichkeitsverteilung undmodelliert die Wahrnehmung als stationären stochastischen Pro-zess.

Klassische Methoden zur Schwellenbestimmung sind

• Methode der eben merklichen Unterschiede

• Konstantreiz- oder Konstanzmethode Dem Probanden wer-den zuvor festgelegte Reize (Absolutschwelle) oder Reiz-paare (Unterschiedsschwelle, Konstantreiz R und Vergleichs-reiz R + ∆R) in zuf ̈alliger Abfolge mehrmals präsentiert.Der Proband muss dabei die Reize oder Reizpaare beurtei-len bzw. klassifizieren. Zur Ermittlung einer Unterschieds-schwelle werden dem Probanden Reizpaare präsentiert. Die

Reizpräsentation erfolgt entweder in räumlicher oder zeitli-cher Nähe. Der Proband hat dann z.B. die Aufgabe, zu urtei-len, ob der Vergleichsreiz R + ∆R größer oder kleiner als derKonstantreiz R ist.

• Grenzverfahren Damit bestimmt man die Schwellen direkt.Einem Probanden werden in mehreren Durchgängen auf- undabsteigende Reize (Absolutschwelle) oder Reizpaare (Unter-chiedsschwelle) dargeboten.

Zur Bestimmung einer Absolutschwelle wird der Proband ge-fragt, ob er den Reiz x wahrnimmt oder nicht.


3/8

Zur Ermittlung einer Unterschiedsschwelle werden dem Pro-banden Reizpaare präsentiert. Der Vergleichsreiz ist dabei an-fangs entweder intensiver oder schwächer als der Konstan-treiz. Der Proband muß den Vergleichsreiz relativ zum Konst-antreiz beurteilen (größer/gleich/kleiner).

3 Foveale 3D Graphik

Fovealisierte Bilder sind Bilder mit räumlich variierenderAuflösung oder Schärfe. Einige Bereiche der fovealisierten Bilder(Fovea) werden bei hoher Auflösung verarbeitet, während andereBereiche (Peripherie) bei geringerer Auflösung verarbeitet werden.

In Bezug auf Vision, Robotik und Kamera versuchen Forscher“Augen“nachzubilden, die wie das menschliche Auge sehenk ̈onnen. In Bezug auf die Visualisierung, sind die Forscher scharf auf den Wiederaufbau der Szenen und Bilder in ähnlicher Weise,wie die Augen die reale Welt verarbeiten.

3.1 Die Idee

Betrachtet man z.B. ein Bild an der Wand und fixiert dort einenbestimmten Punkt, kann man feststellen, dass diese Stelle des Bil-des sehr scharf erscheint, während die Umgebung je weiter sie von

dieser Stelle entfernt ist umso unschärfer wird.

Diese Tatsache nutzen die Autoren aus und verfolgen mit einemEyeTracker den Blickpunkt des Anwenders und legen um diesendrei ineinander verschachtelte, sich überlappende Layer in unter-schiedlichen Auflösungen, wobei der innere Layer (fovealer Layer)den kleinsten Winkeldurchmesser, die höchste Auflösung und dasfeinste LOD hat und die beiden anderen jeweils einen schrittwei-se höheren Winkeldurchmesser, niedrigere Auflösung und gröbe-res LOD. Sowohl der mittlere als auch der äußere Layer werdennur mit der zeitlich halbierten Rate des inneren Layer aktualisiert,d.h. reduzierte Abtastdichte in peripheren Layern. Dadurch ent-stehen Aliasing-Artefakte, welche durch Super Sampling reduziertwerden, was aber wiederum den Berechnungsvorteil von fovealemRendern zunichte macht. Diese Layer werden nahtlos zusammen-gef ̈ugt und dann auf die Bildschirmauflösung interpoliert.

Der Render-Algorithmus ähnelt der Methode in [Levoy and Whita-ker 1989], wobei [Guenter et al. 2012] auf allgemeine 3D-Graphik zielen und die Methode von [Levoy and Whitaker 1989] zur An-passung der Auflösung an die Peripherie verallgemeinern. DieserRender-Algorithmus wird in Abschnitt 3.3 vorgestellt. Levoy undWhitaker haben mit ihrer Hardware-Konfiguration eine Systemla-tenz von 100-150 ms. Da f ̈ur effektive Foveation sowohl schnellesEye Tracking als auch schnelles Rendern sehr wichtig sind, stellenGuenter et. al ihre Hardware-Konfiguration so zusammen, dass sieeine Systemlatenz zwischen 23 - 40 ms haben.

Wie die Autoren ihren Foveation-Ansatz entwickeln, wird in denfolgenden Abschnitten beschrieben.

3.2 Antialiasing

Bei der Darstellung von Grundobjekten wie Linien, Kreisen, Poly-nomsplines, Quadern (3D) oder Zylindern (3D) auf einem raster-orientierten Ausgabegerät, wie z. B. Laser-, Nadeldrucker und heu-tige Rasterbildschirme, werden Pixelmuster erzeugt, d.h., es wirdeine Menge von Pixeln gesetzt, die die jeweiligen Grundobjektemöglichst gut approximieren sollen. Dennoch kann es durch die Ra-sterung zu Verfremdungseffekten kommen, dem sogenannten Ali-asing. Es wird eine Linie als treppenf ̈ormiges Zick-Zack-Musterwahrgenommen oderes entstehen Überlagerungseffekte durch nahebeieinander verlaufenden Kurvenstücken, Moiré-Effekte oder das

“Schwimmen von Texturen“. In der Frequenztheorie ist Aliasingein Überbegriff f ̈ur Anzeigeprobleme, die bei der Abbildung un-endlich vieler Frequenzen bzw. Details auf die endliche Auflösungcomputergenerierter Bilder entstehen. Aliasing entsteht durch Ab-tastprobleme.

Beispiel: Abtasten einer Sinuswelle (siehe Abbilung 2) Anhand die-ses Beispiels kann man leicht erkennen, dass Aliasing durch Unter-abtastung entsteht.

(a) oben Ausgangssignal, unten (li-

near interpolierte) Abtastwerte

(b) Erhöhung der Frequenz, abge-

tastete Werte unbrauchbar

(c) verf ̈alschte Werte durch Unter-

abtastung

Abbildung 2: Abtastung einer Sinuswelle

Grob ausgedrückt funktioniert Antialiasing so, dass zunächst mehrInformationen erzeugt werden, als eigentlich darstellbar sind. Des-halb werden sie danach wieder heruntergerechnet und es findet eineMittelwertbildung statt, was dann zu einer Glättung f ̈uhrt.

3.2.1 Grundlagen

Alle Gegenmaßnahmen bei Aliasing nennt man Antialiasing (AA).Dabei besteht bei diesen Gegenmaßnahmen die Kunst darin, einenAlgorithmus zu finden, der sowohl bei der Beseitigung von Aliasingals auch im Aufwand effizient ist.

Ohne Anwendung von AA wird f ̈ur jedes Pixel nur einmalig an ei-ner relativ zum Pixel gleichbleibenden Position abgetastet. BeimAA wird die Bildbeschreibung an mehreren und/oder relativ zumPixel unterschiedlichen Positionen ausgewertet. Aus den so ermit-telten Werten wird die Farbe des Pixels gemäß eines Rekonstruk-tionsfilters berechnet. Die Bezeichnung Antialiasing ist etwas ir-ref ̈uhrend, das AA nciht nur gegen Aliasing-Effekte, sondern auchgegen den Treppeneffekt und andere unerwünschte Effekte, etwadurch das Pixelraster fallende kleine Figuren, angewandt wird.

Mit den neueren Graphikkarten ist auch eine Hardwareim-plementierung von Antialiasing möglich. Als Beispiel seierwähnt die großen Maxwell-Graphikkarten von Nvidia, welcheMulti-Frame Sampled AA (MFAA) anwenden, welches nochschneller sein soll als vierfaches Multi-Sample-AA und fast diegleichen Ergebnisse erzielt (http://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-\

und-970-mit-auto-downsampling-1409-109336-2.

html).

Software-Implementierungen, also Algorithmen, gibt es so viele,dass deren Beschreibung diese Arbeit sprengen würde. Aus die-

http://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.htmlhttp://www.golem.de/news/nvidia-grafikkarten-energieeffiziente-gtx-980-/und-970-mit-auto-downsampling-1409-109336-2.html


4/8

sem Grund werden drei Lösungsansätze für AA beschrieben, wel-che wichtig sind, um den Ansatz der Autoren zu verstehen. Diesedrei Lösungsansätze sind stochastisches Abtasten, Super Samplingund Multi-Sample-AA (MSAA) und werden in Abschnitten untenbeschrieben.

Damit AA die beste Wirkung erzielt, ist es unerlässlich, Gamm-akorrektur anzuwenden. AA nimmt zusätzliche Rechenleistung inAnspruch, die besonders beim Echtzeitrendern nicht vernachlässig-

bar ist. Ein weiterer Nachteil ist, dass ein mit AA erzeugtes Bild alsunscharf empfunden werden kann.

3.2.2 Aliasing im menschlichen Sichtsystem

Das menschliche Auge arbeitet mit variierender Auflösung und siesind sehr effektiv in der Verarbeitung des visuellen Input, in Zusam-menarbeit mit dem Gehirn. Wenn die Augen die Welt um sie herumbetrachten, finden sie aktuell einen Punkt von Interesse, fokussie-ren ihn (sie passen sich an), und der Rest der Welt ist eigentlichunschärfer je weiter man sich vom Punkt des Interesses entfernt, inalle Richtungen. Ändert sich der Punkt des Interesses, wiederholtsich der gesamte Vorgang, scharf in der Mitte, nicht so scharf zurPeripherie hin. Die Peripherie ist gut f ̈ur das Navigieren und dasVerständnis des Ganzen, aber das Gehirn muss nicht alles auf ein-mal im Fokus haben. Also haben Augen eine Tiefenschärfe und siefovealisieren. Und durch dieses Fovealisieren entstehen, je weiterman sich vom Fixationspunkt entfernt, Aliasing-Artefakte, da dieAuflösung immer schlechter wird.

3.2.3 Lösungsansätze

Die Erzeugung einer Rastergraphik aus einer Bildbeschreibung perRasterung oder Bildsynthese besteht letztes Endes darin, jedem dis-kreten Pixel eine Farbe zuzuweisen. Dieser Vorgang kann im Rah-men der Theorie der Signalverarbeitung als Abtastung eines Signalsinterpretiert werden. In der Computergraphik liegen viele Signaleals abstrakte Bildbeschreibungen vor, die nur an einzelnen Punktenalgorithmisch ausgewertet werden können. Ein Beispiel sind Bilder,die mittels Raytracing berechnet werden. Derartige Signale könnenauch als prozedurale Signale bezeichnet werden.

Zum besseren Verständnis werden zuerst die wichtigsten Punkte derFrequenz- und Abtast-theorie erklärt.

3.2.3.1 Signaltheorie Die Signaltheorie beschäftigt sich mitder Übertragung von Signalen über verschiedene physikalische Me-dien und untersucht den Einfluss, den diese Medien und die Umweltauf die Signale ausüben. Dazu wird derzeit vor allem elektrischerStrom genutzt.

Die Abtasttheorie befasst sich mit der Abtastung und Rekonstrukti-on kontinuierlicher Funktionen, d.h. ihrer Überführung ins Diskreteund zurück. Gegenstand sind dabei u.a. aufgenommene reale Bilderoder abgetastete analytische geometrische Beschreibungen.

Grundlegend sowohl f ̈ur die Frequenz- als auch Abtasttheorie istdie Fouriertransformation und sie spielt eine wichtige Rolle in derComputergraphik auf dem Gebiet der digitalen Bildverarbeitung.Sie erlaubt oft eine Vereinfachung der Problemlösung.

Eine eindimensionale periodische Funktion f (x) mit der PeriodeT = 2π lässt sich als Reihe von trigonometrischen Funktionendarstellen, der sogenannten Fourierreihe:

f (u) = a0

2 +

∞k=1

(ak cos kx + bk sin kx) (1)

Durch den Grenzübergang l → ∞ für eine Funktion f (x), −l <x < l kann man die periodische Fortsetzung überwinden und erhältso eine Darstellung einer f ̈ur alle reellen x definierten Funktion, dassogenannte Fourierintegral:

f (x) =

∞

−∞

∞

−∞

f (t)e−2φiu(t−x)dtdu (2)

Diese Beziehung lässt sich aufspalten in

F (u) =

∞

−∞

f (x)e−φiuxdx (3)

f (x) =

∞

−∞

F (u)e2φiuxdu (4)

Die Fourier-Transformierte F liefert eine Entwicklung der Funktionf in ein kontiunuierliches Spektrum und F (u) und f (x) bezeichnetman als Fourier-Transformationspaar .

Betrachtet man die Variable x als Zeitkoordinate (Ortskoordinate)und damit f (x) als kontinuierliche Funktion der Zeit (des Ortes),so bezeichnet man F (u) als Frequenzspektrum (Ortsfrequenzspek-

trum).

Für Anwendungen in der digitalen und diskreten Bildverarbeitungist diese Form der Fourier-Transformation jedoch ungeeignet. Manverwendet deshalb die diskrete Fourier-Transformation mit:

f (k) = 1

N

N −1m=0

f (m)e−i2φkm

N , k = 0, 1, . . . , N − 1, (5)

f (m) =N −1k=0

F (k)ei2φkmN , m = 0, 1, . . . , N − 1 (6)

Kontinuierliche Funktionen f (x) müssen dazu in eine diskreteForm überf ̈uhrt werden gemäß der Vorschrift:

f (m) = f (x0 + m∆x), m = 0, 1, . . . , N − 1 (7)

Man spricht auch von Abtastung, da die diskrete Funktion mit derkontinuierlichen Funktion an den Stellen x0+m∆x übereinstimmt.

Damit Bilder im Digitalrechner verarbeitet werden können, müssensie zuerst in eine diskrete Darstellung überführt werden. Die Um-formung erreicht man durch Abtastung und Quantisierung, d.h. Zu-ordnung der abgetasteten Werte zu vorgegebenen Wertebreichenendlicher Auflösung. 2

3.2.3.1.1 Nyquist-Limit Um alle Fourier-Komponenten einerperiodischen Wellenform wiederherstellen zu k ̈onnen, ist es not-

wending eine Abtastrate v zu benutzen, die mindestens doppelt sohoch ist wie die Frequenz der höchsten Wellenform. Das Nyquist-Limit ist die höchste Frequenz, die zu einer gegebenen Abtastratekodiert werden kann, um das Signal vollständig wieder herzustel-len, d.h. unterhalb dieser Frequenz tritt kein Aliasing auf.

Diesen Sachverhalt fasst das Abtasttheorem zusammen: Existiertf ̈ur eine Funktion f (x) eine endliche Grenzfrequenz uG =

12∆x ,

so daß das Spektrum F (u) = 0 für |u| > uG, dann ist die ab-getastete Funktion f (x) aus den Abtastwerten f (m∆x) fehlerfrei

2Diskretisierung: Festlegung der Abtaststellen im Definitionsbereich


5/8

rekonstruierbar, sofern die Abtastfrequenz uT = 1∆x

mindestensdoppelt so groß wie uG ist:

1

∆x > 2uG oder ∆x <

1

2uG(8)

Eine Abtastung unterhalb des Nyquist-Limits kann zur verfälschtenWiedergabe einer Frequenz führen - hohe Frequenzen erscheinenals niedrigere und es kommt zu den Effekten, die man unter dem

Begriff Aliasing zusammenfasst.

In 3D-Spielen gibt es oft ebene Flächen, auf denen Texturen immerweiter gestaucht werden, je weiter sie vom Betrachter weg sind.Durch die dann unzureichenden Samples kommt es zu Artefakten.

Moiré-Effekte kommen vorallem bei großer Ähnlichkeit in der Fre-quenz eines relativ gleichmäßigen Musters mit dem abtastendenRaster.

Löst man in Gleichung 8 nach uG auf, erhält man eine Anleitungf ̈ur das Anti-Aliasing: vor der Abtastung, d.h. Eintragung der Bild-punkte in den Bildspeicher, muß das Signal f (x, y) mit einem Tief-paßfilter auf

uG ≤ 1

2∆x

unduG ≤ 1

2y

(9)

bandbegrenzt werden

3.2.3.2 Stochastisches Abtasten Das stochastische Abtastenwurde von ATI eingef ̈uhrt. Anstatt ein vorgegebenes Raster zuverwenden, benutzt man eine Auswahl an optimierten Subpixel-masken, die auch auf den darzustellenden Inhalt angepasst wer-den können. Durch dieses Verfahren kann man mit relativ wenigSamplesdie Qualität eines viel höher gesampelten Bildes erreichen.Die optimale Sample-Position zu finden ist aber ein nicht trivia-les Problem. Mit dem 8-Damen-Problem bekommt man in einem8x8−Subpixel-Feld aber schon eine relativ gute Annäherung f ̈urein Pixel hin (siehe Abbildung 3).

Abbildung 3: Versuch der Sample-Findung mit dem 8-Damen-Problem

Bei mehreren nebeneinander stellt sich aber auch diese Lösung alsnicht optimal verteilt heraus (siehe Abbildung 4).

Abbildung 4: Nicht optimale Sample-Positionen an den R¨ andernder Pixel

Das Abtastmuster variiert relativ zum Pixel. Dadurch werdenAliasing-Effekte durch Rauschen ersetzt, das als weniger irritierendwahrgenommen wird. Gleichzeitig ist es wünschenswert, die Ab-tastpunkte weit entfernt voneinander zu halten, um eine möglichstrepräsentative Abtastung zu gewährleisten. Stochastische Abtast-muster werden vor allem in der realistischen Bildsynthese verwen-det.

3.2.3.3 Super Sampling Der einfachste Ansatz in der Echt-

zeitgraphik war Super Sampling, da man hierf ̈ur keine speziel-le Hardware-Unterstützung braucht, sondern das Bild nur in einerhöheren Auflösung rendern und dann herrunterrechnen muss (sieheAbbildungen 5 und 6).

Abbildung 5: Point Sampling (rote Punkte) und Super Sampling(gr ̈ une Punkte) im Vergleich

Abbildung 6: Subpixel werden zu einer Pixelfarbe verrechnet

Ein großer Teil der Details bleibt erhalten und die Schärfe wirdnicht übermäßig reduziert. Gerade Texturen profitieren, da auch imInneren von Polygonen mehr Samples genommen werden. Alia-singeffekte aus dem Ursprungsbild k ̈onnen abernur gemindert nichtgetilgt werden. Es handelt sich um einen ineffizienten Ansatz, danach der Berechnung des Ursprungsbildes noch einmal jedes Pixelin die Berechnung des neuen Bildes eingeht.

Beim Super Sampling wird somit jedes Pixel mehrfach abgetastet,dadurch entstehen Subpixel. Das Ergebnis wird dann anschließendwieder heruntergerechnet (down sampling). Damit presst man dieMehrinformation in das ursprüngliche Raster zurück, wobei ein Teildieser Mehrinformation verloren geht. Technisch ausgedrückt fin-det eine Tiefpass-Filterung statt. Die hohen Frequenzen gehen ver-loren, wogegen die tiefen und mittleren Frequenzen viel genauererfasst werden.

3.2.3.4 Multisample Antialiasing (MSAA) Multisampling-

Methoden unterscheiden sich in der Anzahl und Verteilung derAbtastpositionen pro Pixel. Beim Echtzeitrendern wird meist f ̈uralle Pixel das gleiche Muster verwendet.

Die Sampleposition ist nur ein unendlich kleiner Punkt, währendein Pixel eine Fläche einnimmt. Ohne weitere Maßnahmen würdenTexturen sehr unschön aussehen. Aus diesem Grund werden siegefiltert, indem beim Auslesen aus der Textur auch Umgebungs-Texel Beachtung finden, d.h. es findet automatisch Textur-AA statt.Um das zusätzliche Textur-AA zu umgehen, liest man pro Pixel nureinen gefilterten Wert, der dann f ̈ur alle betreffenden Subpixel ge-nutzt wird.


6/8

Es wird weiterhin pro Pixel mehrfach gesampelt, aber man berech-net nicht mehr f ̈ur jedes Sample einen eigenen Textur-Wert. Es wer-den nur noch die Kanten mit höherer Auflösung berechnet. DiesesVerfahren heisst Multisampling. Ein Hardware-AA-Verfahren, wel-ches nur Kanten glättet, nennt man Multisampling.

Der große Vorteil aber liegt darin, dass alle Samples f ür ein Pixelgleichzeitig erzeugt werden.

Auf praktisch allen modernen Karten wird Antialiasing mit Mulit-

sampling realisiert.

Beim Multisampling gibt es f ̈ur jedes Subpixel einen eigenen Fra-mebuffer. Beim Downfiltern werden alle Framebuffer (MultisampleBuffer) gelesen und die Farbwerte gemittelt, um die finale Pixelfar-be zu bekommen. Hierdurch entsteht u.a. die Glättung der Kanten.

3.2.3.5 Ansatz der Autoren Hardware-beschleunigtes 3D-Rendern benutzt Punktabtastung. Bei fovealem Rendern werdendie peripheren Exzentrizitätslayer mit einem Faktor von 6 in jedeDimension teilabgetastet. Räumliches Aliasing in den peripherenLayern erzeugt störende zeitliche Artefakte während der Szenenbe-wegung.

Die schlechteste Lösung wäre die Erhöhung der Abtastdichte, daLeistungsverbesserungen durch Foveation negiert werden. Die Au-toren benutzen deshalb einen kombinierten Ansatz, der etwas Zu-satzkosten erzeugt und leicht in bestehende Anwendungen eingear-beitet werden kann.

Sie kombinieren dafür MSAA, zeitlich umgekehrte Reprojektionund zeitliches Jitter des räumlichen Abtastrasters[Guenter 1997].

Jede Komponente reduziert Artefakt-Kohärenz, Aliasing-Energieoder beides zusammen. MSAA erhöht effektiv die Auflösung ent-lang der Umrisskanten (Silhouette) durch signifikantes Reduzierender Aliasing-Energie an ihnen. Jitter über das gesamte Frame kom-biniert mit zeitlich umgekehrter Reprojektion reduziert Kohärenzund Aliasing-Energie über das gesamte Bild. Alle drei Komponen-ten zusammen reduzieren somit effektiv Aliasing-Artefakte.

Nachfolgende Abbildung soll diese Methode veranschaulichen.

Abbildung 7: Jeder Exzentrizit¨ atslayer hat sein eigenes Abta-straster. Jedes Frame, jeder Exzentrizit ̈ atslayer wird “geflimmert “durch ±0.5 seines Pixelzwischenraumes. Die aktuellen Pixelwer-te werden mit ihrem zeitlich r ̈ uckprojizierten Wert vom vorheri-gen Frame vermischt, um die effektive Abtastung zu erh ¨ ohen. ZumSchluss wird der Layer auf die nat¨ urliche Displayaufl¨ osung mit bi-linearer Interpolation zur ̈ uckgesampelt - Guenter et al., 2012, S.5

Abbildung 8 zeigt die Unterschiede nach jeder Anwendung einerKomponente zum ursprünglichen Bild. Nachdem alle Komponen-ten angewendet wurden, erhält man das finale Bild ohne Aliasing-Artefakte (siehe Abbildung 9).

3.3 Blickgerichtetes Volumen-Rendern

Wenn die Blickrichtung in Render-Algorithmen eingebaut wird,erzielt man Bilder mit variierender Auflösung, die auf einem

(a) kein Antialiasing (b) 4 x MSAA

(c) zeitliches Jitter (d) zeitlich umgekehrte

Reprojektion

Abbildung 8: Einzelkomponenten des Ansatzes - Guenter et al.,2012, Folien 44, 46, 48

(a) ursprüngliches Bild (b) Bild nach Anwendung

des kombinierten Ansatzes

Abbildung 9: Gegen¨ uberstellung urspr ̈ ungliches Bild und Bild nach Bearbeitung durch den kombinierten Ansatz - Guenter et al.,2012, Folien 44, 49

herk ̈ommlichen Fernseh-Monitor dargestellt werden k ̈onnen. In[Levoy and Whitaker 1989] wurde ein räumlich angepasster RayTracer f ̈ur Volumen-Daten entwickelt, in dem die Anzahl der Strah-len und die Anzahl der Samples pro Strahl durch lokale Netzhaut-Sehschärfe moduliert wird. Dies bringt eine Kostenersparnis voneinem 5-fachen gegenüber Bild, das über den ganzen Bildschirmhochauflösend gerendert ist.

Bei einem Ray Tracer ist der Ansatz, dass eine Kamera Strahlen

in die Szene wirft und auf jedem Strahl wird dann geprüft, ob sichein Objekt mit dem Strahl schneidet. Gibt es einen Schnitt werdenweitere, sekundäre, Strahlen erzeugt:

• Schattenstrahlen werden in Richtung aller Lichtquellen ge-schickt, um zu bestimmen, ob irgendein Objekt den Schnitt-punkt verdeckt.

• Reflektierende Strahlen werden erzeugt, wenn die Oberflächedes Objektes reflektierend ist.

• ¨ Ubertragungsstrahlen werden erzeugt, wenn die Oberflächedes Objektes lichtdurchlässig ist.


7/8

Jeder dieser Strahlen wird gegen alle Objekte der Szene getestet(siehe Abbildung 10).

Abbildung 10: einfaches globales Beleuchtungsmodell f ̈ ur Ray Tracing; S i: Schattenstrahlen, LA, LB: Lichtquellen,Ri:reflektierende Strahlen, T i: ¨ Ubertragungsstrahlen

Nachdem die Strahlen ein Objekt treffen, sind Informationendarüber verf ̈ugbar, wie weit das Objekt entfernt ist und welche Far-be es hat.

Die Volumen-Rendermethode arbeitet nun wie folgt: Es gibt ein3D Array mit Voxel-Daten, das klassifiziert und schattiert wird, umfür jedes Pixel eine Farbe und Opazität (Lichtundurchlässigkeit) zuerhalten. Von einer Betrachterposition aus werden dann Sichtstrah-len in dieses Array geworfen. Samples werden dann entlang des

jeweiligen Strahl genommen und eine Farbe und Opazität wird an jeder dieser Samplepositionen berechnet mittels trilinearer Interpo-lation der Farben und Opazitäten der nähesten 8 Voxel. Die gesam-pelten Farben und Opazitäten werden dann von vorne nach hinten

zusammengesetzt, um eine Farbe f ̈ur den Strahl zu berechnen. Ab-bildung 11 fasst diese Schritte in der Renderpipeline zusammen.Da Ray Tracer mit Punktabtastung arbeiten, kann es zu Aliasing-

Abbildung 11: Renderpipeline - Levoy und Whitaker, 1989, S. 219

Artefakten kommen. Um dies zu vermeiden, wird jedem Pixel eine2D Convolution-Maske zugeordnet, deren Nichtnull-Ausdehnungals eine Funktion des Abstandes auf der Bildebene von der Pixel-mitte zur Blickrichtung varriert (siehe Abbildung 12).

Levoy und Whitaker haben ihre Rendermethode mit MIP-MAPSimplementiert. Diese MIP-MAPS sind Pyrmiden mit Folgen von2D Texturen, deren Auflösungen binäre Bruchteile der Bild-auflösung sind.

Abbildung 12: 2D und 3D Convolutionmasken - Levoy und Whita-ker, 1989, S. 218

3.4 Level of Detail - LOD

“Level of Detail (LOD) is relevant today as ever, for despite tremen-dous strides in graphics hardware; the tension between the fidelityand speed continues to haunt us“[Luebke 2004]

Als LOD Algorithmen bezeichnet man in der Computergraphik all-gemein die Verminderung des Rechenaufwandes durch Ausnutzung

von kaum bis nicht mehr wahrnehmbaren Unterschieden zwischeneinem qualitativ hochwertigem und einem qualitativ minderwerti-gerem Objekt.

Um die Geschwindigkeit von Anwendungen zu steigern, benutztman gleichzeitig hohe Detailgenauigkeit im Nahbereich und nied-rige Detailebene im Fernbereich.

Je nach Entfernung und Position der Objekte zum Betrachter wirdautomatisch das geeignete LOD gewählt.

3.4.1 Grundlagen

Der Level of Detail eines Objektes ist die daraus resultierende Qua-litätsstufe. Meist spielt nur die Entfernung zum Betrachter und derQualitätsunterschied eine Rolle.

Die Grundidee von LOD ist recht einfach. Problem:geometrische Datenmengen k ̈onnen zu komplex sein, um bei inter-aktiven Raten zu rendern. Lösung:Vereinfachung der polygonalen Geometrie von kleinen oder ent-fernten Objekten, auch bekannt als Level of Detail (LOD).

Man erzeugt Detailebenen der Objekte (siehe Abbildung 13), wobeiman f ̈ur entfernte Objekte gröbere LODs benutzt (siehe Abbildung14). Diese LODs werden f ̈ur jedes Objekt getrennt in einem Pre-

prozess erzeugt. Zur Laufzeit wird dann das LOD f ̈ur das Objektentsprechend der Objektentfernung genommen.

Abbildung 13: verschiedene Detailebenen - D. Luebke, 2004, S. 4

Es gibt verschiedene Arten von LOD, die je nach gew ünschtem Ef-fekt angewendet werden:


8/8

Abbildung 14: Detailebenen f ̈ ur entfernte Objekte - D. Luebke,2004, S. 5

• Diskretes LOD erzeugt eine Handvoll LODs f ̈ur jedes Objekt

• StetigesLOD erzeugt für jedes Objekt eine Datenstruktur, vonder ein bestimmtes Detail extrahiert werden kann.

• Blickbedingtes LOD erzeugt eine Datenstruktur, von derLOD, spzezialisiert auf die aktuellen Sichtparameter,

’

on the

fly‘erzeugt werden können

• Hierarchisches LOD bildet Gruppen von Objekten mit ihreneigenen LODs

4 Anwenderstudie

Zur Validierung ihrer Ergebnisse f ̈uhrten die Autoren eine Anwen-derstudie mit 15 Personen durch. Innerhalb dieser Studie wurdendrei verschiedene Experimente mit diesen Personen durchgef ̈uhrt.Mit diesen Experimenten sollte herausgefunden werden, unter wel-chen Bedingungen foveales Rendern sowohl akzeptable Qualität alsauch Qualität gleichwertig zu nicht-fovealem Rendern erzeugt.

Folgende Experimente wurden durchgef ̈uhrt:

• Paartest Jedem Anwender wurden Paare kurzer animierter Se-quenzen gezeigt, jede 8s lang und getrennt durch ein kurzes(0.5s) schwarzes Intervall, mit dem Ziel festzustellen, wel-cher Foveation Qualitätslevel zu nicht-fovealem Rendern ver-gleichbar ist. Bei jedem dieser Paare war ein Element nicht-foveal gerendert und das andere wurde foveal gerendert mitQualitätsleveln von j = 8 (sehr niedrig) bis zu j = 22 (sehrhoch), wobei der Index j invers bzgl. der MAR-Steigung mist. Der Anwender sollte dann beurteilen, ob das erste Ele-ment besser gerendert war oder das zweite oder beide glei-che Qualität hatten. Ergebnis: identifizierter durchschnittli-cher Schwellwert, für den j gerade so klein ist, dass die Qua-lität gleich oder besser zu nicht-fovealem Rendern ist: 14.9

• Rampentest Den Anwendern wurde eine Menge kurzer Se-

quenzen gezeigt, in denen die Qualität der Foveation entwe-der schrittweise erhöht oder erniedrigt wurde gegenüber einerReferenzqualität von j0 = 22. Die Anwender sollten dannangeben, ob die Qualität über jede Sequenz anstieg, abnahmoder gleich blieb. Dieses Experiment sollte es ermöglichen,die niedrigste wahrnehmbare Qualität f ̈ur Foveation zu fin-den. Ergebnis: niedrigster identifizierter Schwellwert für j, beidem der Anwender entweder die falsche Richtung (steigend,sinkend) oder gar keinen Qualtiätsunterschied angab: 14.9

• Schiebereglertest Die Anwender sollten selbst den Level derQualität erhöhen oder erniedrigen, solange bis sie die Qualität

des foveal gerenderten Elements gleich zur Qualität des nicht-foveal gerenderten Elements empfanden. Ergebnis: identifi-zierter Schwellwert j = 14.5

Da die Differenz der Durchschnittswerte zwischen Paar- und Ram-pentest signifikant war, strebten die Autoren zwei Qualit ätsziele, A(Rampentest) und B (Paartest), an. Der Schiebereglertest bestätig-te i.A. die Ergebnisse des Paartestes und wurde deshalb nicht miteinbezogen. Somit erzielten sie dann folgende Schätzung für dieNeigung m:

jA = 12 → mA = 0.0275 = 1.65

(10)

jB = 15 → mB = 0.0220 = 1.32

(11)

Beide rechten Werte jeweils in Grad pro Exzentrizität. Mit Hilfedieser geschätzten Neigung m ist es dann möglich, Einsparungendurch Foveation auf Displays vorherzusagen, welche noch größerund schärfer sind als das von den Autoren benutzte.

5 Fazit

Das System der Autoren ist auf dem Gebiet der Foveation eine neueMethode, da sie den Blickpunkt des Betrachters mit einbezieht.Anhand der erzielten Ergebnisse lässt sich vermuten, dass dieser

Ansatz eine echte Leistungsverbesserung bringt und, wie auch dieAutoren schon bemerken, in Zukunft vermutlich immer relevanterwird. Sie geben auch zu, das Änderungen an der Hardware undSoftware Foveation noch effektiver werden lässt.

Literatur

AUBERT, H., AN D FÖRSTER, C. 1856. Beiträge zur kenntnissdes indirecten sehens. (i). untersuchungen über den raumsinn derretina. Archiv f¨ ur Ophthalmologie, 3 (Nov.), 1–37.

GUENTER, B., FINCH, M., DRUCKER, S., TAN , D., AN D SNY-DE R, J. 2012. Foveated 3d graphics. ACM Trans. Graph 316 ,164 (Nov.), 1–10.

GUENTER, B., 1997. Motion compensated noise reduction method

and system for computer generated images, Feb. 18. US Patent5,604,856.

LEVOY, M., AN D WHITAKER, R. 1989. Gaze-directed volumerendering. Tech. Rep. 89, Computer Science Department, Uni-versity of North Carolina.

LUEBKE, D . 2004. Level of detail & visibility: A brief overview.Tech. rep., University of Virginia.

REDDY, M. 1997. The development and evaluation of a model of visual acuity for computer-generated imagery. Tech. rep., De-partment of Computer Science, University of Edinburgh.

STRASBURGER , H., RENTSCHLER, I., AN D J ÜTTNER, M. 2011.Peripheral vision and pattern recognition: a review. Journal of Vision 11, 5, 1–82.

Documents

Foveated 3D Graphics