76
Audio 3D: Fundamentos y Aplicaciones Andr´ es P´ erez L´ opez 12 1 Music Technology Group Universitat Pompeu Fabra Barcelona 2 Unidad de Tecnologias Multimedia Eurecat - Centro Tecnol´ogico de Catalu˜ na Barcelona Universidad Austral de Chile 12 Octubre 2017

Audio 3D: Fundamentos y Aplicaciones

  • Upload
    others

  • View
    9

  • Download
    0

Embed Size (px)

Citation preview

Audio 3D: Fundamentos y AplicacionesAndres Perez Lopez12
Barcelona
Barcelona
Outline Introduccion
Presentacion Contexto
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Outline Introduccion
Presentacion Contexto
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Presentacion Sobre m
Presentacion Sobre m
Presentacion Sobre m
Presentacion Sobre m
Presentacion Sobre m
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Contexto Audio 3D - Sonido Espacial
∂2p
Google VR, Spatial Audio
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Fundamentos de localizacion ITD & ILD
L.Sun, Dynamic binaural sound source localization with interaural time difference cues: Artificial listeners, 2015
D. Begault, 3D-Sound for Virtual Reality and Multimedia, 2000
Fundamentos de localizacion Cono de Confusion
D. Begault, 3D-Sound for Virtual Reality and Multimedia, 2000
Outline Introduccion
Presentacion Contexto
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
HRTF Head-Related Transfer Functions
T. Lentz et al, Precise Near-to-Head Acoustics with Binaural Synthesis, 2006
HRTF Head-Related Transfer Functions
HRTF Head-Related Transfer Functions
D. Begault, 3D-Sound for Virtual Reality and Multimedia, 2000 (after Gierlich,1992)
HRTF Head-Related Transfer Functions
Georg Neumann GmbH, KU-100
HRTF Head-Related Transfer Functions
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Panning de Amplitud Estereofona
V. Pulkki, Spatial Sound Generation and Perception by Amplitude Panning Techniques, 2001
√√√√n=N∑ n=1
gp n = 1 (3)
C. Bennett et al,A new approach to the assessment of stereophonic sound system performance, 1985
Panning de Amplitud 5.1 - ITU 775
Apple, Logic Pro 8 User Manual
Panning de Amplitud Hamasaki 22.2
K. Suzuki, The Stereophonic Audio Experience of Trending 3D Audio Systems
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
VBAP Vector-Based Amplitude Panning
V. Pulkki, Spatial Sound Generation and Perception by Amplitude Panning Techniques, 2001
[ pn pm pk
] ln1 ln2 ln3
lm1 lm2 lm3
lk1 lk2 lk3
V. Pulkki, Spatial Sound Generation and Perception by Amplitude Panning Techniques, 2001
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Ambisonics Fundamentos
Fourier Transform
From E. Bates et. al., Comparing Ambisonics Microphones - Part 2, 2017
Ambisonics Grabacion
J. Daniel, The Experimenter Corner - The Perceptive Aspects of Ambisonic and Stereophonic Rendering ,2000
J. Daniel, The Experimenter Corner - The Perceptive Aspects of Ambisonic and Stereophonic Rendering ,2000
J. Daniel, The Experimenter Corner - The Perceptive Aspects of Ambisonic and Stereophonic Rendering ,2000
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Wave Field Synthesis Principio de Huygens
A. Nordmann, Refrection in the manner of Huygens
The Game of Life Foundation, About Wave Field Synthesis
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Binaural Muestreo de la esfera
SPHERE DESIGN RULE: Hardin and Sloane Spherical Designs
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Transaural Binaural sobre altavoces
F. Kaiser, Transaural Audio - The reproduction of binaural signals over loudspeakers
F. Kaiser, Transaural Audio - The reproduction of binaural signals over loudspeakers
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Sumario Channel-Based vs. Object-Based
Adapted from GAudio , End-to-End VR Audio Solution for Fully Immersive/Interactive Experience, 2016
https://www.slideshare.net/GaudioLab/gaudio-at-aes-conference-2016published-ver
Comparacion
VBAP
+ Simple
Comparacion
Ambisonics
- Necesidad de decodificacion
- Solo horizontal
- Carga computacional
Outline Introduccion
Presentacion Contexto
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Realidad Virtual
I Transformaciones geometricas I Directional Loudness I Warping I Rotacion: Head-Tracking
Realidad Virtual
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Sonido Immersivo Dolby Atmos
Escucha espacial Fundamentos de localizacion HRTF
Sntesis de Sonido 3D Panning de Amplitud VBAP Ambisonics Wave Field Synthesis Binaural Transaural Sumario
Aplicaciones Realidad Virtual Sonido Immersivo Separacion de Fuentes
Separacion de Fuentes Efecto Cocktail-Party
S. Scutti, The Cocktail Party Effect In Action: Have Trouble Hearing? Listen To The Voice Of A Loved One
Separacion de Fuentes Analisis del Vector Intensidad
Adapted from O. Thiergart et. al., Localization of Sound Sources in Reverberant Environments Based on Directional Audio Coding Parameters, 2009
¡Gracias! ¿Preguntas?