Alejandro Rosa-Pujazón Isabel Barbancho Lorenzo J. Tardón Ana M. Barbancho

INTRODUCCIÓN

DESCRIPCIÓN DEL SISTEMA

EVALUACIÓN

CONCLUSIONES Y LÍNEAS FUTURAS

DETECCIÓN DE BEATS: detección de la estructura rítmica

ESTIMACIÓN DE INTENSIDAD: generación de comandos de diferentes niveles de dificultad

Aplicación de nuevas tecnologías a experiencias interactivas con la música

Experiencias más enriquecedoras e inmersivas

Simplifica/Facilita el acceso a experiencias musicales

Nuevos paradigmas de interacción musical que no serían posibles con métodos más tradicionales

3

Objetivo – Simulador de step-aerobics

Bajo coste

Intuitivo y fácil de utilizar

Simulador de step-aerobics

Detección de “gestos” Wii Balance Board

Aplicación Android

4

Paradigma de interacción intuitivo: usuario recibe direcciones por parte del instructor y realiza los pasos indicados

Simulador de step-aerobics

Onsets secuencia de tiempos de ataque de las notas mantiene la información de la estructura rítmica y simplifica el análisis

1ª Función: detectar posición exacta de beats en la melodía

2ª Función: generar comandos de step-aerobics de acuerdo a la intensidad rítmica de la pieza elegida

5

Algoritmo de detección de onsets

Tratamiento diferenciado en sub-bandas de frecuencia

Extracción de picos: - Se eliminan/aglutinan los picos “muy juntos” - Resultado final: secuencia de onsets en el tiempo

6

Análisis en frecuencia para mayor generalidad

Algoritmo de detección de beats (Dixon 2001)

7

Estimación de tempo: se calcula la diferencia en el tiempo de cada par de onsets (Inter-onset Intervals, IOI)

La información rítmica está contenida en los IOI entre 50 ms y 2 s (Handel, 1989)

Algoritmo de clustering sobre el conjunto de IOI genera diferentes hipótesis de tempo (imagen Dixon 2001 ejemplo de 5 posibles valores de tempo a partir de la agrupación de los IOI)

Algoritmo de detección de beats (Dixon 2001)

Sistema basado en agentes para detectar los “beats”

8

Se crea un conjunto de agentes con un valor Tsalto o de los valores de tempo encontrados

A partir de un instante inicial, los agentes recorren la secuencia de onsets en pasos de ti+1 = ti + Tsalto

Si hay onsets “suficientemente cerca” (según un umbral) de ti+1 , se modifica parcialmente el valor de Tsalto para intentar coincidir con el onset encontrado

Al finalizar su recorrido, cada Agente indica una secuencia de instantes temporales, y una puntuación en función de cómo de cerca están dichos instantes a eventos rítmicos (onsets) en la canción

El Agente con mejor puntuación define la posición temporal de los “beats”

Estimación del grado de intensidad

La categoría más común se toma como referencia y se le asigna una intensidad base. La intensidad del resto de categorías se asigna en función de cómo sea su densidad media de onsets con respecto a la referencia

Enventanado de onsets: - Ventanas de Tc~24 golpes de tempo - 50% solapamiento

Función “densidad de onsets”: - Se calcula el total de onsets en la pieza - Se asigna un valor de densidad a cada ventana en función de la relación entre los onsets en la ventana con respecto al total

9

Partimos nuevamente de la secuencia de onsets

Diferentes niveles de densidad de onsets se asocian a diferentes niveles de intensidad rítmica: clustering por k-NN k categorías

Estimación del grado de intensidad

Ejemplo para k=3

10

A B B B C C B B A B B C C B

3 categorías (A, B y C) A B C

Número medio de beats por categoría 15 23 47

Nivel de intensidad asociado Bajo Medio Alto

B es la categoría más común y se toma como referencia. La intensidad de A y C se ajusta en relación al número medio de onsets asociado a las mismas

Asignación de comandos de step-aerobics de dificultad variable en función de la intensidad de cada bloque

Evaluación experimental: 10 participantes

Tres niveles de intensidad: estándar, alto y bajo.

1 sesión de steps con una de 5 canciones posibles.

Comandos presentados por pantalla.

Ejercicios de baja y estándar intensidad: 4 pasos. Alta intensidad: 8 pasos.

0 2 4 6 8 10

Utilidad

Satisfacción

Novedad

Facilidad de uso

Sincronización

Media

Min

Max

11

Implementación de un sistema de bajo coste para simulación de step-aerobics

12

Líneas futuras

Analiza la estructura rítmica y asigna comandos y ejercicios de forma acorde a la intensidad rítmica en cada momento

Añadir comandos por voz y asesoramiento y evaluación profesional para refinar la presentación y secuenciación de los ejercicios

Evaluación con usuarios: se reporta en general una experiencia positiva

Limitaciones: interacción visual y dificultad en la secuenciación de algunos ejercicios

Aplicación como herramienta de apoyo para rehabilitación