Computer compositing

30.1.18 – Paul Preuschoff

Inhalt

2

Einleitung Methodik ProblemeState of the Art

Ausblick

Einleitung

3

Einleitung Methodik ProblemeState of the Art

Ausblick

Computer Compositing

4

Das Generieren von neuer guter Musik

Historie

5

Historie

• 1026: Benediktinermönch ordnet den Silben religiöser Texte verschiedene Töne zu

• 1660: Athanasius Kircher baut eine Komponiermaschine

• 1793: Mozarts „Anleitung zum Componieren von Walzern“ erscheint posthum

• 1960: Komponist Iannis Xenakisschreibt ein Fortran Programm das Partituren erzeugt

6

Arca musarithmica(Komponiermaschine)Bild: Wikimedia

Mozarts Buch zum Komponieren mit WürfelnBild: Amazon

Computer Compositing

Das Generieren von neuer guter Musik

7

Was ist Musik?

8

Was ist Musik? - Definition

• Folge von organisierten Schallereignissen (Töne) verschiedener – Lautstärke– Tonhöhe– Auslösezeit, Tondauer

• Mehrere Töne hintereinander bilden eine Melodie

• Mehrere Töne übereinander bilden eine Harmonie

• Töne stammen aus einer Skala

10

Computer Compositing

Das Generieren von neuer guterMusik

11

Was ist gute Musik?

12

Periodizität AbwechslungUmwelt

Das fundamentale Gleichgewicht der Musik

Sicherheit AbenteuerEmotion

Rhythmus Refrain Melodie Strophe

Musik

13

Oft macht grade das Brechen der formalen

Kriterien besonders gute Musik aus.

17Bild: Cover des Beatles Albums Sergeant Pepper

Computer Compositing

Das Generieren von neuer guter Musik

18

Wie erzeugt man neue, gute Musik?

19

Einleitung Methodik ProblemeState of the Art

Ausblick

Vorbereitung

20

Format: Noten oder Waveform

21

Noten Waveform

Geringe KomplexitätBerechnung: Realtime – wenige Stunden

Hohe KomplexitätBerechnung: wenige Stunden - Tage

Leicht editierbar, kein Endprodukt

Endprodukt, Editierung eingeschränkt

Musik ist nicht so komplex, keine Vocals

Musikalische Komplexität potentiell sehr hoch, Vocals theoretisch möglich

Vereinfachung Beispiel

23

Original MIDI-File

Vereinfachung Beispiel

24

Original MIDI-File

Quantisieren

Vereinfachung Beispiel

25

Original MIDI-File

QuantisierenVarianz

entfernen

Vereinfachung Beispiel

26

Original MIDI-File

QuantisierenVarianz

entfernenMonofonie

0 24 26 28 281 1 1 1 2

…

Methoden

27

Methoden zur Erzeugung

1. Stochastische Methoden

2. Wissensbasierte Systeme

3. Musik als Sprache

4. Evolutionäre Algorithmen

5. Künstliche neurale Netzwerke

28

1. Stochastische Methoden

• Stochastische Analyse einer Eingabe, zur Erzeugung einer stochastisch ähnlichen Ausgabe

29

Positiv Negativ

Es sind Loop Escape – Mechanismen nötig

Niedrige Komplexität Um einen Stil gut zu simulieren benötigt man sehr große Datenmengen

geeignet für Echtzeitanwendungen Es ist schwer höhere abstraktere Muster zu erkennen und zu imitieren

Abweichungen von der Norm sind in bestimmten Fällen besonders wichtig

1. Beispiel – Markow-Ketten

• Mathematisches System um die Wahrscheinlichkeiten von Zustandsveränderungen zu erfassen

• Genutzt z.B. von Textvervollständigung oder dem PageRank Algorithmus von Google

30

Andrei Andrejewitsch Markow, russischer Mathematiker, 1856-1922Bild: Wikimedia

1. Markow Ketten - Vorgehensweise

• Aus Trainingsdaten werden die Transitionswahrscheinlichkeiten ermittelt

• z.B. bildet eine Note einen Zustand

• Daraus werden neue Ketten nach den ermittelten Wahrscheinlichkeiten gebildet

31

1. Musik durch Markov Ketten - Beispiel• Markow Kette erster Ordnung

– Es wird immer aus der aktuellen Note auf die Nachfolgende geschlossen

32

NoteDauer

Auf die Note A6 folgte 28 mal die Note G# mit einer Länge von 500ms

1. Musik durch Markov Ketten -Beispiel

• Input:

– River Flows In You - Yiruma

• Output:

– River Flows In You (Markow Version) – Alvin Lin

33

2. Wissensbasierte Systeme

• Werden z.B. genutzt um Usern neuen Content vorzuschlagen

• Symbolisches erzeugen von Musik nach definierten Regeln

35

Positiv Negativ

Ergebnisse können genau nachvollzogen werden (benutzte Regeln)

Regeln präzise festlegen ist langwierig, Musikexperten erforderlich

Viele Regeln sind bekannt -> Musiktheorie Subjektivität

Benötigt keine Trainingsdaten Systeme neigen dazu sehr kompliziert zu werden, Vereinfachungen kaum möglich

3. Musik als Sprache

• Melodieerzeugung mithilfe von Grammatiken

• Beispiel anhand von Mozarts frühen Stücken

36

3. Musik als Sprache - Beispiel

LIED -> SONATE | RONDO | FUGE

SONATE -> INTRO MENUETT FINALE

INTRO -> MELODIE_C_DUR MELODIE_F_DUR MELODIE_C_DUR

37

3. Musik als Sprache - Beispiel

• Nachteile:

– das Finale sollte die selben Melodien enthalten wie das Intro

– Melodiegenerierung

– Grammatiken werden sehr schnell sehr kompliziert

• Vorteile:

– Geeignet für die Struktur eines Stücks als Teil eines Hybridsystems

38

4. Evolutionäre Methoden

• Naturanaloges Optimierungsverfahren

• Fitness Function

– Kriterien

– Mensch

40

Positiv Negativ

Effizient, besonders bei großem Suchraum Automatische Fitness Function ist sehr begrenzt möglich

Stellen mehrere Lösungen zur Verfügung Bei menschlicher Variante: äußerst ineffektiv und subjektiv

Lösung nicht begründet/nachvollziehbar

Die Antenne der Space Technology 5 Satelliten, von EAs entwickeltBild: Wikimedia

5. Künstliche neurale Netzwerke

• Kein Vorwissen

• Werden mithilfe von Trainingsdaten trainiert

• Momentan populärste und erfolgreichste Methode zur Musik Erzeugung

41

InputOutput

Hidden layers

Künstliche neuronale Netzwerke sind Netze aus künstlichen Neuronen. Sie stellen einen Zweig der künstlichen Intelligenz dar.Bild: Wikimedia

Nutzungssrichtung

5. Beispiel Zahlenerkennung

42

…

…

…

…

…1

2…

9

…

Trainingssrichtung

43

5. Neurale Netze - Stiladaption

Quelle: http://genekogan.com/works/style-transfer/

Nutzungssrichtung

5. Musikalische Stiladaption

44

………

bachBotOutput

Twinkletwinkle littleStar

… …

Trainingssrichtung

5. Musik generieren

45

……… … …

Input Output

Probleme

46Einleitung Methodik Probleme

State of the Art

Ausblick

Probleme

47

Völliger Zufall

Qualität

Originalität

Overfitting

State of the Art

48Einleitung Methodik Probleme

State of the Art

Ausblick

State of the Art

51

BachBot

Ersteller Feynman Liang (Cambridge University)

Methode Neuronale Netzwerke

Ausgabe Noten, Stil von Bach

Eigenschaften Bis zu 4 Stimmen parallel, Eingabe Melodie

Mensch oder Maschine Quiz:http://bachbot.com/#/quiz?_k=btgu5h

State of the Art

52

WaveNet

Ersteller Google

Methode Neuronale Netzwerke

Ausgabe Audio Waveform

Eigenschaften Hier mit Klassik trainiert, eigentlich für Spracherzeugung konzipiert

reden brabbeln Musik

Ausblick

53Einleitung Methodik Probleme

State of the Art

Ausblick

Ausblick

• Personalisierte Musik

• Möglichkeiten wie „Bachisieren“ oder „Mozarten“ in Musik Software

• Assistenten mit Melodievorschlägen in Musik Software

• Film-/Gamemusik Generierung nach vorgegebener Spannungskurve

54

Vielen Dank für die Aufmerksamkeit

Hauptquellen

• AI Methods for Algorithmic Composition: A Survey, a Critical View and Future Perspective; George Papadopoulos, Geraint Wiggins

• Music and Computer Composition; James Anderson Moorer

• Genetic Algorithms and Computer-assistedMusic Composition; Andrew Horner

• Using machine-learning Methods for Musical Style Modeling; Shlomo Dubnov, Gerard Assayag, Oliver Lartillot, Gill Bejerano

56

Detailquellen

• Musik: https://de.wikipedia.org/wiki/Musik• Aufbau: http://www.musikanalyse.net/tutorials/popformeln/• Stilentwicklung: https://googlesystem.blogspot.de/2014/01/google-music-

timeline.html#gsc.tab=0• Markov Chains: https://medium.com/@omgimanerd/generating-music-

using-markov-chains-40c3f3f46405• Markow Audio:

https://www.youtube.com/watch?time_continue=77&v=K8viCLJAxec• State of the Art

http://www.asimovinstitute.org/analyzing-deep-learning-tools-music/https://deepmind.com/blog/wavenet-generative-model-raw-audio/

• Neurale Netzehttp://neuralnetworksanddeeplearning.com/chap1.html

• Wave nethttps://deepmind.com/blog/wavenet-generative-model-raw-audio/

57