Alle Filme

Titel:

Echtzeit Musikvisualisierung

Ein Film von:

Max Seeger

Lehrveranstaltung:

Filmmaking with Gaming Engines
Kursinfo

Filmmaking with Gaming Engines

Controller statt Keyframes? Animation und Film mit Unreal und Unity Was bedeutet die Gaming-Engine für uns Filmemacherinnen? Brauchen wir immer noch After-Effects, Cinema-4D, Licht, Kameras, Locations und Darsteller? Müssen wir Stundenlang auf Render warten oder kann das eine Grafikkarte live und in Echtzeit? Sind Keyframes ein überholtes Konzept und man kann Bewegung per Input-Device dirigieren? Kann man Gaming-Engines auch für 2D-Animationen verwenden? Für Gezeichnetes? Für Abstraktes? Brauchen wir als Filmemacherinnen dafür spezielle Tools? Diese Fragen haben wir versuchen in unseren wöchentlichen Zoom-Sessions gemeinsam mit Studierenden des Studiengangs Games-Engieering der Uni-Würzburg (Prof. Dr. Sebastian von Mammen) zu beantworten.


Technisches Praktikum
2020/21 Wintersemester

Beschreibung:

Wenn man Audiovisualisierung hört, hat man oft zappelnde Balken im Kopf. Wieso eigentlich?
Sound ist wie vieles andere doch nur ein Parameter, der viele Dinge bestimmen kann, nicht nur die Größe von ein paar leuchtenden Balken.
Dieser Gedanke war für uns der Start für eine Reihe von Experimenten mit Musik als Ausgangspunkt, um in einer Game Engine Film entstehen zu lassen.


Ein Projekt von Sarah Hofmann (Master Games Engineering) & Max Seeger.

 

Entstanden ist ein kurzer Musikclip als Proof of Concept, der mithilfe einer Custom FMOD-Integration Audioanalyse in Echtzeit durchführt. Alle Animationen des Clips werden von einzelnen Audiospuren des Musikstücks getriggert und jeder Akteur reagiert so auf ein anderes Instrument. Auch der Schnitt des Films ist mithilfe eines eigens programmierten Kamerasystems entstanden, das den Schnitt abhängig von den rhythmischen Elementen der Musik und einigen Zufallsparametern selbstständig anfertigt. Dabei können die einzelnen Objekte der Szene an verschiedenen Fokuspunkten im Bildausschnitt erscheinen und der Schnitt, kann sich danach richten, welches der Objekte gerade „das aktivste“ ist und somit am stärksten vom Audiosignal beeinflusst wird. Der gesamte Clip wurde in Echtzeit generiert und gerendert, einige Zufallsparameter machen es möglich, dass bei jedem Betrachten des Films in der Game Engine ein etwas anderer Film und Schnitt entsteht.