Zeitraum: Jänner 2022 – August 2022

Hintergrund

Bei der 2D-Cutout-Animation werden naturgemäß analoge Fragmente Bild für Bild aufgezeichnet. Diese Technik ist eine etablierte Methode, um bewegte Bilder zu erstellen. In ExperiMotion 1 wurde Cut-Out-Animation mit Virtual Reality kombiniert. Hierbei tritt die Animation auf einer Mikroebene (d. h. animierte Details von Objekten) und auf einer Makroebene (d. h. animierte Umgebungen) in Erscheinung.

Projektinhalt

ExperiMotion 1 fand in Kooperation mit dem Gastkünstler Max Hattler statt, dessen aktuelle Forschung sich auf synästhetische Erfahrung und visuelle Musik und das narrative Potenzial abstrakter Animation konzentriert. Die Praxis des eingeladenen Künstlers Sune Petersen widmet sich hauptsächlich generativen Videoperformances und spielerischen performativen Installationen. Der Animationsstil von ExperiMotion 1 basiert auf dem Film Shift (2012) von Max Hattler. Die animierten Objekte wurden aus der Sammlung von Hans „Nick“ Roericht, Designprofessor an der Universität der Künste Berlin, ausgeliehen. Eine weitere Inspirationsquelle war der von Petersen und Hattler entwickelte Hattlerizer. Für den auditiven Teil des Projekts entwickelte Sune Petersen einen Algorithmus zur Sonifikation der Stop-Motion-Loops basierend auf den Prinzipien des Lichttonverfahrens.

Ziele

Da die Cut-Out-Animationstechnik inhärent flach ist, war das Arbeiten damit im dreidimensionalen virtuellen Raum eine besonders interessante Herausforderung, woraus sich folgende Forschungsfragen entwickelten:

• Wie können wir Raum in einer virtuellen Umgebung definieren?
• Wie können wir mit einer an sich flachen Animationstechnik (Cut-Out) Räumlichkeit in einer virtuellen Umgebung erzeugen? 
• Wie übertragen wir die haptischen Eigenschaften der Cut-Out-Animation in die virtuelle Welt?
• Was sind die möglichen Funktionen einer Stop-Motion-Loop in einer animierten virtuellen Live-Performance?
• Wie können wir räumlichen Klang in einer virtuellen Umgebung erzeugen?

Methoden und Ergebnisse

Künstlerische Forschung war ein wesentlicher Bestandteil des Arbeitsprozesses. Zu diesem Zweck wurden Protokolle, Video- und Sprachaufnahmen sowie Transkriptionen und Screenshots von wesentlichen Meilensteinen, Diskussionen und Meetings erstellt, um zu verstehen, wie genau der Entscheidungsprozess während der Zeitspanne von ExperiMotion 1 ablief. 

Zu Beginn von ExperiMotion 1 baute das VRinMotion-Team jeweils einen Prototyp in TouchDesigner und Unity, arbeitete mit Video-Feeds und erstellte Stop-Motion-Animation direkt in der VR. Nach Gesprächen mit den eingeladenen Künstlern entschied sich das Team, mit Unity fortzufahren und Cut-Out-Animations-Loops über ein internes Netzwerk in die VR zu importieren. Für den Unity-Prototypen implementierte das Team das Mixed Reality Toolkit (MRTK) von Microsoft. Mit diesem Toolkit können sowohl Künstler als auch Teilnehmer die Cut-Out-Loops frei virtuellen Raum platzieren, sowie Größe und Richtung ändern. Da das Backface-Culling im Shader, der die Animation als Textur darstellt, ausgeschaltet ist, sind die Cut-Out-Loops auch von der Rückseite sichtbar, und es ist möglich, 2½-dimensionale Objekte zu bauen. Auch haptische Aspekte der Stop-Motion-Objekte werden aufgrund der guten Auflösung des für das Projekt verwendeten Varjo XR-3 Headsets sehr gut in die virtuelle Umgebung übertragen.

Darüber hinaus wurde zur manuellen Platzierung eine räumliche Voranordnung der Loops in After Effects und vvvv vorgenommen und zur weiteren Bearbeitung und Anordnung in die virtuelle Umgebung importiert. Zusätzlich zum Platzieren von Animations-Loops im Vordergrund kann die Cut-Out-Animation in eine Hintergrundkugel importiert werden, die durch einen im Shader implementierten UV-Shifting-Algorithmus unregelmäßig verzerrt werden kann.

Teilnehmer*innen

Max Hattler, Sune Petersen, Christoph Schmid;
Franziska Bruckner, Clemens Gürtler, Matthias Husinsky, Mario Zeller, Arian Jalaeefar, Christian Munk, Julian Salhofer, Peter Schoiswohl;
Ramon Brullo, Patrick Horvath

Vortrag von Franziska Bruckner: Between the Frames: Expanding Stop-Motion for Virtual and Hybrid Environments at Expanded Animation. Mapping an Unlimited Landscape, Ars Electronica Center, Linz. (2022, September 9)