Zeitraum: Jänner 2022 – August 2022

Bei der 2D-Cutout-Animation werden naturgemäß analoge Fragmente Bild für Bild aufgezeichnet. Diese Technik ist eine etablierte Methode, um bewegte Bilder zu erstellen. In ExperiMotion 1 wird Cut-Out-Animation mit Virtual Reality kombiniert. Hierbei tritt die Animation auf einer Mikroebene (d. h. animierte Details von Objekten) und auf einer Makroebene (d. h. animierte Umgebungen) in Erscheinung.

ExperiMotion 1 findet in Kooperation mit dem Gastkünstler Max Hattler statt, dessen aktuelle Forschung sich auf synästhetische Erfahrung und visuelle Musik und das narrative Potenzial abstrakter Animation konzentriert. Die Praxis des eingeladenen Künstlers Sune Petersen widmet sich hauptsächlich generativen Videoperformances und spielerischen performativen Installationen. Der Animationsstil von ExperiMotion 1 basiert auf dem Film Shift (2012) von Max Hattler. Die animierten Objekte werden aus der Sammlung von Hans „Nick“ Roericht, Designprofessor an der Universität der Künste Berlin, ausgeliehen. Eine weitere Inspirationsquelle ist der von Petersen und Hattler entwickelte Hattlerizer. Für den auditiven Teil des Projekts entwickelt Sune Petersen einen Algorithmus zur Sonifikation der Stop-Motion-Loops basierend auf den Prinzipien des Lichttonverfahrens.

Künstlerische Forschung ist ein wesentlicher Bestandteil des Arbeitsprozesses. Zu diesem Zweck werden Protokolle, Video- und Sprachaufnahmen sowie Transkriptionen und Screenshots von wesentlichen Meilensteinen, Diskussionen und Meetings erstellt, um zu verstehen, wie genau der Entscheidungsprozess während der Zeitspanne von ExperiMotion 1 abläuft. 

Zu Beginn von ExperiMotion 1 baut das VRinMotion-Team jeweils einen Prototyp in TouchDesigner und Unity, arbeitet mit Video-Feeds und erstellt Stop-Motion-Animation direkt in der VR. Nach Gesprächen mit den eingeladenen Künstlern entscheidet sich das Team, mit Unity fortzufahren und Cut-Out-Animations-Loops über ein internes Netzwerk in die VR zu importieren. Für den Unity-Prototypen implementiert das Team das Mixed Reality Toolkit (MRTK) von Microsoft. Mit diesem Toolkit können sowohl Künstler als auch Teilnehmer die Cut-Out-Loops frei virtuellen Raum platzieren, sowie Größe und Richtung ändern. Da das Backface-Culling im Shader, der die Animation als Textur darstellt, ausgeschaltet ist, sind die Cut-Out-Loops auch von der Rückseite sichtbar, und es ist möglich, 2½-dimensionale Objekte zu bauen. Auch haptische Aspekte der Stop-Motion-Objekte werden aufgrund der guten Auflösung des für das Projekt verwendeten Varjo XR-3 Headsets sehr gut in die virtuelle Umgebung übertragen.

Darüber hinaus wird zur manuellen Platzierung eine räumliche Voranordnung der Loops in After Effects und vvvv vorgenommen und zur weiteren Bearbeitung und Anordnung in die virtuelle Umgebung importiert. Zusätzlich zum Platzieren von Animations-Loops im Vordergrund kann die Cut-Out-Animation in eine Hintergrundkugel importiert werden, die durch einen im Shader implementierten UV-Shifting-Algorithmus unregelmäßig verzerrt werden kann.

Vortrag von Franziska Bruckner: Between the Frames: Expanding Stop-Motion for Virtual and Hybrid Environments at Expanded Animation. Mapping an Unlimited Landscape, Ars Electronica Center, Linz. (2022, September 9)