5.6 Der Bildschirm war gestern – „Projection Mapping“ als visuelle Präsentationsform

Im Folgenden soll die relativ junge Kunstform des „Projection Mapping“ beschrieben werden. Beim „Projection Mapping“ werden reale Objekte mithilfe von Computern und Beamern exakt ausgeleuchtet, sodass es dem Betrachter vorkommt, als ob die Oberflächen wirklich der Projektion entsprächen. Dadurch lassen sich optische Täuschungen erzeugen, z. B. eine Verformung des Körpers. Diese Technik erfreut sich zunehmender Beliebtheit und wird auch gerne von Unternehmen zur Produktpräsentation oder im Eventbereich (Festivals, Clubs usw.) zur Aufwertung des Ambientes bzw. der Live-Performance genutzt.

Um ein Verständnis für das „Projection Mapping“ und die Thematik zu entwickeln, werden zunächst ein Computer, ein Beamer und ein simpler Würfel benötigt. Einfache geometrische Formen (Würfel, Pyramide usw.), die keine Wölbung oder anderweitige Verformungen aufweisen, lassen sich einfacher beleuchten. Zunächst schließt man den Beamer an den Computer an und richtet den Beamer so aus, dass drei Seiten des Würfels gleichmäßig vom Beamer bestrahlt werden (siehe Abb. 20). Für eine 360° Beleuchtung sind mindestens zwei Beamer notwendig. Beim Beamer muss darauf geachtet werden, dass dieser richtig eingestellt ist, u. a. Schärfe, Fokus, Einstrahlwinkel zu Objekt usw.. Anschließend kann man ein Grafikprogramm öffnen (z. B. Windows Paint, Photoshop usw.), und man kann versuchen, die Würfelflächen manuell einzufärben. Das Prinzip dahinter ist das gleiche, als ob man auf einem Blatt Papier einen dreidimensionalen Körper aus einer bestimmten Perspektive zeichnen möchte. Das Objekt erscheint für das Auge so, als besäße es eine Tiefe, dabei ist es weiterhin nur zweidimensional, also eine optische Täuschung. Falls das Grafikprogramm Ebenen unterstützt, sollte man zuerst die Konturen der Würfelflächen im Programm nachzeichnen. Diese können die Arbeit später erleichtern, indem sie dupliziert und danach neu bearbeitet werden können, ohne dass die vorherigen Bearbeitungen beeinflusst werden – vergleichbar mit einer Schablone, die angefertigt wird. Schon bei der Erstellung des Materials muss darauf geachtet werden, dass der Arbeitsbereich mindestens die gleiche Auflösung hat wie die spätere Darstellung im Vollbildmodus. Ansonsten

Abb. 20 Beamer Ausrichtung zu Objekten

Abb. 20 Beamer Ausrichtung zu Objekten

kann es sein, dass die Flächen nicht auf das zu beleuchtende Objekt passen. Eine höhere Auflösung kann entsprechend herunter skaliert werden. Eine zu geringe Auflösung würde zu einer verpixelten Grafik führen – die Grafik sieht grobkörnig bzw. unscharf aus. Hat man mehrere Bilder erstellt, können diese einzeln abgespeichert werden. Nun kann das Ganze mithilfe eines Diashow Programms – Standardfunktion in vielen Betriebssystemen – abgespielt werden. Mit einem Smartphone, besser noch einem Tablet, sind die Zeichnungen intuitiver zu gestalten, weil die Zeichnungen wie mit einem regulären Stift und Papier erstellt werden können. Die Bildschirmausgabe kann über einen entsprechenden Adapter oder durch eine Funkverbindung und Plug-In erfolgen – bei iOS kann man das integrierte Airplay System zusammen mit der „Reflection“ Applikation nutzen – um die Bildschirmausgabe an den Beamer weiterzuleiten. Benutzt man eine Funkverbindung, ermöglicht dies, dass man bei der Erstellung direkt die Zeichnung bzw. Darstellung auf dem Objekt überprüfen kann.

Möchte man animierte Grafiken (Gifs, Flashs usw.) und Filme im Zusammenhang mit einem „Projection Mapping“ Projekt benutzen, muss ein zusätzliches VJ Programm (Video Jockey, vergleichbar mit dem DJ, nur dass Videos statt Musik bearbeitet wird) benutzt werden. Es gibt einige kostenlose (u. a. VPT 6.0, VVVV), aber auch zahlreiche kostenpflichtige Programme (u. a. MadMapper22, Resolume 4 Arena usw.), die nach dem gleichen Prinzip wie vorher beschrieben arbeiten. Die anzuzeigenden Medien werden durch den Rechner auf vorher angefertigte Masken (siehe Abb. 21) gelegt – vergleichbar mit einem Tangram Puzzle.

Abb. 21 Objektmaske für einen Würfel in VPT 6.0

Abb. 21 Objektmaske für einen Würfel in VPT 6.0

Dieser Vorgang geschieht automatisch mit dem sogenannten „Mappen“ (siehe Abb. 22) des Objekts und ist für den Benutzer oftmals nicht direkt sichtbar. Die „Projection Mapping“-Applikationen erlauben es zusätzlich, dass die Medien zu einer Performance arrangiert werden können, sodass die Medien synchron, z. B. zu Musik, abgespielt werden. Dazu beinhalten die meisten Programme noch zusätzliche Effekte und Schnittstellen (DMX, MIDI und OSC) zur Steuerung. Die Programme sind so ausgelegt, dass man Medien mit ihrer Hilfe auf komplexe Objekte (z. B. gewölbt) projizieren kann, ohne dass das Ursprungsmaterial verzerrt wird.

Abb. 22 Mappen („Slices“ und Gitternetz) eines Objekts in Resolume 4 Arena.

Abb. 22 Mappen („Slices“ und Gitternetz) eines Objekts in Resolume 4 Arena.

Im folgenden Teil dieses Kapitel wird das Erstellen einer Projection Mapping Performance näher beschrieben. Dazu wird mit Resolume 4 Arena gearbeitet. Die Arbeitsweisen können weitgehend mit allen oben aufgeführten Programmen nachgestellt werden. So kann man mit der Syphon23 Schnittstelle die Medien zuerst mit Max/MSP oder anderen VJ Programmen verfeinern (Farbeffekte, Verzerrungen usw.), bevor sie an die Projection Mapping Software weitergeleitet werden. Für die Arbeit mit Projection Mapping wird eine 3D kompatible Grafikkarte benötigt. Dazu muss der verwendete Rechner eine relativ hohe Rechenleistung besitzen, mindestens 2gb Arbeitsspeicher und eine schnelle Festplatte (min. 7400 Umdrehungen pro Minute, hohe Lese- und Schreibgeschwindigkeit). Eine Solid State Disk (SSD) ist optimal, weil diese aufgrund ihrer physikalischen Eigenschaften eine höhere Lese- und Schreibfrequenz ermöglicht. MIDI Controller können die Steuerung bzw. das Einprogrammieren der einzelnen Aktionen übernehmen.

Bevor die Jugendlichen mit dem Projection Mapping anfangen können, müssen sie Elemente gestalten, die entsprechend beleuchtet werden sollen. Die Oberfläche sollte weiß sein. Man kann z. B. einfache Pappkartons nutzen und diese mit der weißen Rückseite von Geschenkpapier verkleiden oder mit Farbe lackieren. Man kann auch andere Objekte nutzen (Stoff, Schuhe, T-Shirts, Schnee usw.). Die Oberfläche sollte wenige Reflektionen aufweisen, damit die Projektion nicht auf anderen Oberflächen gespiegelt wird. Danach müssen die entsprechenden Objekte im Programm eingezeichnet werden.

Abb. 23 Mappen des Objekts in Resolume 4 Arena

Abb. 23 Mappen des Objekts in Resolume 4 Arena

Dazu geht man im Menü von Resolume 4 Arena auf den Menüpunkt „Ausgang“, „Erweitert“ – es öffnet sich ein separates Fenster, bei dem man verschiedene Optionen auswählen kann. Betreibt man sein Projekt mit mehreren Beamern, um z. B. Flächen besser auszuleuchten oder eine 360° Projektion anzufertigen, kann man mit dem „Screen“ (Bildschirm) für jeden Beamer ein spezielles Setup erstellen und abspeichern. Zusätzlich kann man dort die genaue Auflösung des Beamers einstellen. Um die Medien für ein Objekt zu mappen, muss man ein „Slice“ hinzufügen (Abb. 24, links unter „Bildschirme“, grün hinterlegte Fläche). Unter „Eingang Auswahl“ kann man z. B. die Quelle auswählen, von der der „Slice“ sein Material bezieht. Unten links im Fenster (Abb. 24) kann man das Gitternetz anzeigen, das sehr hilfreich ist, um den „Slice“ an das zu beleuchtende Objekt genau anzupassen und die Ausgabe auf mögliche Verzerrungen bzw. Abweichungen zu überprüfen. Zusätzlich kann man (rechts unter „Optionen“, Abb. 24) bestimmen, ob die Bildausgabe als „Linear“, „Bezier“ oder „Perspektive“ ausgegeben werden soll.

Abb. 24 Resolume 4 Arena, erweiterte Bildschirmeinstellungen

Abb. 24 Resolume 4 Arena, erweiterte Bildschirmeinstellungen

Möchte man komplexere Formen als einen Würfel mappen, kann man zusätzliche Markierungspunkte (rechts „Optionen, Abb. 24) einfügen und kann so die Fläche entsprechend anpassen. Sind alle Einstellungen gemacht, sollte die Ausgabe entsprechend Abb. 25 auf dem Beamer aussehen und die Flächen des Würfels exakt ausgeleuchtet sein (Abb. 26).

Abb. 25 Resolume 4 Arena, Beamer Bildschirm

Abb. 25 Resolume 4 Arena, Beamer Bildschirm

Abb. 26 Würfel wird durch Beamer ausgeleuchtet

Abb. 26 Würfel wird durch Beamer ausgeleuchtet

Nun kann mit dem eigentlichen Bildarrangement begonnen werden. Resolume 4 Arena bietet für diesen Zweck Layer (Ebenen) an (Abb. 27, gelbe Markierung 2), die, wie vorher erwähnt, an die einzelnen Slices gesendet werden können. Resolume 4 Arena bietet die Möglichkeit, Filme und Musik an die Abspielgeschwindigkeit (Beats Per Minute (BPM)) der Komposition anzugleichen. Falls die Medien nicht der Anzeigefläche entsprechen, kann man diese über eine Zusatzoption (Abb. 27, gelbe Markierung 3) an die Abspielfläche skalieren. Zusätzlich kann man diese Layer oder die Gesamtkomposition über zusätzliche Effekte manipulieren (Abb. 27, gelbe Markierung 4). Viele der Effekte benötigen eine enorme Rechenleistung, sodass es sinnvoll ist, einzelne Layer über die „Layer Router“ Optionen zu Gruppen zusammenzufügen. Durch Anklicken der Spaltennamen oder einzelner Layer kann man die Medien aktivieren (Abb. 27, gelbe Markierung 2). Links an der Seite kann bestimmt werden, wie sichtbar bzw. wie laut (A, AV, V) die Medien in der Gesamtkomposition sind (Abb. 27, gelbe Markierung 1).

Abb. 27 Resolume 4 Arena Programmoberfläche

Abb. 27 Resolume 4 Arena Programmoberfläche

Über den Menüpunkt „Mapping“ können die einzelnen Layer(-Optionen) und Spalten mit MIDI, OSC, DMX und einer Tastatur verknüpft werden, sodass man sie gezielt ansteuern kann. Die folgende Abb. 28 beschreibt den Aufbau für die Projection Mapping Performance zu dem Lied „Feuer“ von Materia, Miss Platnum und Yasha.

Abb. 28 Setup Übersicht für die Projection Mapping Performance zu dem Lied "Feuer" von Materia, Miss Platnum und Yasha.

Abb. 28 Setup Übersicht für die Projection Mapping Performance zu dem Lied “Feuer” von Materia, Miss Platnum und Yasha.

Ein Computer ist für die visuelle Präsentation zuständig (Resolume 4 Arena) und der andere Computer übernimmt die Audio bzw. MIDI Verarbeitung. Für die visuelle Präsentation durch Resolume 4 Arena wurden extra Foto-, Flash- und Filmdateien mit Adobe Flash, Adobe Photoshop, Apple Quartz Composer, Apple Final Cut erstellt – die Hände z. B. wurden mit einem „iPhone 4“ und der „Greenscreen“ Methode (einfacher grüner Pullover) mit dem „Chromakey“ Filter (filtert den grünen Bereich aus einem Video heraus) erstellt. Diese Technik ist bei Film und Fernsehen üblich. Die MIDI/OSC Geräte sind über USB bzw. Wlan Verbindungen (grüne Linie, Abb. 28) an den Audiocomputer angeschlossen. Zuerst werden die eingehenden Steuerdaten durch ein Max/MSP Patch verarbeitet (Matrixschaltung, OSC Datenempfang von TouchOSC usw.) und danach an das DAW (Digital Audio Workstation)/DJ Programm „Ableton LI VE 8“ weitergeleitet. In „Ableton LIVE 8“ sind eine Audiospur und eine MIDI Spur angelegt. Auf der Audiospur liegt das Audiofile „Feuer“ – diese gibt die Masterabspielgeschwindigkeit (BPM) für das gesamte Projekt vor und sendet ein MIDI-Clock Signal raus. Die MIDI Spur zeichnet die eingehenden Steuerdaten auf. Bevor die endgültigen MIDI-Steuerdaten aufgezeichnet werden, wurden manuell alle nötigen MIDI-Befehle in Resolume 4 Arena über eine CoreMIDI und Ethernet (LAN-Kabel) Verbindung (blaue Linie, Abb. 28) von „MAC 2“ an „MAC 1“ gesendet und definiert. Eine direkte LAN Verbindung eignet sich besser, weil es über Wlan und Adhoc-Netzwerk zu Latenzen kommen kann bzw. die Drahtloseverbindung durch Störsignale (z. B. Funktelefon) unterbrochen werden könnte. Über ein externes Audiointerface wird der Pegel von „MAC 2“ an „MAC 1“ gesendet, um zusätzlich die Medien über den anliegenden Audiopegel zu modifizieren bzw. zu steuern (rote Linien, Abb. 28). Anschließend wurden zu der Audiospur die MIDI-Daten live einprogrammiert. Dadurch dass sie extra auf einer MIDI Spur aufgezeichnet wurden, können diese im Nachhinein noch nachbearbeitet werden bzw. man muss nur einen Teil des oben abgebildeten Setups aufbauen (Resolume 4 Arena, Ableton LIVE 8, MAC 1, -2 und Beamer) und die Programmdateien laden und kann jederzeit die Projection Mapping Performance wiedergeben.

 

5.5 „Hör mir zu!“ – Einen eigenen MIDI/OSC Controller entwickeln |

5.7 Die „Bühne“ – Jugendliche präsentieren ihre Werke |