Einreichung Digitale Kultur 2008-1 PERFORMANCER

Aus NetzNetzWiki
Wechseln zu: Navigation, Suche

Inhaltsverzeichnis

Daten 

Projekt/Einrichtungsname: Performancer
Einreichung bei: Netzkultur
Einreichende(r): Johannes Sperlhofer, Jay Vaughan, Richard Rautscher
Fördersumme: 5700 EUR


Kurzbeschreibung

Was genau machen eigentlich die Musiker, die sich auf der Bühne hinter Notebooks verschanzen und dort für das Publikum unsichtbares Zeug anklicken? Wir machen dem Versteckspiel ein Ende und bauen in mehreren öffentlich zugänglichen Workshops ein elektronisches Musikinstrument mit einer intuitiven, haptischen (also begreifbaren und be-greif-baren) Benutzeroberfläche.

Ausführliche Beschreibung

Performancer-title.png

  • Performancer: ein kollaboratives Musikinstrument mit haptischer Benutzeroberfläche



Martin Kaltenbrunner auf einem reactable
Jazzmutant Lemur(r)
Audiopad Composer

Performancer hat die Form eines Tisches. Die 'Tischplatte' ist dabei eine Spielfläche, auf der Kunststoff-Blöcke (die sogenannten 'Tangibles') angeordnet werden. Diese Tangibles stellen Bausteine eines modularen Systems dar, die auf ihre Positionierung zueinander und Ausrichtung auf der Spielfläche reagieren, wodurch die Erzeugung von Klängen und musikalischen Phrasen beeinflusst wird. Durch eine Videoprojektion auf die Spielfläche werden alle Vorgänge nachvollziehbar dargestellt und die halb-transparenten Tangibles zum Leben erweckt. Software zur Mustererkennung wird eingesetzt, um die Tangibles zu erkennen und die grafische Darstellung damit in Übereinstimmung zu bringen. Performancer registriert viele Tangibles gleichzeitig; dies ermöglicht eine intuitivere und direktere Manipulation der Musik als ein einfacher Mauszeiger. Die Bedienung ist spielerisch und intutiv erlernbar; die erzeugten Klänge und musikalischen Strukturen sind aber durchaus komplex und auch für erfahrene Musiker anspechend.

... coole Sache, aber ...

Zwar gibt es bereits einige Instrumente dieser Art, allerdings sind diese großteils prototypischer Natur und schlecht dokumentiert. Die wenigen kommerziell erhältlichen sind einerseits sehr teuer (Jazzmutant Lemur: Basisversion 2500 Euro, Reactable Basisversion: 6500 Euro), andererseits ist die eingesetzte Software ist nicht frei erhältlich.

Ziel des Performancer-Projekts ist daher, den gesamten Programmcode sowie eine umfangreiche Dokumentation zu veröffentlichen und mehrere Workshops zum Thema 'haptische Benutzeroberflächen für virtuelle Musikinstrumente' abzuhalten. Dies ermöglicht interessierten Musikern/Forschern/Künstlern, (kompatible) Nachbauten anzufertigen und gewährleistet, dass die verwendeten Softwareteile und Baupläne konstant verbessert werden können.

Einleitende Videos

Folgende Videos vermitteln einen Eindruck von bereits umgesetzen Projekten und deren Fähigkeiten:

Im Anhang befinden sich Informationen zu weiteren ähnlichen Projekten mit ausführlichen Informationen und relevanten Links.


Ziele

  • Aufbau eines eletronischen Musikinstruments mit haptischen Steuerelementen, Weiterentwicklung basierend auf Erfahrungen und Konzepten von Audiopad, Reactable, Lemur, MultiTouchConsole und diversen anderen (siehe Anhang)
  • Veröffentlichung aller Pläne, Skizzen und Software im Internet um kompatible Nachbauten anzutreiben
  • Abhaltung von mindestens drei Workshops zu Aufbau und Programmierung des Performancer für Interessierte im Metalab in Wien.
  • Aufbau einer aktiven (Web-)Community rund um Performancer und ähnliche Musikinstrumente.
  • Ein öffentlicher Auftritt mit dem fertigen Instrument vor Publikum
  • Zuführung, Verwaltung und Zurverfügungstellung des fertigen Instruments an eine/n Institution/Verein mit Sitz in Wien.

Grundlegende Prinzipen, auf denen Performancer basieren wird:

  • Live - Die erzeugten Klänge entstehen in Echtzeit und ohne (sichtbare) Zwischenschritte.
  • Intuitiv - Die Bedienung soll selbst ohne Vorwissen möglich sein - Handbuch nicht nötig!
  • Komplex (statt kompliziert) - Der Performancer kann nicht nur als Spielzeug eingesetzt werden, sondern soll hohen musikalischen Ansprüchen genügen und der Kreativität der Musiker möglichst keine Grenzen setzen.
  • Kollaborativ - Performancer kann von mehreren Musikern gleichzeitig bedient werden.
  • Open Source - Wir verwenden und entwickeln Software, die frei verfügbar und verwendbar ist. Sämtliche Baupläne werden ebenfalls unter einer freien Lizenz veröffentlicht.
  • Vernetzt - Mehrere Performancer können über Netzwerke (LAN, Internet) über standardisierte Protokolle untereinander verbunden werden und interagieren.
  • Kosteneffizient - Es wird angestrebt, die günstigeste brauchbare Alternative (Baumaterial, Software, Hardware) zu verwenden.
  • Mobil - Der Performancer lässt sich mit vertretbarem Aufwand transportieren.

Online-Dokumentation

Es wird eine Website mit Dokumentation, Plänen und Software aufgebaut. Um die Communitybildung aktiv zu unterstützen, werden wir ein Wiki und ein Forum verwenden. Interessierte Personen können jederzeit Informationen zum Thema ansehen oder beisteuern.

Workshops

Während der Projektlaufzeit werden mehrere (mindestens 3) Workshops zum Thema 'haptische Benutzeroberflächen für virtuelle Musikinstrumente' im Metalab Wien abgehalten (offen für alle Interessierten, freier Eintritt). Neben Vorträgen zum Thema wird auch der aktuelle Status des Performancer vorgestellt und verbessert. Hör-Kostproben nicht ausgeschlossen.

Derzeitiger Status

Teile des Performancer wurden bereits prototypisch fertiggestellt und werden auf der Communitywahl präsentiert.

Detailierter Aufbau des Performancer

Grundaufbau des Performancers

Der Performancer besteht aus fünf Hauptkomponenten: dem Gerüst, den Tangibles, der Kameraeinheit, der Projektionseinheit und dem Soundserver. Diese Komponenten werden in den folgenden Abschnitten näher erläutert:

Das Gehäuse (= "der Tisch")

Prototypischer Plan des Gehäuses
Das Gehäuse besteht aus einem Holzrahmen, der alle weiteren Komponenten trägt. Als Tischplatte (die "Spielfläche") dient eine sandgestrahlte Plexiglasplatte, die als Projektionsfläche für die grafische Benutzeroberfläche dient, aber auch das Erkennen von Tangibles und Berührungen durch die unterhalb montierte Kamera ermöglicht. Eine Konstruktion von 120cm Höhe, 80cm Breite und 80 Tiefe ist geplant. Das Gerüst wird mit Kunststoff- oder Sperrholzplatten verschalt.

Die Tangibles

Sechs verschiedene Amobea-Fiduicals
Ein Tangible mit aufgedruckten Fiduicals
Tangibles bestehen Acrylblöcken, auf deren Unterseite Muster (die sog. 'Fiducials', siehe Abbildung) aufgedruckt sind. Diese Fiducials sind von Maschinen optisch gut zu erkennen und unterscheiden. Jedes Tangible wird eine Komponente des Instruments repräsentieren. Die Position, Ausrichtung und Anordnung der Tangibles auf der Spielfläche hat direkten Einfluss auf die erzeugte Musik.
Alle auf der Spielfläche liegenden Tangibles können mittels der Projektionseinheit mit zusätzlichen grafischen Steuerelementen und Statusinformationen angereichert werden, ähnlich den Tangibles des Audiopad oder des Reactable.

Die Kameraeinheit

Von der Kameraeinheit auf der Spielfläche erkannte Fiduicals (reacTIVision)
  • Input: Optisch Informationen über Position/Ausrichtung der Tangibles
  • Output: OSC-Informationen (Positionsangaben der Fiducials) an Sound- und Projektionsserver
Die Kameraeinheit ist unterhalb der Spielfläche angebracht und erkennt mittels einer hochauflösenden Kamera die Anzahl, Position und Rotation auf der Spielfläche liegenden Tangibles in Echtzeit. Die Kameraeinheit wandelt diese Informationen in Statusinformationen (das sog. 'OSC'-Protokoll) um und sendet diese an die Sound- und die Projektionseinheit.
Die hierfür verwendete Software ist reacTIVision (siehe http://sourceforge.net/projects/reactivision/). reactTIVision ist unter einer Open Source Lizenz erhältlich und beinhält bereits alle Funktionen die in der Kameraeinheit des Performancers benötigt werden.

Der Projektionseinheit

prototypische Spielfläche mit Statusinformationen
Tangibles mit Statusinformationen (reactable)
Echtzeit-Visualisierung in CLAM (CLAM Networkeditor)
  • Input: OSC-Informationen (von Camserver)
  • Output: Statusinformationen für den Musiker und die Zuseher
Die Projektionseinheit besteht aus einem handelsüblichem Videoprojektor mit Weitwinkellinse und einer Software, welche die OSC-Informationen der Kameraeinheit um zusätzliche Statusinformationen und Steuerelemente erweitert und diese auf die Unterseite der Spielfläche projiziert. Die Projektionseinheit visualisiert die Abläufe innerhalb der Soundeinheit, der "Fluss" der Schallwellen wird visualisiert. Die Projektionseinheit ist zwar theoretisch nicht notwendig für den erzeugten Sound des Performancers, aber unerlässlich für das Verständnis zwischen Anordnung der Tangibles und dem erzeugtem Sound.
Eine bereits vorgefertigte Softwarelösung ist derzeit nicht erhältlich - die Software des Audiopad, des Reactable oder des Lemur sind properitär und nicht frei verfügbar. Die Software der Projektionseinheit muss daher neu geschrieben werden. Als Basis wird dazu (voraussichtlich) der Network-Editor des CLAM-Frameworks ( siehe http://clam.iua.upf.edu/ ) verwendet werden. Es wird ein zeitlicher Aufwand von 4 Personenmonaten für die Modifikation der Software berechnet.
Optional:
Eventuell muss die Distanz zwischen Projektor und Projektionsfläche mittels eines Spiegels künstlich verlängert werden, um die Spielfläche komplett beleuchten zu können. Weitere Experimente sind nötig.

Die Soundeinheit

Screenshot CLAM 1.2
  • Input: OSC-Informationen (von Camserver)
  • Output: Musik!!
Die Soundeinheit nimmt OSC-Informationen von der Kameraeinheit entgegen und wandelt diese in Töne um, welche an ein Mischpult / Lautsprechern/Kopfhörer weitergegeben werden können. Die Soundeinheit wird voraussichtlich ebenfalls auf dem CLAM-framework (siehe http://clam.iua.upf.edu/ ) basieren, welches das OSC-Protokoll versteht und unter einer OpenSource-Lizenz verfügbar ist.
Es ist wichtig, dass die Soundeinheit und die Projektionseinheit über die gleichen informationen verfügungen und nach den gelichen Algorithmen arbeiten, sodass Visuelle und accoustischer Output einander entsprechen. Vorausichtlich wird die auf CLAM basierende Software die Funktionen der Soundeinheit und der Projektionseinheit vereinen. Weitere Experimente zur Bestimmung der Fähigkeiten des CLAM-Frameworks sind hier vonnöten.

























Verwendung d. Fördergelder

Die Kosten des Performancers sind gut kalkulierbar. Hauptkostenpunkte sind die technischen Bausteinen wie Video-Projektor, Webcams, PCs und Acrylplatten. Die Kosten für Software und Workshops sind verschwindend gering, da nur Open-Source-Software verwendet werden soll und die Workshops freundlicherweise im Metalab Wien abgehalten werden können.[Kostenpflichtige Software, die ebenfalls in der Kalkulation enthalten ist, werden als Eigenleistunen beigesteuert].

Kostenaufstelllung performancer.png 


Das Projekt ist auf eine Gesamtsumme von Euro 5.700,- budgetiert, wobei
 Hardware Euro 3.100,- 
 Baumaterial Euro 1.400,-
 Dokumentations/Werbekosten Euro 1.200,--
sind.

Es werden keine Honorare und Reisekostenzuschüsse, noch Arbeitsstunden/Eigenleistungen verechnet.

Querverbindungen zu anderen Projekten aus der Szene

Vereine

  • Metalab Wien, http://www.metalab.at/
    • Das Metalab stellt die Räumlichkeiten für den Aufbau und die Workshops unentgeltlich zur Verfügung.

Künstler

  • Björk, http://www.bjork.com/
    • The very futuristic ReacTable is to be used by Bjork on her “Volta” tour.
  • Daft Punk, http://www.myspace.com/daftpunk
    • Long time Lemur users, the world famous human robots played with Kanye West during the 50th Grammy Awards to perform the hit "Stronger". They appeared on stage with nothing more than four Lemurs.

Technologien

  • audiopad, http://www.jamespatten.com/audiopad
    • Audiopad is a composition and performance instrument for electronic music which tracks the positions of objects on a tabletop surface and converts their motion into music.
  • mtc MultiTouchConsole, http://www.multi-touch.de/
    • The c-base MultiTouchConsole mtc is a completely self-contained, touch-sensitive table built in spare time by a group of c-base members. A projector in the table displays an image on the table surface and an infrared-sensitive camera is used to track positions of fingers touching it.
  • Lemur, http://www.jazzmutant.com/lemur_overview.php
    • The Lemur is a top of the range control surface for audio and media applications, that breaks from the prior art on several grounds. Its major innovation consists in its brilliant modular graphic interface concept and its exclusive multitouch sensor technology.
  • reactable, http://mtg.upf.es/reactable
    • The reactable is a tangible electronic musical instrument that allows expressive collaborative live performances for professional musicians without the limits of many screen-based interfaces for electronic music.
  • cool - circular optical object locator, http://ccrma.stanford.edu/~dmerrill/250a
    • The Circular Optical Object Locator is a collaborative and cooperative music-making device. It uses an inexpensive digital video camera to observe a rotating platter.
  • instant city, http://www.instantcity.ch
    • Instant city, ein elektronischer musik bau spiel automat, is a music building game table.
  • chessynthesis, http://chessynthesis.maniaxmemori.net/
    • Chessynthesis is a performance project. It consists in a classical chess game, with a chessboard and 32 pieces, but a captation system analyzes the position and the evolution of the gameplay, and transcode it to sound.


Ein paar Leute anschreiben und hier eine Liste von interessierten Musikern zusammenstellen, die das Gerät gerne verwenden würden? Zusammenarbeit mit Ausstellungen, in denen die neueste Iteration des 'Spielzeug'-Modus der Öffentlichkeit zum Selber-Ausprobieren zugänglich gemacht wird? ...

Publikationen

- Link: James Patten / Audiopad: http://www.jamespatten.com/audiopad/ - Max/MSP: http://www.cycling74.com/products/maxmsp

Zeitplan 

April-Mai
 Aufbau einer Homepage mit Forum und Wiki zum Thema
 Detailierte Evaluierung der benötigten Software/Hardware/Baumaterialen
Juni
 Prototypischer Aufbau von Performancers
Juli-Oktober
 Finaler Aufbau des Performancers
 Start Modifikation der Software
 1. Workshop
November
 2. Workshop
Dezember
 3. Workshop
 Konzert
 Finalisierung des der Dokumentation
 Übergabe des Performancers

Zu den Einreichenden: Performancer Team

Johannessperlhofer.png

Johannes Sperlhofer
Performancer (Projektleitung)

Selbstständig, geboren 1980 in Bad Ischl

Ausbildung:

seit Nov. 2005: Baccalaureatsstudium Software- & Information-Engineering, TU Wien, Baccalaureatsarbeit zum Thema: 'Arch.Diploma 2007'
2007: Studienassistent Gebäudelehre und Raumplanung
2004 – 2005: Studium Medieninformatik, Universität Wien

Projekte im Kunst- und Kulturbereich:

2007: Digitaler Verfall- Veranstaltungsreihe im OHO
2007: Digitale Ausstellung/Werstadtk: Netz.Kunst.Werk.Stadt (Second Life)
2007: Digitale Ausstellung: Arch.Diploma 2007
2007: "Nahe Genug - Fetish in Second Life", Kunstakation des steirischen Herbst
2005–2007: Diverse Vorträge zum Thema Virtuelle Welten, unter annderem auf der Technischen Universität Wien, der Wirtschaftsuniversität Wien, der Technischen Universität Graz und der APA E-Bussiness Community.

Berufliche Tätigkeiten:

Gründer pixel-orange, Dienstleistungen und Konzepte für Virtuelle Welten
Researcher bei eCommerce Competence Center EC3, 2004-jetzt
Medienproduktionen in im Bereich Musikvideos/Virtuelle Welten



Jay Vaughan
Software Developer, geboren 1970 in Perth, Australien

Arbeitet derzeit an der professionellen Entwicklung von System-Software für THALES/Alcatel-Lucent und privat an diversen Projekten zum Thema Hard- und Software für elektronische Musik. Hat ein starkes Interesse an Anwendungen für Bilderkennung und erweiterte Benutzerschnittstellen, das im Performancer-Projekt zur praktischen Anwendung kommen wird.




Richard Rautscher
Softwareentwickler, geboren 1980 in Linz

Hat von 1999-2002 Software Engineering in Hagenberg studiert, von 2002 bis 2005 Medieninformatik an der TU Wien. Ist seit zwei Jahrzehnten Musiker (u.a. Gründungsmitglied der Fachhochschulband Hagenberg) und hat im Rahmen des Metalab an einigen Multimedia-Projekten und -Installationen mitgewirkt.

Von „http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER“
Meine Werkzeuge