Sonic Moves ist eine Plattform, die aus zwei Hauptkomponenten besteht: Im Sonic Moves Creator (macOS, iPadOS) erstellen Sie körper-interaktive Kompositionen, die Sie und andere im Sonic Moves Player (iOS, iPadOS) abspielen können. Dieser Leitfaden konzentriert sich hauptsächlich auf die Verwendung von Sonic Moves Creator.
Projekte
Jede Sonic Moves-Komposition wird in einem Projekt erstellt. Der erste Bildschirm von Sonic Moves Creator zeigt Ihnen eine Übersicht über Ihre Projekte. Neben jeder Projektinformation sehen Sie eine Ellipsen-Schaltfläche, mit der Sie weitere Aktionen durchführen können.
Home screen mit Projekten und der "New Project"-Kachel.
Erstellen eines neuen Projekts.
Eine Komposition erstellen
Um ein neues Projekt zu erstellen, klicken/tippen Sie einfach auf die Kachel mit dem "+"-Symbol. Geben Sie Ihrem Projekt einen Namen (kann später geändert werden), und der Projektarbeitsbereich wird angezeigt.
Arbeitsoberfläche
Ein leeres Projekt. Oben: Projektinformationen und Werkzeuge. Rechts: Audio-Ausgabe und Informationen zu Interaktionen.
Sounds und Interaktionen
Eine Komposition besteht aus zwei Hauptteilen: Teil 1 ist die Audio Chain. Dies sind alle Ihre Klänge, die oft in andere Klänge, wie z. B. Effekte, und schließlich in den Hauptausgang führen, der bei den Spieler:innen ankommt. Teil 2 sind die Interaktionen. Sie können die meisten Klangparameter interaktiv machen, indem Sie sie mit dem Body-Tracking-Input verbinden.
Kompositionen in Sonic Moves unterscheiden sich von statischen Songs, da sie standardmäßig keine feste Dauer haben (Sie können dies jedoch in der Songinfo ändern). Das bedeutet, dass sie in einer Schleife laufen, bis sie beendet werden.
Sounds
Um einen Ton hinzuzufügen, klicken Sie auf das "+"-Symbol und wählen Sie die Art des Tons aus, den Sie hinzufügen möchten. Es gibt verschiedene Arten:
Soundauswahl.
- Audiodateien: Laden Sie Ihre eigenen Dateien wie wav, mp3 usw., um sie entweder als einfachen Loop oder für einen Grain-Sampler zu verwenden. Hier finden Sie auch eine kleine Bibliothek mit vorgewählten Sounds.
- Software-Instrumente: Synthesizer, Sampler und Drumcomputer. Sie spielen Notenfolgen, die Sie arrangieren.
- Generatoren: Verschiedene Formen der Live-Synthese: Oszillatoren, Rauschen, Vokaltraktsimulation.
Nachdem Sie einen Sound hinzugefügt haben, erscheint er als Node auf der Oberfläche und Sie können ihn frei bewegen.
Wenn Sie auf eine Node klicken/tippen, erscheint die linke Seitenleiste. Hier finden Sie alle Klangparameter. Jeder Sound hat eine ihm eigene Liste von Parametern. Eine Audiodatei hat zum Beispiel „Lautstärke“, „Abspielrichtung“ und mehr. Wenn ein Soundparameter interaktiv sein kann, finden Sie darunter die Option "Add Interaction“.
Sound Seitenleiste
Sound Processors
Oft möchte man den Originalton verändern. Dazu brauchen Sie einen Processor. Das ist eine weitere Node, in den Ihr Sound eingespeist wird. Mit dem Processor selbst können Sie Ihren Sound filtern und einige andere Parameter ändern.
Um einen Processor zu einem Sound hinzuzufügen, tippen Sie auf das Pfeilsymbol auf der Node und wählen Sie "Add sound processing“. Eine neue Node wird dem Canvas hinzugefügt.
Ein Processor kann noch mehr: Wenn Sie auf das "+"-Symbol auf der Processor-Node tippen, können Sie Filter, Effekte und Amplitude-Nodes hinzufügen. Sie können beliebig viele davon in einem Processor haben. Sie sind in einer Liste angeordnet, und jede Node in der Liste führt zu der darunter liegenden. Sie können die Reihenfolge ändern, indem Sie sie nach oben oder unten ziehen.
Hinzufügen eines Processors mit einem Effekt
Outputs wechseln
Standardmäßig wird jeder Sound in den Hauptausgang eingespeist. Sie können die Audio Chain jedoch neu "verkabeln", indem Sie auf das Pfeilsymbol tippen und Change output“ wählen. Danach können Sie einen neuen Output auswählen.
Spatial Audio
Der Hauptausgang ist standardmäßig der „Center“, also ein Standard-Stereoausgang. Sonic Moves bietet außerdem bis zu vier Raumklangkanäle, sodass Sie die Klänge im Raum verteilen können. Diese Funktion sollte mit Kopfhörern verwendet werden, da der Ton „binaural“ wiedergegeben wird, d. h. eine Simulation des Raumklangs über Stereokopfhörer. Wenn Spieler:innen ein Gerät mit Head-Tracking (z. B. Airpods Pro) verwenden, ändert sich die Klangposition, wenn sie ihren Kopf bewegen.
Interaktionen
Bei Sonic Moves dreht sich alles um körperinteraktive Klänge, daher ist das Erstellen von Interaktionen ein wichtiger Teil. Alle Interaktionen sind „Mappings“: Ein Eingabewert, wie die Geschwindigkeit eines Körperteils, wird in den Wert eines Klangparameters, wie die Lautstärke einer Audiodatei, umgewandelt.
Einen Parameter mit Interaktion versehen
Um eine Interaktion hinzuzufügen, wählen Sie eine Node aus und suchen Sie in der Seitenleiste den Parameter, den Sie interaktiv machen möchten. In diesem Beispiel wollen wir die Lautstärke einer Audiodatei interaktiv machen. Klicken Sie auf „Add Interaction“ unter "Volume". Nun müssen Sie eine oder mehrere "Joints" auswählen, auf die dieser Parameter reagieren soll. Sie können verschiedene Eingabetypen wählen: Geschwindigkeiten, Höhe, Abstände und Rotation.
Player
Diese Figur stellt die Spieler:innen dar. Die Kreise sind die "Joints", die den Input für die Interaktion darstellen. Wir wählen das linke Handgelenk und wählen aus dem Menü den Parameter „Height“.
Output auf Input mappen
In diesem Fenster konfigurieren wir, wie die Eingabe in den Klangparameter übersetzt werden soll. Die blauen und orangefarbenen Punkte auf der linken Seite definieren den minimalen und maximalen Input. Auf der rechten Seite legen wir mit dem doppelten Schieberegler den Bereich fest, in dem diese Eingabe in die Lautstärke übersetzt wird. Beachten Sie, dass Sie dies umkehren können, indem Sie den maximalen Schieberegler nach links auf den minimalen Schieberegler ziehen (oder umgekehrt). Darunter können Sie auch festlegen, wie schnell sich der Parameter ändert.
Die Verbindungslinie zeigt uns, dass der Klang und der Körper nun miteinander verbunden sind.
Playback
Sie können Ihre Komposition in Sonic Moves Creator abspielen, indem Sie auf die Schaltfläche „Play“ im Output auf der auf der rechten Seite tippen. Sie können die meisten Klangparameter während der Wiedergabe dynamisch ändern.
Statische Wiedergabe
In der Standardeinstellung ist die Wiedergabe statisch. Das bedeutet, dass alle Sounds so abgespielt werden, wie sie konfiguriert sind. Es gibt aber auch andere Optionen für die dynamische Wiedergabe. Sie können alle im Menü unter der Ausgabe auf der rechten Seite auswählen.
Verwendung von Motion-Capture-Aufnahmen
Sonic Moves Creator kommt mit ein paar voraufgezeichneten Motion Captures mit einigen grundlegenden Bewegungen für Testzwecken. Dazu gehören Drehen, Springen, Hocken, Strecken und einige mehr. Um eine auszuwählen, tippen Sie auf das Menü „Motion Capture“ im Output und wählen Sie „Recordings“.
Verwendung einer Motion-Capture-Aufnahme einer sich drehenden Person.
Motion Capture von Ihrem iPhone oder iPad streamen
Sie können die Sonic Moves Player-App auf Ihrem iPhone oder iPad verwenden, um Live-Motion-Capture-Daten an Sonic Moves Creator zu senden. Wählen Sie dazu „Streamed“ aus dem Motion Capture-Menü im Output. Wenn Sie jetzt auf Wiedergabe drücken, wartet die Software auf gestreamte Daten. Öffnen Sie den Sonic Moves Player und tippen Sie auf „Stream to Creator“. Platzieren Sie das iPhone oder iPad wie gewohnt so, dass es Sie erfassen kann. Ihre beiden Geräte verbinden sich dann automatisch und die Wiedergabe in Sonic Moves Creator startet automatisch, sobald das Tracking begonnen hat.
Hinweis:Damit diese Funktion funktioniert, müssen sich beide Geräte im selben Netzwerk befinden. Diese Funktion ist derzeit noch nicht vollständig stabil. Je nach Netzwerk und anderen Bedingungen kann das Streaming manchmal langsamer sein.
Videos verwenden (nur auf iPad)
Sie können Videos aus ihrer Foto-Galerie oder aus "Dateien" laden, um Interaktion zu simulieren. Das Body-Tracking funktioniert bei Videos genauso wie bei Live-Input.
Live motion capture verwenden (nur auf iPad)
Wenn Sie Sonic Moves Creator auf einem kompatiblen iPad verwenden, können Sie die Motion-Capture-Funktion des Geräts nutzen.
In Sonic Moves Player testen
Am schnellsten können Sie Ihre Komposition im Sonic Moves Player auf dem iPhone oder iPad testen, indem Sie die Funktion „Send to device“ mit Airdrop verwenden. Klicken Sie auf die Schaltfläche „Send to device“ in der oberen Leiste, wählen Sie dann Airdrop und wählen Sie das Gerät, an das Sie senden möchten. Dies funktioniert nur, wenn Bluetooth auf beiden Geräten aktiviert ist.
Download Sonic Moves Player
Nachdem Ihr iPhone oder iPad die Datei empfangen hat, wird eine kleine Vorschau mit dem Dateititel oben und einem kleinen Pfeil daneben angezeigt. Tippen Sie auf diesen Titel und klicken Sie im Pop-up-Menü auf das "Teilen"-Symbol rechts. In der unteren Reihe der App-Symbole scrollen Sie, bis Sie das Sonic Moves-Symbol finden und tippen Sie darauf. Dadurch wird die Datei im Sonic Moves Player geöffnet.
Export
Wenn Sie bereit sind, Ihre Komposition mit anderen zu teilen, müssen Sie sie exportieren. Klicken Sie auf die Schaltfläche „Export“. Dadurch wird eine „.smsong“-Datei im „Export“-Ordner Ihres Projekts erstellt. Diese Datei enthält alles, was Sie zum Importieren und Abspielen im Sonic Moves Player zu importieren und abzuspielen.
Jede Komposition verfügt über einige Metainformationen, die Sie bearbeiten können, z. B. Titel, Künstler:in, Artwork und mehr. Sie können auch Notizen einfügen, um anderen mitzuteilen, wie sie Ihren Song spielen können.
Metadaten editieren und Export.
Der Export war erfolgreich und wurde in [Projektordner]/export/ gespeichert.
Das Ergebnis des Exports ist eine .smsong-Datei.
Veröffentlichen
Derzeit gibt es zwei Möglichkeiten, wie Sie eine Komposition mit anderen teilen können. Entweder verschicken Sie die .smsong-Datei an andere, oder Sie bieten sie auf einer Website zum Download an.
Einstellungen
Mit dem Zahnrad-Symbol können Sie einige Einstellungen aufrufen. Von hier aus können Sie auch diese Anleitung öffnen, der Sonic Moves-Community auf Discord beitreten oder Feedback geben. Sie können auch die Farben der Benutzeroberfläche im Abschnitt „Colors“ ändern.
Es gibt noch mehr!
Es gibt mehr Funktionen in Sonic Moves, als wir in dieser kleinen Anleitung behandeln konnten, aber wir hoffen, dass es die wichtigsten Themen erklärt. Bei Fragen oder Feedback können Sie uns unter feedback@sonicmoves.net erreichen.
Viel Spaß mit Sonic Moves!