Reaktive Musik

[mooncast]

reaktive Musik -
ich zitiere:

Reactive music is closely connected to generative music, interactive music, and augmented reality. Similar to music in video games, that is changed by specific events happening in the game, reactive music is affected by events occurring in the real life of the listener. Reactive music adapts to a listener and their environment by using built in sensors (e.g. camera, microphone, accelerometer, touch-screen and GPS) in mobile media players. The main difference to generative music is that listeners are part of the creative process, co-creating the music with the composer. Reactive music is also able to augment and manipulate the listeners real-world auditory environment.[3]

What is distributed in reactive music is not the music itself, but software that generates the music.[4]

RjDj - Wikipedia

en.m.wikipedia.org

Hier gehts um Musik die aus Umweltgeräuschen, User (Inter)aktionen und ähnlichem in Echtzeit generiert wird.

Rjdj war eine auf Pure Data bsierende App die das gemacht hat.

Was ich mich frage ist ob und wie man das Konzept wieder aufgreifen, erweitern und aus dem solipsistischem Einzelerlebnisgefängnis zu etwas Gruppeninteraktivem machen kann, dh zB die Geräuschkulisse in einem Cafe in Cafehausmusik verwandeln kann.

Ein Problem dabei ist, dass die Musik dann rückkoppelt was zu unerwünschten Ergebnissen und Problemen führt.
Das lässt sich wegen der Dispersion und den unterschiedlichen Laufzeiten der Echos im Raum auch schwer verhindern.

Vielleicht kann man den Raum vorher bzw das System vorher auf den Raum kalibrieren, aber erstens ist ein voller Raum in der Hinsicht anders als ein leerer und zweitens wird es nicht vollständig gelingen.

Welche Ideen gibts noch das Rückkoppelungsproblem in den Griff zu kriegen?

Auch ein Problem: Sprachgewirr plus Musik aus Sprachgewirr = ungute Akkustik was Sprachverständnis angeht.

Ideen dazu?

 

[mooncast]

Eine Möglichkeit könnte sein dass man die Musik nicht sehr dicht macht,
und Samples nur aus Momenten nimmt in denen Stille ist, und ansonsten
den Input nur zur Steuerung nimmt.

Was ich aber gerne hätte ist dass wenn jemand lacht, oder eine Gabel vom Tisch fällt oder Gläser klirren etc, dass solche Events in die Musik einfliessen und wie ein Echo fortwirken.

Man könnte das evtl erreichen indem man ein längeres Delay in Kauf nimmt bis fas einfliesst, was ich auch ästhetisch interessant finde.

Eine weitere Möglichkeit wäre, gar nicht den selben Sound zu nehmen sondern irgendwie
mit spektraken Prints, damit meine ich im Prinzip Vocoding, arbeiten.


Interessiert das Thema jemand?

 

[wer4tuztihjb4sdw872]

Spannende Idee und interessant. In einem Einkaufszentrum in Krakau vor ein paar Jahren hab ich einmal eine Art interaktiven Fußboden gesehen, der auf Druck bzw Bewegung reagierte und das in entsprechende Bilder und Animationen umwandelte, die dann auf den Fußboden abgespielt wurden.

Oder der Reactable ist ja auch in diese Richtung.

Was du vorschlägst gibts schon als iOS App, deren Namen mir jetzt leider nicht einfällt.
EDIT: Fieldscaper!

FieldScaper Field Recording Sound Manipulation App - iPad Music Production Blog - Music app reviews, news and tutorials

FieldScaper – Sound warp field recorder and scape constructor. Igor Vasiliev maker of the amazing SoundScaper app has just announced a new app called FieldScaper a sound manipulation and experimentation app for altering field recordings on the fly. Advanced field recorder combined with sound...

ipadloops.com

Die App ist ein spezieller Fieldrecorder mit sofortiger Soundverwurstelung.

An reaktiven Music Apps gibts für iOS ohnehin sehr viel. „Endel“ z.B.erzeugt Ambient und passt sich Puls und Tageszeit automatisch an:

Endel - Focus, Relax and Sleep

Personalized soundscapes to help you focus, relax, and sleep. Backed by neuroscience.

endel.io

 

[Golden-Moon]

Interessiert das Thema jemand?

Mich definitiv! Hab dazu mal folgendes interessantes Dokument gefunden.

Das Thema ist mir so noch gar nicht in den Sinn gekommen aber der Gedanke gefällt mir.

Ich denke das ist was für die Zukunft.

Zum einen kann ich mir das gut als unterstützendes Element für bestimmte Aktivitäten vorstellen. Aber auch für Musikproduktion (als neue Ausdrucksebene).

Das Thema hat Potenzial!

 

[Golden-Moon]

Was du vorschlägst gibts schon als iOS App, deren Namen mir jetzt leider nicht einfällt

Giant Steps.

 

[mooncast]

iOs hab ich leider nicht aber wie gesagt gabs vor Jahren schon die App RJDJ die das auch gemacht hat, es wird auch in dem pdf erwähnt.

Das hat mich damals schon inspiriert.

Endel gibts aber scheints auch für Google, muss ich mir morgen mal anschauen. Super.

Schwierig ist eben sowas ohne Kopfhörer zu machen, weil ja nicht der Output wieder einfliessen soll sonst gibts ja ne schlimme Rückkoppelung.

 

[Golden-Moon]

Schwierig ist eben sowas ohne Kopfhörer zu machen, weil ja nicht der Output wieder einfliessen soll sonst gibts ja ne schlimme Rückkoppelung.

Eine Möglichkeit wäre das Signal zum einen an die Anlage raus zu schicken und zum anderen dorthin zu schicken wo die Gesamtkulisse aufgenommen wird. An dem 2. Punkt wird dann durch Invertierung das Musiksignal herausgerechnet. Ähnlich wie bei Noise-Canceling-Kopfhörer.
Ob man wirklich schon ein sauberes Kulissen-Signal ohne Musik hat weiss ich nicht aber das sollte auf jeden Fall ausreichen um zu analysieren was für andere Sounds man in die Musik einbringen kann (ungefähr so wie in deinem 2. Post oben).

Oder so ein Verfahren wie bei den Programmen die Songs wieder in einzelne Instrumente zerlegen. Ob das aber Live bei solch einem Szenario funktioniert würde ich bei dem heutigen Stand noch bezweifeln. Evtl. mal in der Zukunft.

 

[wer4tuztihjb4sdw872]

Giant Steps.

Die Kinder App?

 

[Golden-Moon]

Die Kinder App?

In dem. Dokument was ich oben hochgeladen habe geht es um "Giant Steps". Die App wird beim joggen genutzt. Hier werden diverse Faktoren (Herzschlag, Schrittfrequenz, etc.) analysiert und dementsprechend verändert sich die Musik.

 

[Donauwelle]

Mouse on Mars hat im letzten Jahr im Kunstbau im Lembachhaus eine begehbare Klanginstallation geschaffen: "spatial jitter".
Hier waren die sich im Raum bewegenden Hörer die Trigger der Klänge.

Mouse on Mars

Admission free Longer opening hours in the Kunstbau: 10am to 8pm Mouse on Mars is one of Germany’s most eccentric and remarkable electronic music projects. With an anarchic hybrid sound swinging between uncontrolled chaos and meticulously arranged structures, Andi Toma and Jan St. Werner have...

www.lenbachhaus.de

 

[orgo]

In dem Gaming Bereich passiert da gerade sehr viel. Mehrere Events im Spiel "triggern" musikalische Bewegungen, die mehr sind als festes Sample Playback. Spannend aus der Perspektive Soundesign ist vor allem: Wie reagiert der Sound auf die Umwelt? Wie fein, komlex oder wiederholbar ist die "Reaktion".

Die Technische Ebene ist natürlich auch wichtig. Du schreibst jetzt nicht mit welchem Ansatz Du das umsetzen willst. Eine naheliegende Strategie gegen Feedback wäre es eine Sensorik zu verwenden die nicht auf Sound basiert. Da wäre ja in Deinem Szenario vieles möglich, von kapazitiv, über Temperatur, oder warum nicht die Anzahl der Handys in der nächsten Funkzelle? Wenn die Quelle Klang sein soll, wäre auch Filtern möglich, oder wie geschrieben die Positionierung des Mikros...

 

[mooncast]

hab im Moment nur so lose Ideen und bastle auch erstmal an nem Analysator für Grafik bzw Licht usw.

Ich hab auch Zweifel dass man erfolgreich Samples aus dem gleichen Raum ziehen kann den man beschallt.
Dort wo man Echo Cancellation eunsetzt klappt das auch nicht immer und dabei geht man da davon aus dass das Nutzsignal laut gegenüber dem Echo ist.

Aber vielleicht ist es schon interessant wenn es zwischendurch immer ne Pause gibt und die Musik aus den Sounds in den Pausen besteht?

Vor Jahren hatte ich map ne Idee für ne ähnliche Instalkation, ein Raum in dem der Schall in endlosem Feedback Musik macht, aber nur wenn Stille herrscht, aus dem was während der nicht-Stille eingespeist wird.

 

[orgo]

Ich hab auch Zweifel dass man erfolgreich Samples aus dem gleichen Raum ziehen kann den man beschallt.
Dort wo man Echo Cancellation eunsetzt klappt das auch nicht immer und dabei geht man da davon aus dass das Nutzsignal laut gegenüber dem Echo ist.

ah okay, hatte nicht verstanden das Du genau das willst. Vielleicht reicht auch einfach der Einsatz von "trigger delays" bei samplen bzw. abspielen um das Feedback zu vermeiden..

Aber vielleicht ist es schon interessant wenn es zwischendurch immer ne Pause gibt und die Musik aus den Sounds in den Pausen besteht?

das finde ich eine gute Idee. Der Trigger zum Abspielen immer bei konstant niedrigem Pegel statt bei hohen Ausschlägen.

Mit was willst Du das denn Umsetzen?

 

[mooncast]

Mit was willst Du das denn Umsetzen?

früher hätte ich das in Reaktor gemacht aber jetzt wär es die Gelegenheit sich damit in Pure Data einzuarbeiten.
Ich denke auch eher an etwas einfaches, rhythmische Delays, evtl mit Pitch Shifts, und Samples dann so starten und triggern dass sue in einem Grid sind bzwl ein Granular Effekt in der Richtung.

Ich kann mir auch vorstellen sowas hier als Gemeinschaftsprojekt anzugehen wenn mehr Leute Interesse haben, zumal ich von PD bisher noch keinen Plan hab.

Im Moment versuch ich aber erdstmal die Ambientsounds in mehr oder weniger statische sich sehr langsam ändernde 2D Grafik zu wandeln.
Auch da ist das Ziel, spezielle Events wie Lachen etc irgendwie hervorzuheben.

Vielleicht kommen dabei noch Ideen zur Soundanalyye raus.

Interessanter Weise fällt es mir schwerer, eine langsame quasi statische Grafik zu Sounds zu entwickeln als etwas das sich dauernd bewegt.

 

[betadecay]

Ich war mal bei einer Klanginstallation, die auf eine Videokamera reagiert hat. Dazu haben sie eine Überwachungssoftware genutzt, um die Leute zu tracken (angeblich die Software, die die Chinesen einsetzen, gibt es wohl bei github), dann kam ein Python-Skript, das abhängig von dem, was es sah, ein neuronales Netz getriggert hat um Geräusche zu generieren. Das Netz wurde vorher darauf trainiert, möglichst nichts harmonisches zu machen, also hat es wild geblubbert und geröhrt, je nachdem, wo man stand und wie man sich bewegt hat. Ging am besten, wenn nur maximal 2, 3 Leute auf der Fläche waren. Bei der Eröffnung sollen sogar manche Leute auf dem Boden gekrochen sein, um zu hören, ob das einen besonderen Effekt hat.

 

[Tonerzeuger]

Wenn hier solche Ideen besprochen werden komm ich ja immer in die Versuchung es in Pure Data auszuprobieren.

Das Ergebnis gefällt mir schon ganz gut - die Aufnahme geschieht über die Laptop-Mikrofone und die Wiedergabe zeitgleich über zwei Studiomonitore.

Das Geheimnis der Nicht-Rückkopplung ist eine Frequenzverschiebung. Der untere Frequenzbereich des Eingangssignals wird noch weiter nach unten geschoben, der obere noch weiter nach oben.

250 bis 450 HZ -> 0 bis 200 HZ
520 bis 1000 HZ -> 1150 bis 1650 HZ

So gibt es keine Überlappung. Das ausgehende Geräusch erinnert natürlich nur noch entfernt an das eingehende, aber zumindest wenn ich es mit der Lautstärke nicht übertreibe gibt's keine Rückkopplung!

Ein Tonbeispiel mach ich demnächst mal

 

[Tonerzeuger]

So, mein Test-File ist fertig. Ich habe dem PD-Patch noch einen dritten Frequenzschieber (pro Kanal) zugefügt, damit ergibt sich

-250 bis 450 Hz --> 0 BIS 200 Hz
-520 bis 1000 Hz --> 1100 bis 1620 HZ
-1850 bis 3600 HZ --> 3900 bis 5850 HZ

Anhang anzeigen reaktiv-demo.mp3

Der Klang erinnert an Ringmodulation mit Hall - die würde aber eine starke Rückkoppelung ergeben.

 

[einseinsnull]

du bekommst zwar eine rückkopplung teilweise unterdrückt indem du das signal im hinblick auf das spektrum veränderst, aber das bringt immer auch negative effekte mit sich.

wobei die rückkopplung immer noch voll da ist, man hört einfach nur ihren effekt jetzt weniger.

spätestens wenn die schallquelle bereits ein oscillator/ton/klang ist, willst du definitiv weder das eine noch das andere haben.

der naheliegendere weg ist kontaktmikros, nieren, oder generell eher unempfindlichere mikros zu verwenden.

und/oder natürlich den klassischen feedbackdestroyer. diesen kannst du bei einem festen setup (laptop speaker & mic? == bekannte/messbare latenz!) sogar einfach auf eine feste frequenz stellen, die dann perfekt passt.

das funktioniert aber natürlich nicht immer wie gedacht bei "umweltgeräuschen" als quelle, um die es dem TE hier ja ging, sondern nur bei instrumenten und krachmaschinen, die man bewusst anspielt und die ein gewisses level erreichen.


mondgießers eigene theorien hierzu kann ich wie üblich nicht nachvollziehen. wie heißt er eigentich diesen monat?

 

[orgo]

Nochmal zum Ausgangspunkt: Die Grundidee von reaktiver Musik ist es, dass musikalischen Bewegungen auf äußere Umwelteinflüsse reagieren und so immer neue Abläufe entstehen. Eine Audioquelle als Impuls für die Veränderung eines musikalischen Ablaufs zu nehmen ist naheliegend. Ein Envelope Follower wäre für mich das erste um entweder einen Trigger, oder eine Modulation zu erzeugen. Mit Sensoren ginge aber auch so viel mehr, etwa: Helligkeit, Feuchtigkeit, Bewegung, Nähe, Anzahl von Verbindungen zu einem WIFI Netz etc...

Ich finde die Audioquelle gleichzeitig Quelle und als Output zu nutzen muss man wirklich wollen. Das führt dann aber eher weg von der ursprünglichen Idee von reaktiv. Dann gehet es mehr um direkte Interaktion, vielleicht auch Konversation. Das Beispiel von @Tonerzeuger finde ich spannend. Ansonsten könnten auch Verzögerungen effektiv sein. Also: Aufnahme, Aufnahme/Stop, Pause, Abspielen, Pause, Aufnahme ...

 

[einseinsnull]

Ich finde die Audioquelle gleichzeitig Quelle und als Output zu nutzen muss man wirklich wollen.

rückkopplung ist halt unvermeidlich sofern keine wand dazwischen ist oder mit kopfhörern abgehört wird.

oder natürlich wenn der impuls gar kein schall ist.

die idee im ausgansposting und auch bei tonerzeuger, dass man rückkopplungseffekte unterbinden oder begrenzen muss ist daher schon richtig. es ist aber natürlich techie-kram, den man so braucht wie man auch einen tisch und ein laptop braucht, und nicht teil irgendeines konzeptes.

 

[Tonerzeuger]

rückkopplung ist halt unvermeidlich sofern keine wand dazwischen ist oder mit kopfhörern abgehört wird.

Wenn die von mir verwendeten Filter unendlich steil wären, gäbe es keine Rückkopplung. Ich benutze aber "nur" 72 dB / Oktave bei den Bandpässen. Auch wenn nach der Filterung starke nichtlineare Verzerrungen auftreten - durch die Laptopmikros ist das durchaus möglich - kommen Signalteile in Frequenzbereiche, wo sie nicht hingehören, und es koppelt zurück.

 

[mnb]

naja, das thema (rueckkopplungen vermeiden) ist durchaus anspruchsvoll, und im zusammenhang von telefonie und echo-unterdrueckung
auch sicher schon in vielen doktorarbeiten behandelt. skype kriegt das glaube ich ganz gut hin. oder diverse andere audio-
und videotelefonie software.

wuesste jetzt kein pd-external oder so, dass man da einfach benutzen koennte...

wenn das "umweltsignal" auf das reagiert werden soll allerdings zeitlich auch etwas weiter weg sein darf,
hat man eigentlich kein problem:
ich hab fuer meinen granularkram einfach einen paar-sekunden-buffer benutzt, auf dem dann lustig rumgeroedelt wurde.
solange genug umwelt reinkommt, geht das ganz gut, und vergangenen output mitzuverwerten kann durchaus
interessant sein.
(theoretisch hat man feedback dann in sehr! fiefen frequenzen, aber die filtert man eh raus)

 

[Tonerzeuger]

naja, das thema (rueckkopplungen vermeiden) ist durchaus anspruchsvoll, und im zusammenhang von telefonie und echo-unterdrueckung
auch sicher schon in vielen doktorarbeiten behandelt.

Das ist auch viel anspruchsvoller als das, was ich versucht habe. Bei der Telefonie sind ja tatsächlich beide Frequenzbereiche identisch, also IN und OUT.

Mein Modell nimmt dagegen in kauf, dass das eingangssignal komplett verfremdet wird, Sprache ist nicht mehr verständlich und Musik nicht mehr musikalisch

 

[mnb]

vom konzept her sehe ich bei beiden ansaetzen gemeinsamkeiten: man verschiebt das output-signal dahin, wo es nicht stoert,
ob nun frequenzmaessig oder zeitlich.

oder man nimmt gleich elemente "aus der umwelt", die kein audio sind. (vibrationen der tanzflaeche,
oder optische bewegungen im raum, oder...)

 

[einseinsnull]

Wenn die von mir verwendeten Filter unendlich steil wären, gäbe es keine Rückkopplung. Ich benutze aber "nur" 72 dB / Oktave bei den Bandpässen.

du verstehst offenbar nicht, was eine rückkopplung überhaupt ist.

von audio nach audio, oder bessser gesagt von lautsprecher zu mikro, findet per definitionem immer eine rückkopplung statt, und das muss auch so sein, weil das in jedem system zum thema "reaktive musik" so ist.

bandpassfilter verwendet man vor phaseshiftern einerseits wegen dem bandlimiting und andereseits weil es keine perfekte hilbert transform gibt, die das spektum komplett abdeckt.

und wenn du phaseshifter als basis eines feedbackdestroyers benutzen willst, musst du die dinger um 0 herum kontinuierlich modulieren, denn statisch wird es einfach nur zum hörbaren spezialeffekt.


witzigerweise ist das prinzip mit den phaseshiftern für den feedback destroyer das älteste von allen, was später durch den notchfilter mit autogedöns abgelöst wurde, weil das in einem wesentlichen punkt besser ist: es springt nur bei bedarf an und lässt das signal ansonsten durch wie es war.

wenn du es gut machen willst, kannst du natürlich prima beides kombinieren. die ein oder andere digitale hardwarelösung macht genau das.


das dritte denkbare system ist adaptiv, so wie der TE es schon anregte: IR vom raum nehmen und auf basis dieser transferfunktion dann das signal gaten wenn es zu laut wird.

das stinkt aber auch. denn wenn später zuschauer im raum sind, hat der dann plötzlich ganz andere eigenschaften.


die präferierte lösung bleibt daher das nierenmikro...

Auch wenn nach der Filterung starke nichtlineare Verzerrungen auftreten - durch die Laptopmikros ist das durchaus möglich - kommen Signalteile in Frequenzbereiche, wo sie nicht hingehören, und es koppelt zurück.

die rückkopplung findet statt, weil aus dem lautsprecher schallwellen kommen.

du willst nur das pfeifen wegbekommen, nicht die verbidung als solches.


however, wie man merken kann ist das beispiel audio-zu-audio ein relativer brainfuck, um über das prinzip "reaktive musik" zu diskutieren, schon alleine weil man dort dann ganz schnell bei den üblichen sample- und loop-tools und den dazugehörigen noise machines hängenbliebt, die den tatbestand vermutlich nicht ganz erfüllen.

vermutlich wäre es einfacher das prinzip erst mal anhand von video input oder den bewegungen der gäste zu diskutieren und nicht direkt mit schall anzufangen.

irgendwas hübsches, was passiert, und dabei teilweise auch wieder von der musik beeinflusst werden kann, die es originär ausgelöst hat. ein glas wasser und eine webcam.

 

[Tonerzeuger]

Da definierst Du "Rückkopplung" aber ziemlich weit. Selbstverständlich kommt aus dem Lautsprecher Schall zurück, und das ist ja auch beabsichtigt.

Wenn es aber auf einer anderen Frequenz zurückkommt, und diese andere Frequenz wiederum nach der Mikrofon-Aufnahme mit einem Filter unterdrückt wird, kommt es zu keiner Selbstoszillation des ganzen Systems.

Und damit unterbleibt das, was Bühnenmusiker vereinfacht "Rückkopplung" nennen.

 

[orgo]

Schade, ich dachte dies würde ein Gespräch zu reaktiver Musik und nicht zu Rückkoplung. Aber so geht es eben manchmal...