Einsatz von AI zum Musik machen

[Summa]

a.E. Ich glaube nicht, dass es eine Rolle spielt, aber vielleicht wäre ein echter Zufall der Schlüssel zu AGI? Nur Spaß.

Das hat nix mit Glauben zu tun, wenn da bei einem Modell irgendwas mit Zufall stattfindet kann das Aufgrund der Technik nur vom Programmierer gewollt sein.

 

[Martin Kraken]

Das ist auch genau meine Beobachtung. Es gibt Beispiele, bei denen geht alles gut (vermutlich stammen sie aus dem Trainingsmaterial des jeweiligen Systems), aber real-world klingen doch immer einige Stems ganz unglaublich schlecht. Ähnlich wie mp3 mit 64kBit, aber schlechter.


Will auch keiner, muss auch keiner. Weiß auch jeder, der sich damit auskennt, denn diese Information wäre völlig unerheblich, denn
1) bereits beim nächsten kompletten Trainingslauf wäre wieder alles ganz anders und
2) die Vorstellung, dass irgendwelche ganz bestimmten Nodes irgendein klar identifizierbares Wissen beinhalten, trifft nicht zu. Das gesamte trainierte Wissen verteilt sich ineinander verschachtelt und überlagert auf das komplette Netz. Natürlich gibt es dann irgendwelche Regionen im Netz, die besonders aktiv bei bestimmten Wortfeldern sind, aber was nützt mir die Information, wenn sich eh alles neu organisiert beim nächsten Trainingslauf.


Nein, es gibt schon seit mehr als 2 Jahrzehnten den Konsens, keine Visualisierungsversuche zu unternehmen (es sei denn, sie sollen den Medien als "Futter" dienen für "aufregende" Berichte). Er gibt bereits bei einfachsten Neuronalen Netzen keinen Erkenntnisgewinn durch Visualisierung. Sind sie zu einfach, begreift jeder, wie sie funktionieren (ähnlich einer Linearen Regression), aber sobald mehr als ca. 20 Neuronen mit allen Verbindungen beteiligt sind, wird das Ganze unübersichtlich und ist vor allem bei jedem Trainingslauf anders, da es meistens kein globales Optimum gibt, sondern statt dessen viele lokale. Und bei jedem Trainingslauf landet das Netz in einem anderen lokalen Optimum (das mal weiter mal weniger weit vom Optimum entfernt ist).

Die spannenden Fragen sind vielmehr:
- wie verbessere (beschleunige) ich den Trainingsprozess?
- wie stelle ich sicher, dass mein Trainingsmaterial alle Fälle gleichmäßig abdeckt?
- wie finde ich die beste Netztopologie zur jeweiligen Aufgabe?
- ...

Das ist 1) alles nicht so einfach, 2) alles nicht so neu, 3) alles nicht so gut, wie man als Laie zunächst annimmt.

Das ist ungefähr das was ich seit mehreren Seiten versuche zu erklären. Wobei EAI sehr wohl ein großes Thema war um 2023 und manche Firmen wie Anthropic daran forschen, ob nur für die Show oder ob sie wirklich eine Idee haben, kann man natürlich nicht sagen. a.E. Behalte ich den gleichen Seed, sollte das Netz reproduzierbar sein (sieht man mal von irgendwelchen GPU Floating-Point-Rundungsfehlern oder asynchroner Berechnungen). Lösche ich nun einen Trainingssatz so kann ich diesen Trainingssatz bestimmten Parameterveränderungen zuordnen im finalen Model. Nicht realistisch durchführbar, aber wäre eine Möglichkeit Es wäre interessant was für Ansätze Anthropic hat, aber die werden sie wahrscheinlich nicht verraten.

 

[Martin Kraken]

Das hat nix mit Glauben zu tun, wenn da bei einem Modell irgendwas mit Zufall stattfindet kann das Aufgrund der Technik nur vom Programmierer gewollt sein.

Der Seed, also die Parameter vor dem ersten Training sind zufällig gewählt und die Reihenfolge der Trainingsdaten kann zufällig variiert werden. Alleine der Zufall im Seed kann ein völlig anderes Modell ergeben, welches auch andere Antworten gibt, weil es eine andere Lösungsstrategie gefunden hat. Man trainiert also verschiedene Modelle mit verschiedenen Seeds, aber gleichen Trainingsdaten und nimmt das was die besten Ergebnisse zeigt (sehr vereinfacht). Manchmal macht man auch Ensembles (a.E.) oder vielleicht hat ein Modell ne geile Strategie gefunden um Algebra zu lösen, ist aber sonst ziemlich unfähig, dann könnte man dieses Modell für Algebra nehmen und ein anderes für Poetry-Slams?

 

[Summa]

Der Seed, also die Parameter vor dem ersten Training sind zufällig gewählt und die Reihenfolge der Trainingsdaten kann zufällig variiert werden. Alleine der Zufall im Seed kann ein völlig anderes Modell ergeben, welches auch andere Antworten gibt, weil es eine andere Lösungsstrategie gefunden hat. Man trainiert also verschiedene Modelle mit verschiedenen Seeds, aber gleichen Trainingsdaten und nimmt das was die besten Ergebnisse zeigt (sehr vereinfacht). Manchmal macht man auch Ensembles (a.E.) oder vielleicht hat ein Modell ne geile Strategie gefunden um Algebra zu lösen, ist aber sonst ziemlich unfähig, dann könnte man dieses Modell für Algebra nehmen und ein anderes für Poetry-Slams?

Sieht man davon ab dass du diesen Zufallsfaktor dann nur ein einziges mal hättest, spielt an diesem Punkt die von mir erwähnte Evolution eine Rolle, die Software gibt vor in welche Richtung sie die K.I. entwickeln soll. Du siehst, wir drehen uns schon wieder im Kreis, dir fehlen zum Verständnis vielleicht so ein paar Semster Grundlagen der Informatik

 

[Martin Kraken]

Sieht man davon ab dass du diesen Zufallsfaktor dann nur ein einziges mal hättest, spielt an diesem Punkt die von mir erwähnte Evolution eine Rolle, die Software gibt vor in welche Richtung sie die K.I. entwickeln soll. Du siehst, wir drehen uns schon wieder im Kreis, dir fehlen zum Verständnis vielleicht so ein paar Semster Grundlagen der Informatik

Ich bin nicht sicher, was du genau mit ‚Evolution‘ meinst oder wie die Software selbst eine Richtung vorgeben sollte. Bei einem LLM bestimmt letztlich der Trainingsprozess – also die Daten und die Optimierungsfunktion – wie sich das Modell entwickelt. Die Software selbst enthält keine eigenen Ziele, sie ist nur ein Werkzeug, das die Parameter so anpasst, dass der Fehler auf den Trainingsdaten minimiert wird.

 

[Summa]

Ich bin nicht sicher, was du genau mit ‚Evolution‘ meinst oder wie die Software selbst eine Richtung vorgeben sollte.

Prinzipbedingt läuft der Lernprozess der K.I. evolutionär ab, in der Natur bestimmt die Umgebung die Resultate während bei einer K.I. Software/Code bestimmt wie die Daten verarbeitet und gewichtet werden. Man hat also die Wahl an diesen beiden Stellschrauben (Code/Lerndaten) zu drehen um ein bestimmtes Ergebnis zu erreichen - beim LLM könnte das auch ein Bereich sein, vielleicht weil Sprache etwas sehr subjektives ist - wie man unter anderem bei unsere Diskussion merkt.

 

[Cee]

Die Wirtschaft ist enttäuscht und stampft 40% ihrer AI-Projekte ein, während die Halluzinationsrate mit der Weiterentwicklung wieder zunimmt; Zweifel, ob die derzeitigen Modelle der Weg zur generellen AI sind:

Zweifel an Künstlicher Intelligenz: Experten warnen vor der Vergeudung von Milliarden

In den Hype um KI mischt sich Skepsis. So beeindruckend die neue Technik sein kann, so ernüchternd bleiben ihre Schwächen. Lohnen sich die Rekordinvestitionen überhaupt?

www.tagesspiegel.de

 

[Martin Kraken]

Die Wirtschaft ist enttäuscht und stampft 40% ihrer AI-Projekte ein, während die Halluzinationsrate mit der Weiterentwicklung wieder zunimmt; Zweifel, ob die derzeitigen Modelle der Weg zur generellen AI sind:

Zweifel an Künstlicher Intelligenz: Experten warnen vor der Vergeudung von Milliarden

In den Hype um KI mischt sich Skepsis. So beeindruckend die neue Technik sein kann, so ernüchternd bleiben ihre Schwächen. Lohnen sich die Rekordinvestitionen überhaupt?

www.tagesspiegel.de

Ist leider hinter einer Paywall. Deutschland und Europa ist ja komplett abgehängt was KI angeht, ist halt auch ein demographisches Problem, zu viele alte Menschen, die an alten Konzepten hängen. Damit verliert man aber auch den Einfluss auf die Steuerbarkeit der Entwicklung. Aufhalten wird man die Entwicklung nicht können, auch nicht wenn man die Augen verschliesst wie Kevinside.

Falls es in dem Artikel um irgendwelche Aussagen von Apple geht, die habens ja auch verschlafen und stehn vor dem aus.

 

[Martin Kraken]

@Summa
„ Software/Code bestimmt wie die Daten verarbeitet und gewichtet werden“

Du musst halt mal näher ausführen, weil so wird halt nicht klar, ob du den Unterschied zu einem gewöhnlichen Programm verstanden hast und warum man davon spricht, dass ein neuronales Netz nicht programmiert wurde, sondern lernt. Natürlich ist es am Ende Software/Code/Variablen, aber es geht doch darum verständlich zu machen, dass es eben einen Unterschied zu einem gewöhnlichen Programm gibt. Die Software gewichtet zwar die Trainingsdaten, aber eben alle Trainingsdaten nach dem gleichen Prinzip. Wie eine Backform, der Kuchen hat zwar die selbe Form aber je nach Zutaten ist er ein Schokoladenkuchen oder ein Zitronenkuchen.

 

[Summa]

Du musst halt mal näher ausführen, weil so wird halt nicht klar, ob du den Unterschied zu einem gewöhnlichen Programm verstanden hast und warum man davon spricht, dass ein neuronales Netz nicht programmiert wurde, sondern lernt.

Darwin und Evolutionstheorie ist hoffentlich klar und wie die Umwelt einen Einfluss auf die Entwicklung der Arten hat und bei der K.I. könnte man das was die Software macht vielleicht Guided Learning nennen

 

[Summa]

Die Software gewichtet zwar die Trainingsdaten, aber eben alle Trainingsdaten nach dem gleichen Prinzip. Wie eine Backform, der Kuchen hat zwar die selbe Form aber je nach Zutaten ist er ein Schokoladenkuchen oder ein Zitronenkuchen.

Was ist die Zielvorgabe für die K.I. alle Kuchen die man mit den Zutaten backen kann oder sich mit dir über Kuchen zu unterhalten?

 

[Martin Kraken]

Was ist die Zielvorgabe für die K.I. alle Kuchen die man mit den Zutaten backen kann oder sich mit dir über Kuchen zu unterhalten?

Es gibt keine Zielvorgabe in der Software, sie ist ne Backform, je nach dem was für Zutaten du reinmachst kommt nen anderer Kuchen raus, aber die Backform bleibt immer die selbe. Die Zutaten sind die Texte in den Trainingsdaten und diese Texte enthalten sowohl die Frage (Input), als auch die Antwort (Ziel). Wenn du den Satz hast "Die Katze frisst Fisch" als Trainingsdaten nutzt, dann kannst du für den Input "Fisch" löschen und hast "Die Katze frisst" was du vorne ins Netz einspeist und hinten überprüft die Software, ob das Netz "Fisch" ausgibt, wenn nicht wird es neu eingestellt. a.E. man kann es sich wie eine Entschlüsselung/Verschlüsselung und Kompression vorstellen. Aus den Billionen an Texten werden die Muster extrahiert, in der Sprache eines neuronalen Netzes gespeichert und dadurch komprimiert, am Output wird das dann wieder in unsere Sprache übersetzt.

Darwin und Evolutionstheorie ist hoffentlich klar und wie die Umwelt einen Einfluss auf die Entwicklung der Arten hat und bei der K.I. könnte man das was die Software macht vielleicht Guided Learning nennen

Es ist im Prinzip wie ein Lehrer der nicht lehrt und nichts erklärt und auch nicht vorgibt was gelernt werden soll, sondern nur überprüft, ob die Kinder die richtige Antwort geben (die er selbst nur abliest und nicht versteht) und wenn nicht, müssen sie weiter im Buch (Trainingsdaten) lesen.

Es ist kein Evolution, denn es wird nicht zufällig ein Wert verändert und dann geschaut was besser ist, sondern eine Backpropagation des Zielwerts. Aber das nur ein Detail, sehr abstrakt zur besseren Vorstellung kann man auch von Evolution sprechen.

Hier mal eine Vorlesung von einem Nobelpreisträger der gleich am Anfang erklärt warum ein evolutionärer Ansatz sehr langsam und ineffizient ist.

 

[Summa]

Nur kurz, weil ich gerade auf dem Sprung bin;

Es gibt keine Zielvorgabe in der Software, sie ist ne Backform, je nach dem was für Zutaten du reinmachst kommt nen anderer Kuchen raus, aber die Backform bleibt immer die selbe.

Warum sollte man dann eine K.I. Programmieren? Selbst wenn du einem Menschen etwas beibringst hast musst du ihm an irgend einem Punkt sagen wenn das Ergebnis deinen Vorstellungen entspricht, ansonsten kann er ja nur raten was er machen soll und da wunderst du dich dass die Ergebnisse der Reihenfolge deiner Eingabe entsprechen.

Die Zutaten sind die Texte in den Trainingsdaten und diese Texte enthalten sowohl die Frage (Input), als auch die Antwort (Ziel).

Das Training ist es der K.I. den Unterschied zwischen gewünschtem und unerwünschtem Output zu zeigen, die Evolution besteht darin mit jedem neuen Input weniger Fehler bei der Erkennung der gesuchten Daten zu machen, damit die K.I. die Arbeit schneller und effizienter als ein Mensch machen kann.

 

[ganje]

Das ist auch genau meine Beobachtung. Es gibt Beispiele, bei denen geht alles gut (vermutlich stammen sie aus dem Trainingsmaterial des jeweiligen Systems), aber real-world klingen doch immer einige Stems ganz unglaublich schlecht. Ähnlich wie mp3 mit 64kBit, aber schlechter.

Ich habe mit Spectralayers schon gute Resultate erzielt. Perfekt waren sie zwar nicht, aber brauchbar. Hängt natürlich viel vom Ausgangsmaterial ab. Sollte in guter Qualität sein und am besten mit konventionellen Instrumenten (Drums, Bass, Gitarre, Piano, Stimme) und nicht zu viele Effekte haben.

 

[Martin Kraken]

Nur kurz, weil ich gerade auf dem Sprung bin;

Warum sollte man dann eine K.I. Programmieren? Selbst wenn du einem Menschen etwas beibringst hast musst du ihm an irgend einem Punkt sagen wenn das Ergebnis deinen Vorstellungen entspricht, ansonsten kann er ja nur raten was er machen soll und da wunderst du dich dass die Ergebnisse der Reihenfolge deiner Eingabe entsprechen.

Das Training ist es der K.I. den Unterschied zwischen gewünschtem und unerwünschtem Output zu zeigen, die Evolution besteht darin mit jedem neuen Input weniger Fehler bei der Erkennung der gesuchten Daten zu machen, damit die K.I. die Arbeit schneller und effizienter als ein Mensch machen kann.

Eine neuronales Netz ist nicht programmiert. Es muss nicht raten, denn die Ziele befinden sich in den Texten selbst und nicht in der Software. Evolution ist eine schöne Analogie, ist technisch aber nicht richtig, denn Backpropagation ist keine Evolution. Jedoch werden evolutionsähnliche Mechanismen beim Fine-Tuning der Modelle eingesetzt.

Ich habe dir hier nochmal die exakte Stelle rausgesucht, bitte schaus dir an, ich bin müde es zu erklären. Wenn du es einem Nobelpreisträger nicht glaubst, dann habe ich auch keine Chance es dir zu erklären. (Du kannst das Video auch auf Deutsch stellen, wenn das das Problem sein sollte).

 

[Kevinside]

Das bleibt die Frage... Kann AI wirklich intelligent handeln oder kombiniert sie nur das Wiessen, was ihr antrainiert wurde?
Kann eine KI individuell funktionieren oder täuscht sie das nur vor, weil sie damit trainiert wurde...
Selber habe ich keine Chance gegen eine Ki die mit dem ganzen Internet gefüttert wurde, aber nur alleine durch Informationen, ensteht noch lange nicht eine reale künstliche Intelligenz...

Ich selber bin geistig behindert, was viele Vorteile bringt, aber auch Nachteile...
Aber der Gedächtnispalast hat mir geholfen...

 

[Summa]

Eine neuronales Netz ist nicht programmiert. Es muss nicht raten, denn die Ziele befinden sich in den Texten selbst und nicht in der Software.

Ich hab' den Verdacht du hast bisher nur mit pre-trained K.I.s gearbeitet , denn das Training würde ansonsten nur funktionieren wenn die Daten bereits gelabelt wären.

Wenn du es einem Nobelpreisträger nicht glaubst, dann habe ich auch keine Chance es dir zu erklären. (Du kannst das Video auch auf Deutsch stellen, wenn das das Problem sein sollte).

War das nicht der Nobelpreisträger der für mich unverständlicher Weise plötzlich Panik vor K.I. gemacht hat

denn Backpropagation ist keine Evolution

War damit auch nicht gemeint, das scheint eine ganz andere Baustelle zu sein:
Quelle: https://www.ibm.com/de-de/think/topics/backpropagation

Backpropagation ist die Abkürzung für „Backward Propagation of Error“ (Rückwärtsausbreitung von Fehlern) und eine elegante Methode, um zu berechnen, wie sich Änderungen an den Gewichten oder Verzerrungen eines neuronalen Netzes auf die Genauigkeit von Modellvorhersagen auswirken. Sie ist unerlässlich für die Verwendung von überwachtem Lernen, halbüberwachtem Lernen oder selbstüberwachtem Lernen, um neuronale Netze zu trainieren.

 

[Martin Kraken]

Ich hab' den Verdacht du hast bisher nur mit pre-trained K.I.s gearbeitet , denn das Training würde ansonsten nur funktionieren wenn die Daten bereits gelabelt wären.

Dieser Satz ergibt keinen Sinn. Das zentrale Training eines LLMs erfolgt ohne jedes Labeling, die Labels werden aus den Texten selbst erzeugt. Nur beim Fine-Tuning nutzt man Labels, also zusätzliche Information oder gezielte sehr spezifische Informationen für eine Aufgabe. Ändert aber nichts daran, dass diese Ziele in den Trainingsdaten sind. Ohne Finetuning sind die meisten Modelle heute schon sehr gut, sie würden sich halt teilweise wie ein Arschloch verhalten, deshalb muss man ihnen zum Schluss nochmal gelabelte Daten geben die ihnen klar machen "Du bist ein Wichser" ist negativ und soll nicht benutzt werden. Ironie muss z.B, gelabelt werden, auch wenn manche Modelle sehr gut mit Ironie umgehen können. Der Witz an LLMs und warum sie so gut sind, liegt aber daran, dass man eben keine von Hand erstellten Labels braucht und einfach alle Texte die man zu fassen bekommt durchjagen kann.

War das nicht der Nobelpreisträger der für mich unverständlicher Weise plötzlich Panik vor K.I. gemacht hat

Man nennt ihn auch the Godfather of AI, ich verstehe das, du hast natürlich mehr Ahnung als er. Er hat nicht nur den Nobelpreis gewonnen, sondern auch den Turing Award.

War damit auch nicht gemeint, das scheint eine ganz andere Baustelle zu sein:
Quelle: https://www.ibm.com/de-de/think/topics/backpropagation

Es ist keine andere Baustelle. Du kannst dir die ersten paar Minuten des Videos des Nobelpreisträgers anschauen, er erklärt dort warum Modelle nach dem Evolutionsprinzip nicht skalierbar sind und warum man stattdessen Backpropagation nutzt.

 

[Martin Kraken]

Das bleibt die Frage... Kann AI wirklich intelligent handeln oder kombiniert sie nur das Wiessen, was ihr antrainiert wurde?
Kann eine KI individuell funktionieren oder täuscht sie das nur vor, weil sie damit trainiert wurde...
Selber habe ich keine Chance gegen eine Ki die mit dem ganzen Internet gefüttert wurde, aber nur alleine durch Informationen, ensteht noch lange nicht eine reale künstliche Intelligenz...

Ich selber bin geistig behindert, was viele Vorteile bringt, aber auch Nachteile...
Aber der Gedächtnispalast hat mir geholfen...

Irgendwann stellt sich halt die Frage was Intelligenz ist. LLMs erreichen bei Mensa-IQ-Tests etwa ein IQ von 135. Wobei sie an räumlichen, nicht textbasierten Aufgaben scheitern, dafür fast alle textbasierten Aufgaben zu 100% lösen können. Ein LLM decodiert die Welt nur anhand von Text. Wir sehen, hören, fühlen, riechen, schmecken usw. Natürlich haben wir deutlich mehr Informationen über die Welt als jemand der die Welt nur durch Text sieht. Der Mechanismus könnte aber der Selbe sein. Es gibt beim Training von LLMs zu nächst eine Phase wo das Modell sich nur Dinge merkt. Es kann nur auf gelerntes Antworten. Ab einem magischen Moment fängt es an zu generalisieren und erkennt Muster im gelernten (ohne das sich irgendwas geändert hätte, ganz von alleine). Dies bedeutet Generalisierung erfolgt automatisch in einem neuronalen Netz, ab einer bestimmten Menge an gemerkter Information. Dies könnte also bei uns genauso sein. Vielleicht können wir ab einer bestimmten Datenmenge generalisieren. Zunächst schafft das Kleinkind nur die Treppe im eigenen Haus und jede neue Treppe ist eine Herausforderung, aber wenn es genug Stufen auf verschiedenen Treppen genommen hat, dann kann es jede Treppe ohne Probleme meistern.