Einsatz von AI zum Musik machen

[Summa]

Niemand weiß was im neuronalen Netz des Anthropic-CEO vorgeht.

Aber bei einem digitalen Computer kann so ein Netz nicht die selbe Komplexität des analogen Computers das wir Gehirn nennen erreichen

 

[einseinsnull]

Niemand weiß was im neuronalen Netz des Anthropic-CEO vorgeht. Vielleicht ist er ja ein Wunderkind und weiß was im neuronalen Netz von Claude vorgeht, er behauptet jedenfalls es nicht zu wissen und er behauptet sogar niemand weiß es. Aber vielleicht lügt er, denn hier in einem kleinen Musikforum scheint es ein paar schlaue Köpfe zu geben, die genau wissen wie es läuft.

merkst du nicht wie absurd es ist, an warnungen zu glauben, die von leuten kommen, die ihr geld damit verdienen, dass es sich verbreitet?

das ist genauso schräg wie an deren versprechungen zu glauben und denen auch noch geld zu geben, dafür dass die dann etwas machen, was ihr ablehnt.

dass ausgerechnet immer diejenigen, die alles nachplappern was sie irgendwo gehört haben sich für die größten selbstdenker halten werde ich in diesem leben ja nicht mehr verstehen.

man kann nachvollziehen warum jemand gegen krieg ist, oder für bezahlbaren wohnraum, aber "für" oder "gegen" eine bestimmte art von computerprogrammen zu sein ist beides nur eine art von religiösem glauben.

 

[Martin Kraken]

kein mensch versteht, wie man bei einem iphone 11 die batterie austauscht oder warum die gummis der porsche 924 heckklappe immer wieder rausrutschen wenn man sie reindrückt.



es gibt auch menschen die wissen wie computerprogramme funktionieren.

im kern ist eine KI viel einfacher als cubase oder photoshop, die zu erstellen erst mal ein grundverständis für höhere mathematik und eine stringente logik und diverse andere softskills erfordert.



natürlich weiß man das. das verfahren ist grundsätzlich immer gleich, das ist ja das schöne daran.

Nein, ist es nicht. Das Programm, dass man braucht um ein LLM aufzubauen ist relativ simpel, aber das Programm ist nicht die AI, die AI ist das neuronale Netz was am Ende rauskommt und diesesneuronale Netz ist immer anders, selbst wenn du die selben Trainingsdaten nutzt.

Ich versuche zumindest nicht mich hinter irgendwelche schwarzen Kisten zu verstecken, nur weil ich etwas nicht verstehe und lasse mich nicht von div. Social Media Trends unnötig beängstigen.

Ich hab' mich ja auch nicht selbst programmiert, man sollte berücksichtigen dass Neuronale Netze zwar vom menschlichen Gehirn inspiriert wurden und nur zum Teil nachbilden können, die fehlende Komplexität wird durch ein enormes "Gedächtnis" ersetzt.

Das „Gedächtnis“ ist die Komplexität des neuronalen Netzes, beim Menschen und bei LLM. Du verstehst einfach nicht, dass LLM nicht in dem Sinne programmiert sind.

 

[Summa]

Das „Gedächtnis“ ist die Komplexität des neuronalen Netzes, beim Menschen und bei LLM. Du verstehst einfach nicht, dass LLM nicht in dem Sinne programmiert sind.

Die neuralen Verbindungen beim Menschen besitzen unterschiedliche Prioritäten/Spannungen und der Mensch speichert seine Daten assoziativ. Wenn ein Sprachmodell so arbeiten würde wär' es wahrscheinlich gähnend langsam und ineffektiv.

 

[Martin Kraken]

merkst du nicht wie absurd es ist, an warnungen zu glauben, die von leuten kommen, die ihr geld damit verdienen, dass es sich verbreitet?

das ist genauso schräg wie an deren versprechungen zu glauben und denen auch noch geld zu geben, dafür dass die dann etwas machen, was ihr ablehnt.

dass ausgerechnet immer diejenigen, die alles nachplappern was sie irgendwo gehört haben sich für die größten selbstdenker halten werde ich in diesem leben ja nicht mehr verstehen.

man kann nachvollziehen warum jemand gegen krieg ist, oder für bezahlbaren wohnraum, aber "für" oder "gegen" eine bestimmte art von computerprogrammen zu sein ist beides nur eine art von religiösem glauben.

Blabla, Unterhaltung auf Verschwörungstheoretiker-Niveau. Ich bin weder für noch gegen AI, darum ging es überhaupt nicht. Es ging darum, dass wir nicht nachvollziehen können wie ein LLM „denkt“, wie es zu einer Antwort kommt. Ob eine AI wirklich „denken“ kann ist völlig irrelevant, weil wir „denken“ gar nicht definieren können.

 

[Summa]

Ich versuch es mal mit einer Analogie zu erklären, wenn ich bei einem (guten) VA bei einem Sound zwei mal die selbe Note spiele kommt (praktisch fast) jedes mal ein anderer Sound/Ergebnis raus, obwohl die Voraussetzungen scheinbar jedesmal die Selben sind Natürlich ist so ein Synth für die meisten User sowas wie eine Blackbox, trotzdem würde ich ihm nicht zugestehen ein Eigenleben zu haben.

 

[Martin Kraken]

Die neuralen Verbindungen beim Menschen besitzen unterschiedliche Prioritäten/Spannungen und der Mensch speichert seine Daten assoziativ. Wenn ein Sprachmodell so arbeiten würde wär' es wahrscheinlich gähnend langsam und ineffektiv.

Erklär mal genauer was „ Mensch speichert seine Daten assoziativ“ bedeutet. Wie genau funktioniert das.

 

[Martin Kraken]

Ich versuch es mal mit einer Analogie zu erklären, wenn ich bei einem (guten) VA bei einem Sound zwei mal die selbe Note spiele kommt (praktisch fast) jedes mal ein anderer Sound/Ergebnis raus, obwohl die Voraussetzungen scheinbar jedesmal die Selben sind Natürlich ist so ein Synth für die meisten User sowas wie eine Blackbox, trotzdem würde ich ihm nicht zugestehen ein Eigenleben zu haben.

Keiner redet davon das irgendwas ein „Eigenleben“ hat. Nicht mal du hast ein „Eigenleben“.

 

[Summa]

Keiner redet davon das irgendwas ein „Eigenleben“ hat. Nicht mal du hast ein „Eigenleben“.

Die Bedeutung sollte dir in dem Zusammenhang klar sein, Variation im Ergebnis sind kein ausreichender Nachweis für ein fehlen von Nachvollziehbarkeit.

 

[Martin Kraken]

Die Bedeutung sollte dir in dem Zusammenhang klar sein, Variation im Ergebnis sind kein ausreichender Nachweis für ein fehlen von Nachvollziehbarkeit.

Genau da liegt der Unterschied, bei einem VA könntest du nachvollziehen warum er den Ton so ausgibt an Hand der Variablen. Bei einem LLM eben nicht. Theoretisch wäre es möglich, aber theoretisch wäre es auch bei einem menschlichen Gehirn möglich. Praktisch ist es aber sehr schwer und im Moment kann keiner in die Blackbox reinschauen, was bedeutet keiner weiß wirklich warum und wie Chatgpt dieAntworten ausgibt, die es ausgibt. Man versucht diesen „Denkprozess“ sichtbar zu machen, aber das funktioniert nicht wirklich zuverlässig, weil Claude z.B. einfach lügt und einem das erzählt was man hören will, weils in seiner Kindheit dafür Streicheleinheiten bekommen hat.

 

[Pete1]

Nach allem, was ich weiß, ist der Stand der Dinge weder, dass es eine absolute Black Box ist und man gar nicht versteht, wie Ergebnisse zu Stande kommen.

Es ist aber auch nicht eine weitere Art, Daten zu verarbeiten, wie man diese bisher kannte. Da gibt es schon einen qualitativen Sprung.

Weiter hilft zB der Wikipedia Artikel zu "Explainable Artificial Intelligence". Das ist das Stichwort, unter dem man Methoden zuammenfasst, die zu erklären versuchen, wie Entscheidungen zu Stande kommen. Kurz gesagt, versteht man schon sehr viel. Aber es gibt eben auch Grenzen.

Auch aufschlussreich ist die Seite zu "Deep Learning".

Tiefe neuronale Netze können eine Komplexität von bis zu hundert Millionen einzelnen Parametern und zehn Milliarden Rechenoperationen pro Eingangsdatum aufweisen. Die Interpretierbarkeit der Parameter und Erklärbarkeit des Zustandekommens der Ergebnisse ist dabei nur noch eingeschränkt möglich und erfordert den Einsatz spezieller Techniken, die unter Explainable Artificial Intelligence zusammengefasst werden.

Eine weitere Begleiterscheinung des Deep Learning ist die Anfälligkeit für Falschberechnungen, die durch geringfügig veränderte Eingabesignale ausgelöst werden können. Ein Angreifer könnte z. B. Bilddaten absichtlich so manipulieren, dass eine Bilderkennung für Bilder, die für einen Menschen normal aussehen, falsche Ergebnisse liefert. Dieses Phänomen wird unter Adversarial Examples zusammengefasst.[31]

Zu Grenzen und Erklärbarkeit von KI gibt es zwei unterschiedliche Konzepte. Bei beiden lassen sich die Logik, die Vorhersagen und die Entscheidungen einer KI nicht einfach ausdrücken.

• „Transparente KI“ unterstützt die Ausgabe von Informationen, mit denen auch komplexe Entscheidungen erklärt und für den Menschen verständlich gemacht werden können. So kann die Entscheidungsfindung überprüft und bei Bedarf korrigiert werden. Beispiele sind Entscheidungsbäume und Expertensysteme.
• „Opake KI“ unterstützt keine Ausgabe von Informationen, mit denen Entscheidungen für den Menschen verständlich gemacht werden können. Beispiele sind neuronale Netze, Deep Learning und genetische Algorithmen.

 

[Scenturio]

• Transparente KI“ unterstützt die Ausgabe von Informationen, mit denen auch komplexe Entscheidungen erklärt und für den Menschen verständlich gemacht werden können. So kann die Entscheidungsfindung überprüft und bei Bedarf korrigiert werden. Beispiele sind Entscheidungsbäume und Expertensysteme.
• „Opake KI“ unterstützt keine Ausgabe von Informationen, mit denen Entscheidungen für den Menschen verständlich gemacht werden können. Beispiele sind neuronale Netze, Deep Learning und genetische Algorithmen.

wobei aktuelle LLM mit Reasoning-Ausgabe noch eine weitere (oder zwischen-)Klasse darstellen, oder? Nach dieser Definition wären LLM wohl opake KI, da sie afaik anders arbeiten als bisherige Expertensysteme.

 

[Martin Kraken]

Nach allem, was ich weiß, ist der Stand der Dinge weder, dass es eine absolute Black Box ist und man gar nicht versteht, wie Ergebnisse zu Stande kommen.

Es ist aber auch nicht eine weitere Art, Daten zu verarbeiten, wie man diese bisher kannte. Da gibt es schon einen qualitativen Sprung.

Weiter hilft zB der Wikipedia Artikel zu "Explainable Artificial Intelligence". Das ist das Stichwort, unter dem man Methoden zuammenfasst, die zu erklären versuchen, wie Entscheidungen zu Stande kommen. Kurz gesagt, versteht man schon sehr viel. Aber es gibt eben auch Grenzen.

Auch aufschlussreich ist die Seite zu "Deep Learning".

Tiefe neuronale Netze können eine Komplexität von bis zu hundert Millionen einzelnen Parametern und zehn Milliarden Rechenoperationen pro Eingangsdatum aufweisen. Die Interpretierbarkeit der Parameter und Erklärbarkeit des Zustandekommens der Ergebnisse ist dabei nur noch eingeschränkt möglich und erfordert den Einsatz spezieller Techniken, die unter Explainable Artificial Intelligence zusammengefasst werden.

Eine weitere Begleiterscheinung des Deep Learning ist die Anfälligkeit für Falschberechnungen, die durch geringfügig veränderte Eingabesignale ausgelöst werden können. Ein Angreifer könnte z. B. Bilddaten absichtlich so manipulieren, dass eine Bilderkennung für Bilder, die für einen Menschen normal aussehen, falsche Ergebnisse liefert. Dieses Phänomen wird unter Adversarial Examples zusammengefasst.[31]

Zu Grenzen und Erklärbarkeit von KI gibt es zwei unterschiedliche Konzepte. Bei beiden lassen sich die Logik, die Vorhersagen und die Entscheidungen einer KI nicht einfach ausdrücken.

• „Transparente KI“ unterstützt die Ausgabe von Informationen, mit denen auch komplexe Entscheidungen erklärt und für den Menschen verständlich gemacht werden können. So kann die Entscheidungsfindung überprüft und bei Bedarf korrigiert werden. Beispiele sind Entscheidungsbäume und Expertensysteme.
• „Opake KI“ unterstützt keine Ausgabe von Informationen, mit denen Entscheidungen für den Menschen verständlich gemacht werden können. Beispiele sind neuronale Netze, Deep Learning und genetische Algorithmen.

Der Term EAI ist längst schon wieder tot und es gibt keinen wirklichen Ansatz um LLMs zu verstehen.

Es ist eigentlich alles sehr genau beschrieben in den zwei Videos die ich verlinkt habe. Hier der Link zu den Research Papern.

Tracing the thoughts of a large language model

Anthropic's latest interpretability research: a new microscope to understand Claude's internal mechanisms

www.anthropic.com

„ Language models like Claude aren't programmed directly by humans—instead, they‘re trained on large amounts of data. During that training process, they learn their own strategies to solve problems. These strategies are encoded in the billions of computations a model performs for every word it writes. They arrive inscrutable to us, the model’s developers. This means that we don’t understand how models do most of the things they do. „

Jetzt haben sie im Prinzip ganz simple Anfragen gestellt und diese versucht nachzuverfolgen, bei einem einfacheren Model. Sie kommen zu dem Schluss:

At the same time, we recognize the limitations of our current approach. Even on short, simple prompts, our method only captures a fraction of the total computation performed by Claude, and the mechanisms we do see may have some artifacts based on our tools which don't reflect what is going on in the underlying model.

 

[Kevinside]

@einseinsnull

Du postest genau das, was du für deine Argumentation brauchst und bist dir nicht mal zu schade, alles aus dem Kontext zu reißen...
Egal...Besser gesagt; Mir ist es wahrlich egal, wie du über KI denkst... Für mich steht die Entscheidung fest, AI Tools nicht zu nutzen, weil ich sie einfach nicht brauche...All das, was für mich wichtig ist, habe ich im Kopf...

Wie du mit dieser Technologie umgehst, ist alleine deine Sache...

 

[Summa]

Der Term EAI ist längst schon wieder tot und es gibt keinen wirklichen Ansatz um LLMs zu verstehen.

Es ist eigentlich alles sehr genau beschrieben in den zwei Videos die ich verlinkt habe. Hier der Link zu den Research Papern.

Tracing the thoughts of a large language model

Anthropic's latest interpretability research: a new microscope to understand Claude's internal mechanisms

www.anthropic.com

„ Language models like Claude aren't programmed directly by humans—instead, they‘re trained on large amounts of data. During that training process, they learn their own strategies to solve problems. These strategies are encoded in the billions of computations a model performs for every word it writes. They arrive inscrutable to us, the model’s developers. This means that we don’t understand how models do most of the things they do. „

Jetzt haben sie im Prinzip ganz simple Anfragen gestellt und diese versucht nachzuverfolgen, bei einem einfacheren Model. Sie kommen zu dem Schluss:

At the same time, we recognize the limitations of our current approach. Even on short, simple prompts, our method only captures a fraction of the total computation performed by Claude, and the mechanisms we do see may have some artifacts based on our tools which don't reflect what is going on in the underlying model.

Das ist eine Frage der Logik das richtig zu verstehen, ohne eine Vorschrift wie man mit etwas umgehen soll, ist es selbst für einen Menschen nur schwerlich möglich aus einer großen Menge an Daten etwas sinnvolles zu machen. Es muss zwangsweise eine grundlegende Programmierung vorhanden sein, die der K.I. sagt wie sie mit Daten abhängig vom Problem umgehen soll. Angesichts der Beschreibung fehlt der Software vielleicht eine Kontrollinstanz um den Prozess aktiv steuern zu können, ähnlich einer Lehrer/Meister Schüler unterrichtet oder etwas womit man auf die Gewichtung der Daten aktiv Einfluss nehmen kann um zum gewünschte Ergebnis zu kommen.
Laut dem Wikipedia Artikel ist genau das passiert, sie nutzen ein weiteres K.I. Modell (Constitutional AI) um Claude zu trainieren, sie nennen das überwachtes lernen.

 

[Martin Kraken]

Das ist eine Frage der Logik das richtig zu verstehen, ohne eine Vorschrift wie man mit etwas umgehen soll, ist es selbst für einen Menschen nur schwerlich möglich aus einer großen Menge an Daten etwas sinnvolles zu machen. Es muss zwangsweise eine grundlegende Programmierung vorhanden sein, die der K.I. sagt wie sie mit Daten abhängig vom Problem umgehen soll. Angesichts der Beschreibung fehlt der Software vielleicht eine Kontrollinstanz um den Prozess aktiv steuern zu können, ähnlich einer Lehrer/Meister Schüler unterrichtet oder etwas womit man auf die Gewichtung der Daten aktiv Einfluss nehmen kann um zum gewünschte Ergebnis zu kommen.
Laut dem Wikipedia Artikel ist genau das passiert, sie nutzen ein weiteres K.I. Modell (Constitutional AI) um Claude zu trainieren, sie nennen das überwachtes lernen.

LLM lernen in dem man ihnen einen Text gibt und das letzte Wort dieses Textes „erraten“ lässt. Beispiel: Im Bach fließt … Die richtige Antwort kann die Software überprüfen. Was die Software also macht ist das letzte Wort eines Textes löschen, es dem neuronalen Netz zeigen und den Output kontrollieren. Ist das generierte Wort falsch wird wiederholt und die Parameter der Billionen Netzknoten leicht zufällig variiert. Da kommt dann am Anfang natürlich nur Mist raus, aber da das alles in Hochgeschwindigkeit geschieht sind dann irgendwann die Parameter so, dass das richtige Wort ausgegeben wird. Das wird dann mit Billionen Texten wiederholt. Irgendwann geschieht der Magic-Moment und das Netz spuckt auf unbekannte Texte die richtigen Worte aus ohne Parameter zu variieren. Man nennt das Generalisieren. Wie genau es funktioniert versteht man nicht.

 

[Summa]

Quelle: https://www.alexanderthamm.com/de/blog/training-von-large-language-models/

Das Training eines Large Language Models ist ein vielschichtiger Prozess. In diesem Abschnitt bieten wir eine detaillierte Beschreibung des selbstüberwachten, überwachten und verstärkenden Lernens, da sie eine entscheidende Rolle dabei spielen, LLMs in die Lage zu versetzen, Ergebnisse zu erzeugen, die verschiedene Geschäftsanwendungen unterstützen. Es ist wichtig zu beachten, dass, obwohl jede Trainingsphase ihre eigene Rolle hat, die kollektive Rolle der drei Phasen zu einem effektiven und gut funktionierenden LLM führt.

1. Self-Supervised Learning: In der ersten Trainingsphase wird das Modell mit riesigen Mengen an Rohdaten gefüttert und lässt fehlende Teile davon vorhersagen. Durch diesen Prozess lernt das Modell etwas über die Sprache und den Bereich der Daten, um wahrscheinliche Antworten zu generieren. Das Hauptaugenmerk beim Self-Supervised Learning liegt auf der Vorhersage von Wörtern und Sätzen.

• Supervised Learning: Supervised Learning (auf Deutsch überwachtes Lernen) ist die zweite Stufe beim Training von Large Language Models und ist die entscheidende Phase, die auf dem grundlegenden Wissen aufbaut, das in der Phase des selbstüberwachten Lernens erworben wurde. In dieser Phase wird das Modell ausschließlich darauf trainiert, Anweisungen zu befolgen, und es lernt, auf spezifische Anfragen zu reagieren. Das Modell wird in dieser Phase interaktiver und funktioneller. In dieser Phase wird das Modell darauf vorbereitet, mit den Benutzern zu interagieren, ihre Anfragen zu verstehen und wertvolle Antworten zu geben.
• Reinforcement Learning: Dies ist die letzte Stufe des Trainingsprozesses. Hier werden erwünschte Verhaltensweisen gefördert und unerwünschte Ergebnisse verhindert. Dem Modell werden keine exakten Ergebnisse vorgegeben, sondern es bewertet die von ihm erzeugten Ergebnisse. Der Prozess beginnt mit einem Modell, das in der Lage ist, Anweisungen zu folgen und Sprachmuster vorherzusagen. Anschließend verwenden Datenwissenschaftler menschliche Anmerkungen, um zwischen guten und schlechten Ergebnissen zu unterscheiden. Diese Anmerkungen dienen dem Modell als Leitlinien und erleichtern ihm das Verständnis für bevorzugte und nicht bevorzugte Antworten. Das aus den Kommentaren gewonnene Feedback wird verwendet, um ein Belohnungsmodell zu trainieren. Das Belohnungsmodell ist von entscheidender Bedeutung, da es das Modell dazu anleitet, mehr erwünschte Antworten zu produzieren und weniger erwünschte zu unterdrücken. Diese Methode ist besonders vorteilhaft, wenn es darum geht, schädliche und beleidigende Sprache zu unterdrücken und qualitativ hochwertige Antworten des Sprachmodells zu fördern.

Eine kompakte Einleitung in die Definition und Begrifflichkeiten hinter Reinforcement Learning erhalten Sie in unserem Grundlagenartikel zur Methodik: