Einsatz von AI zum Musik machen

[Summa]

Niemand weiß was im neuronalen Netz des Anthropic-CEO vorgeht.

Aber bei einem digitalen Computer kann so ein Netz nicht die selbe Komplexität des analogen Computers das wir Gehirn nennen erreichen

 

[einseinsnull]

Niemand weiß was im neuronalen Netz des Anthropic-CEO vorgeht. Vielleicht ist er ja ein Wunderkind und weiß was im neuronalen Netz von Claude vorgeht, er behauptet jedenfalls es nicht zu wissen und er behauptet sogar niemand weiß es. Aber vielleicht lügt er, denn hier in einem kleinen Musikforum scheint es ein paar schlaue Köpfe zu geben, die genau wissen wie es läuft.

merkst du nicht wie absurd es ist, an warnungen zu glauben, die von leuten kommen, die ihr geld damit verdienen, dass es sich verbreitet?

das ist genauso schräg wie an deren versprechungen zu glauben und denen auch noch geld zu geben, dafür dass die dann etwas machen, was ihr ablehnt.

dass ausgerechnet immer diejenigen, die alles nachplappern was sie irgendwo gehört haben sich für die größten selbstdenker halten werde ich in diesem leben ja nicht mehr verstehen.

man kann nachvollziehen warum jemand gegen krieg ist, oder für bezahlbaren wohnraum, aber "für" oder "gegen" eine bestimmte art von computerprogrammen zu sein ist beides nur eine art von religiösem glauben.

 

[Martin Kraken]

kein mensch versteht, wie man bei einem iphone 11 die batterie austauscht oder warum die gummis der porsche 924 heckklappe immer wieder rausrutschen wenn man sie reindrückt.



es gibt auch menschen die wissen wie computerprogramme funktionieren.

im kern ist eine KI viel einfacher als cubase oder photoshop, die zu erstellen erst mal ein grundverständis für höhere mathematik und eine stringente logik und diverse andere softskills erfordert.



natürlich weiß man das. das verfahren ist grundsätzlich immer gleich, das ist ja das schöne daran.

Nein, ist es nicht. Das Programm, dass man braucht um ein LLM aufzubauen ist relativ simpel, aber das Programm ist nicht die AI, die AI ist das neuronale Netz was am Ende rauskommt und diesesneuronale Netz ist immer anders, selbst wenn du die selben Trainingsdaten nutzt.

Ich versuche zumindest nicht mich hinter irgendwelche schwarzen Kisten zu verstecken, nur weil ich etwas nicht verstehe und lasse mich nicht von div. Social Media Trends unnötig beängstigen.

Ich hab' mich ja auch nicht selbst programmiert, man sollte berücksichtigen dass Neuronale Netze zwar vom menschlichen Gehirn inspiriert wurden und nur zum Teil nachbilden können, die fehlende Komplexität wird durch ein enormes "Gedächtnis" ersetzt.

Das „Gedächtnis“ ist die Komplexität des neuronalen Netzes, beim Menschen und bei LLM. Du verstehst einfach nicht, dass LLM nicht in dem Sinne programmiert sind.

 

[Summa]

Das „Gedächtnis“ ist die Komplexität des neuronalen Netzes, beim Menschen und bei LLM. Du verstehst einfach nicht, dass LLM nicht in dem Sinne programmiert sind.

Die neuralen Verbindungen beim Menschen besitzen unterschiedliche Prioritäten/Spannungen und der Mensch speichert seine Daten assoziativ. Wenn ein Sprachmodell so arbeiten würde wär' es wahrscheinlich gähnend langsam und ineffektiv.

 

[Martin Kraken]

merkst du nicht wie absurd es ist, an warnungen zu glauben, die von leuten kommen, die ihr geld damit verdienen, dass es sich verbreitet?

das ist genauso schräg wie an deren versprechungen zu glauben und denen auch noch geld zu geben, dafür dass die dann etwas machen, was ihr ablehnt.

dass ausgerechnet immer diejenigen, die alles nachplappern was sie irgendwo gehört haben sich für die größten selbstdenker halten werde ich in diesem leben ja nicht mehr verstehen.

man kann nachvollziehen warum jemand gegen krieg ist, oder für bezahlbaren wohnraum, aber "für" oder "gegen" eine bestimmte art von computerprogrammen zu sein ist beides nur eine art von religiösem glauben.

Blabla, Unterhaltung auf Verschwörungstheoretiker-Niveau. Ich bin weder für noch gegen AI, darum ging es überhaupt nicht. Es ging darum, dass wir nicht nachvollziehen können wie ein LLM „denkt“, wie es zu einer Antwort kommt. Ob eine AI wirklich „denken“ kann ist völlig irrelevant, weil wir „denken“ gar nicht definieren können.

 

[Summa]

Ich versuch es mal mit einer Analogie zu erklären, wenn ich bei einem (guten) VA bei einem Sound zwei mal die selbe Note spiele kommt (praktisch fast) jedes mal ein anderer Sound/Ergebnis raus, obwohl die Voraussetzungen scheinbar jedesmal die Selben sind Natürlich ist so ein Synth für die meisten User sowas wie eine Blackbox, trotzdem würde ich ihm nicht zugestehen ein Eigenleben zu haben.

 

[Martin Kraken]

Die neuralen Verbindungen beim Menschen besitzen unterschiedliche Prioritäten/Spannungen und der Mensch speichert seine Daten assoziativ. Wenn ein Sprachmodell so arbeiten würde wär' es wahrscheinlich gähnend langsam und ineffektiv.

Erklär mal genauer was „ Mensch speichert seine Daten assoziativ“ bedeutet. Wie genau funktioniert das.

 

[Martin Kraken]

Ich versuch es mal mit einer Analogie zu erklären, wenn ich bei einem (guten) VA bei einem Sound zwei mal die selbe Note spiele kommt (praktisch fast) jedes mal ein anderer Sound/Ergebnis raus, obwohl die Voraussetzungen scheinbar jedesmal die Selben sind Natürlich ist so ein Synth für die meisten User sowas wie eine Blackbox, trotzdem würde ich ihm nicht zugestehen ein Eigenleben zu haben.

Keiner redet davon das irgendwas ein „Eigenleben“ hat. Nicht mal du hast ein „Eigenleben“.

 

[Summa]

Keiner redet davon das irgendwas ein „Eigenleben“ hat. Nicht mal du hast ein „Eigenleben“.

Die Bedeutung sollte dir in dem Zusammenhang klar sein, Variation im Ergebnis sind kein ausreichender Nachweis für ein fehlen von Nachvollziehbarkeit.

 

[Martin Kraken]

Die Bedeutung sollte dir in dem Zusammenhang klar sein, Variation im Ergebnis sind kein ausreichender Nachweis für ein fehlen von Nachvollziehbarkeit.

Genau da liegt der Unterschied, bei einem VA könntest du nachvollziehen warum er den Ton so ausgibt an Hand der Variablen. Bei einem LLM eben nicht. Theoretisch wäre es möglich, aber theoretisch wäre es auch bei einem menschlichen Gehirn möglich. Praktisch ist es aber sehr schwer und im Moment kann keiner in die Blackbox reinschauen, was bedeutet keiner weiß wirklich warum und wie Chatgpt dieAntworten ausgibt, die es ausgibt. Man versucht diesen „Denkprozess“ sichtbar zu machen, aber das funktioniert nicht wirklich zuverlässig, weil Claude z.B. einfach lügt und einem das erzählt was man hören will, weils in seiner Kindheit dafür Streicheleinheiten bekommen hat.

 

[Pete1]

Nach allem, was ich weiß, ist der Stand der Dinge weder, dass es eine absolute Black Box ist und man gar nicht versteht, wie Ergebnisse zu Stande kommen.

Es ist aber auch nicht eine weitere Art, Daten zu verarbeiten, wie man diese bisher kannte. Da gibt es schon einen qualitativen Sprung.

Weiter hilft zB der Wikipedia Artikel zu "Explainable Artificial Intelligence". Das ist das Stichwort, unter dem man Methoden zuammenfasst, die zu erklären versuchen, wie Entscheidungen zu Stande kommen. Kurz gesagt, versteht man schon sehr viel. Aber es gibt eben auch Grenzen.

Auch aufschlussreich ist die Seite zu "Deep Learning".

Tiefe neuronale Netze können eine Komplexität von bis zu hundert Millionen einzelnen Parametern und zehn Milliarden Rechenoperationen pro Eingangsdatum aufweisen. Die Interpretierbarkeit der Parameter und Erklärbarkeit des Zustandekommens der Ergebnisse ist dabei nur noch eingeschränkt möglich und erfordert den Einsatz spezieller Techniken, die unter Explainable Artificial Intelligence zusammengefasst werden.

Eine weitere Begleiterscheinung des Deep Learning ist die Anfälligkeit für Falschberechnungen, die durch geringfügig veränderte Eingabesignale ausgelöst werden können. Ein Angreifer könnte z. B. Bilddaten absichtlich so manipulieren, dass eine Bilderkennung für Bilder, die für einen Menschen normal aussehen, falsche Ergebnisse liefert. Dieses Phänomen wird unter Adversarial Examples zusammengefasst.[31]

Zu Grenzen und Erklärbarkeit von KI gibt es zwei unterschiedliche Konzepte. Bei beiden lassen sich die Logik, die Vorhersagen und die Entscheidungen einer KI nicht einfach ausdrücken.

• „Transparente KI“ unterstützt die Ausgabe von Informationen, mit denen auch komplexe Entscheidungen erklärt und für den Menschen verständlich gemacht werden können. So kann die Entscheidungsfindung überprüft und bei Bedarf korrigiert werden. Beispiele sind Entscheidungsbäume und Expertensysteme.
• „Opake KI“ unterstützt keine Ausgabe von Informationen, mit denen Entscheidungen für den Menschen verständlich gemacht werden können. Beispiele sind neuronale Netze, Deep Learning und genetische Algorithmen.

 

[Scenturio]

• Transparente KI“ unterstützt die Ausgabe von Informationen, mit denen auch komplexe Entscheidungen erklärt und für den Menschen verständlich gemacht werden können. So kann die Entscheidungsfindung überprüft und bei Bedarf korrigiert werden. Beispiele sind Entscheidungsbäume und Expertensysteme.
• „Opake KI“ unterstützt keine Ausgabe von Informationen, mit denen Entscheidungen für den Menschen verständlich gemacht werden können. Beispiele sind neuronale Netze, Deep Learning und genetische Algorithmen.

wobei aktuelle LLM mit Reasoning-Ausgabe noch eine weitere (oder zwischen-)Klasse darstellen, oder? Nach dieser Definition wären LLM wohl opake KI, da sie afaik anders arbeiten als bisherige Expertensysteme.

 

[Martin Kraken]

Nach allem, was ich weiß, ist der Stand der Dinge weder, dass es eine absolute Black Box ist und man gar nicht versteht, wie Ergebnisse zu Stande kommen.

Es ist aber auch nicht eine weitere Art, Daten zu verarbeiten, wie man diese bisher kannte. Da gibt es schon einen qualitativen Sprung.

Weiter hilft zB der Wikipedia Artikel zu "Explainable Artificial Intelligence". Das ist das Stichwort, unter dem man Methoden zuammenfasst, die zu erklären versuchen, wie Entscheidungen zu Stande kommen. Kurz gesagt, versteht man schon sehr viel. Aber es gibt eben auch Grenzen.

Auch aufschlussreich ist die Seite zu "Deep Learning".

Tiefe neuronale Netze können eine Komplexität von bis zu hundert Millionen einzelnen Parametern und zehn Milliarden Rechenoperationen pro Eingangsdatum aufweisen. Die Interpretierbarkeit der Parameter und Erklärbarkeit des Zustandekommens der Ergebnisse ist dabei nur noch eingeschränkt möglich und erfordert den Einsatz spezieller Techniken, die unter Explainable Artificial Intelligence zusammengefasst werden.

Eine weitere Begleiterscheinung des Deep Learning ist die Anfälligkeit für Falschberechnungen, die durch geringfügig veränderte Eingabesignale ausgelöst werden können. Ein Angreifer könnte z. B. Bilddaten absichtlich so manipulieren, dass eine Bilderkennung für Bilder, die für einen Menschen normal aussehen, falsche Ergebnisse liefert. Dieses Phänomen wird unter Adversarial Examples zusammengefasst.[31]

Zu Grenzen und Erklärbarkeit von KI gibt es zwei unterschiedliche Konzepte. Bei beiden lassen sich die Logik, die Vorhersagen und die Entscheidungen einer KI nicht einfach ausdrücken.

• „Transparente KI“ unterstützt die Ausgabe von Informationen, mit denen auch komplexe Entscheidungen erklärt und für den Menschen verständlich gemacht werden können. So kann die Entscheidungsfindung überprüft und bei Bedarf korrigiert werden. Beispiele sind Entscheidungsbäume und Expertensysteme.
• „Opake KI“ unterstützt keine Ausgabe von Informationen, mit denen Entscheidungen für den Menschen verständlich gemacht werden können. Beispiele sind neuronale Netze, Deep Learning und genetische Algorithmen.

Der Term EAI ist längst schon wieder tot und es gibt keinen wirklichen Ansatz um LLMs zu verstehen.

Es ist eigentlich alles sehr genau beschrieben in den zwei Videos die ich verlinkt habe. Hier der Link zu den Research Papern.

Tracing the thoughts of a large language model

Anthropic's latest interpretability research: a new microscope to understand Claude's internal mechanisms

www.anthropic.com

„ Language models like Claude aren't programmed directly by humans—instead, they‘re trained on large amounts of data. During that training process, they learn their own strategies to solve problems. These strategies are encoded in the billions of computations a model performs for every word it writes. They arrive inscrutable to us, the model’s developers. This means that we don’t understand how models do most of the things they do. „

Jetzt haben sie im Prinzip ganz simple Anfragen gestellt und diese versucht nachzuverfolgen, bei einem einfacheren Model. Sie kommen zu dem Schluss:

At the same time, we recognize the limitations of our current approach. Even on short, simple prompts, our method only captures a fraction of the total computation performed by Claude, and the mechanisms we do see may have some artifacts based on our tools which don't reflect what is going on in the underlying model.

 

[Kevinside]

@einseinsnull

Du postest genau das, was du für deine Argumentation brauchst und bist dir nicht mal zu schade, alles aus dem Kontext zu reißen...
Egal...Besser gesagt; Mir ist es wahrlich egal, wie du über KI denkst... Für mich steht die Entscheidung fest, AI Tools nicht zu nutzen, weil ich sie einfach nicht brauche...All das, was für mich wichtig ist, habe ich im Kopf...

Wie du mit dieser Technologie umgehst, ist alleine deine Sache...

 

[Summa]

Der Term EAI ist längst schon wieder tot und es gibt keinen wirklichen Ansatz um LLMs zu verstehen.

Es ist eigentlich alles sehr genau beschrieben in den zwei Videos die ich verlinkt habe. Hier der Link zu den Research Papern.

Tracing the thoughts of a large language model

Anthropic's latest interpretability research: a new microscope to understand Claude's internal mechanisms

www.anthropic.com

„ Language models like Claude aren't programmed directly by humans—instead, they‘re trained on large amounts of data. During that training process, they learn their own strategies to solve problems. These strategies are encoded in the billions of computations a model performs for every word it writes. They arrive inscrutable to us, the model’s developers. This means that we don’t understand how models do most of the things they do. „

Jetzt haben sie im Prinzip ganz simple Anfragen gestellt und diese versucht nachzuverfolgen, bei einem einfacheren Model. Sie kommen zu dem Schluss:

At the same time, we recognize the limitations of our current approach. Even on short, simple prompts, our method only captures a fraction of the total computation performed by Claude, and the mechanisms we do see may have some artifacts based on our tools which don't reflect what is going on in the underlying model.

Das ist eine Frage der Logik das richtig zu verstehen, ohne eine Vorschrift wie man mit etwas umgehen soll, ist es selbst für einen Menschen nur schwerlich möglich aus einer großen Menge an Daten etwas sinnvolles zu machen. Es muss zwangsweise eine grundlegende Programmierung vorhanden sein, die der K.I. sagt wie sie mit Daten abhängig vom Problem umgehen soll. Angesichts der Beschreibung fehlt der Software vielleicht eine Kontrollinstanz um den Prozess aktiv steuern zu können, ähnlich einer Lehrer/Meister Schüler unterrichtet oder etwas womit man auf die Gewichtung der Daten aktiv Einfluss nehmen kann um zum gewünschte Ergebnis zu kommen.
Laut dem Wikipedia Artikel ist genau das passiert, sie nutzen ein weiteres K.I. Modell (Constitutional AI) um Claude zu trainieren, sie nennen das überwachtes lernen.

 

[Martin Kraken]

Das ist eine Frage der Logik das richtig zu verstehen, ohne eine Vorschrift wie man mit etwas umgehen soll, ist es selbst für einen Menschen nur schwerlich möglich aus einer großen Menge an Daten etwas sinnvolles zu machen. Es muss zwangsweise eine grundlegende Programmierung vorhanden sein, die der K.I. sagt wie sie mit Daten abhängig vom Problem umgehen soll. Angesichts der Beschreibung fehlt der Software vielleicht eine Kontrollinstanz um den Prozess aktiv steuern zu können, ähnlich einer Lehrer/Meister Schüler unterrichtet oder etwas womit man auf die Gewichtung der Daten aktiv Einfluss nehmen kann um zum gewünschte Ergebnis zu kommen.
Laut dem Wikipedia Artikel ist genau das passiert, sie nutzen ein weiteres K.I. Modell (Constitutional AI) um Claude zu trainieren, sie nennen das überwachtes lernen.

LLM lernen in dem man ihnen einen Text gibt und das letzte Wort dieses Textes „erraten“ lässt. Beispiel: Im Bach fließt … Die richtige Antwort kann die Software überprüfen. Was die Software also macht ist das letzte Wort eines Textes löschen, es dem neuronalen Netz zeigen und den Output kontrollieren. Ist das generierte Wort falsch wird wiederholt und die Parameter der Billionen Netzknoten leicht zufällig variiert. Da kommt dann am Anfang natürlich nur Mist raus, aber da das alles in Hochgeschwindigkeit geschieht sind dann irgendwann die Parameter so, dass das richtige Wort ausgegeben wird. Das wird dann mit Billionen Texten wiederholt. Irgendwann geschieht der Magic-Moment und das Netz spuckt auf unbekannte Texte die richtigen Worte aus ohne Parameter zu variieren. Man nennt das Generalisieren. Wie genau es funktioniert versteht man nicht.

 

[Summa]

Quelle: https://www.alexanderthamm.com/de/blog/training-von-large-language-models/

Das Training eines Large Language Models ist ein vielschichtiger Prozess. In diesem Abschnitt bieten wir eine detaillierte Beschreibung des selbstüberwachten, überwachten und verstärkenden Lernens, da sie eine entscheidende Rolle dabei spielen, LLMs in die Lage zu versetzen, Ergebnisse zu erzeugen, die verschiedene Geschäftsanwendungen unterstützen. Es ist wichtig zu beachten, dass, obwohl jede Trainingsphase ihre eigene Rolle hat, die kollektive Rolle der drei Phasen zu einem effektiven und gut funktionierenden LLM führt.

1. Self-Supervised Learning: In der ersten Trainingsphase wird das Modell mit riesigen Mengen an Rohdaten gefüttert und lässt fehlende Teile davon vorhersagen. Durch diesen Prozess lernt das Modell etwas über die Sprache und den Bereich der Daten, um wahrscheinliche Antworten zu generieren. Das Hauptaugenmerk beim Self-Supervised Learning liegt auf der Vorhersage von Wörtern und Sätzen.

• Supervised Learning: Supervised Learning (auf Deutsch überwachtes Lernen) ist die zweite Stufe beim Training von Large Language Models und ist die entscheidende Phase, die auf dem grundlegenden Wissen aufbaut, das in der Phase des selbstüberwachten Lernens erworben wurde. In dieser Phase wird das Modell ausschließlich darauf trainiert, Anweisungen zu befolgen, und es lernt, auf spezifische Anfragen zu reagieren. Das Modell wird in dieser Phase interaktiver und funktioneller. In dieser Phase wird das Modell darauf vorbereitet, mit den Benutzern zu interagieren, ihre Anfragen zu verstehen und wertvolle Antworten zu geben.
• Reinforcement Learning: Dies ist die letzte Stufe des Trainingsprozesses. Hier werden erwünschte Verhaltensweisen gefördert und unerwünschte Ergebnisse verhindert. Dem Modell werden keine exakten Ergebnisse vorgegeben, sondern es bewertet die von ihm erzeugten Ergebnisse. Der Prozess beginnt mit einem Modell, das in der Lage ist, Anweisungen zu folgen und Sprachmuster vorherzusagen. Anschließend verwenden Datenwissenschaftler menschliche Anmerkungen, um zwischen guten und schlechten Ergebnissen zu unterscheiden. Diese Anmerkungen dienen dem Modell als Leitlinien und erleichtern ihm das Verständnis für bevorzugte und nicht bevorzugte Antworten. Das aus den Kommentaren gewonnene Feedback wird verwendet, um ein Belohnungsmodell zu trainieren. Das Belohnungsmodell ist von entscheidender Bedeutung, da es das Modell dazu anleitet, mehr erwünschte Antworten zu produzieren und weniger erwünschte zu unterdrücken. Diese Methode ist besonders vorteilhaft, wenn es darum geht, schädliche und beleidigende Sprache zu unterdrücken und qualitativ hochwertige Antworten des Sprachmodells zu fördern.

Eine kompakte Einleitung in die Definition und Begrifflichkeiten hinter Reinforcement Learning erhalten Sie in unserem Grundlagenartikel zur Methodik:

 

[Martin Kraken]

Quelle: https://www.alexanderthamm.com/de/blog/training-von-large-language-models/

Ich lese mir nicht irgendwelche Internetseiten durch, da kann ich ja gleich meinen Nachbarn fragen Immerhin hatte ich in den 80ern ein C64. Spass bei Seite, der Knackpunkt ist, wir kennen die Lösungsstrategien eines bestimmten Models nicht, wir können aufgrund der Komplexität nicht mehr nachvollziehen was in der Blackbox passiert. Wir wissen nicht genau warum das ausfüllen von Lückentexten dazu führt, dass auch unbekannte Texte richtig beantwortet werden, wir wissen nur, dass es funktioniert.

 

[rktic]

LLM lernen in dem man ihnen einen Text gibt und das letzte Wort dieses Textes „erraten“ lässt. Beispiel: Im Bach fließt … Die richtige Antwort kann die Software überprüfen.

Auch wenn's wie Haarspalterei wirkt: Es gibt da einen entscheidenenden Unterschied zwischen richtig/falsch und wahrscheinlich/unwahrscheinlich. Durch die zweite Brille betrachtet, ist die Funktionsweise weniger magisch. Cool finde ich, dass Claude quasi Lookahead benutzt. Um die Wahrscheinlichkeit zu erhöhen, beim Output synthetisieren einem roten Faden zu folgen. Wir haben ebenfalls gelernt, dass es Schwellenwerte für Datensatzgrößen und Anzahl von Mustererkennungs-Iterationen gibt, um die Wahrscheinlichkeit von stimmigem Output zu erhöhen.

Und ja: bei LLMs haben wir noch keinen Weg, um jede Synthese-Operationen nachzuvollziehen (wofür es physische Limitationen gibt, zB Arbeitsspeicher)—Es beruht alles auf Code, Mathe, Logik, Heuristk und Wiederholungen.

Insofern ist es keine Überraschung, dass so ein System mit hoher Wahrscheinlichkeit Hautkrebs identifizieren kann. Das war im wissenschaftlichen Raum von Anfang an klar. Da der Output sich auf eine konkrete Zahl runterbrechen lässt: xx,xx% Krebswahrscheinlichkeit (inkl Referenzmarker). Da rennt niemand rum, und fragt sich, warum das funktioniert.

Gleichzeitig ist auch klar: Um zu überprüfen, ob der Output eines LLMs in Kontext einer offenen Fragestellung mit allen darunterliegenden Annahmen des Nutzers 'richtig' ist, kann so ein System nicht leisten können. Dafür wäre notwendig, dass ein LLM erstmal ausschliesslich von allen Experten in allen Feldern benutzt wird. Um 90% von 100% Stimmigkeit zu unterscheiden. Um auch nur ansatzweise "Erfahrung" in das System zu bekommen. Was die Wissenschaft bis dato für eine Aufgabe hält, die sich nicht durch Skalierung lösen lässt.

Bis wir dieses grundsätzliche Problem gelöst haben, können LLM's nur der Typ sein, der vermeindlich alles weiß. Und nix versteht. Was im wissenschaftlichen Rahmen auch klar wie Kloßbrühe ist. Alles andere ist irgendwo zwischen PR und Aberglaube. Und unserer gesellschaftlichen Angst davor, dass wir etwas kreieren, was uns umbringt. Die ich gar nicht abwerten will. #Atombombe

Am Ende trifft sie ja sogar irgendwie zu: Damit ein Claude so schnell Output generiert, verbraucht's eine absurde Menge Watt pro Kopf... Das sollten wir bei jeder Interaktion mit generativer "AI" zum Spaß im Hinterkopf behalten. Ob und wie sich diese ganzen Spaß-Tools auf Dauer rentieren sollen, ist auch noch 'ne relevante Frage. Im Zweifelsfall wird uns die Natur einen Riegel davor schieben.

Um zurück zum Thema zu kommen: "AI" zum Musik machen—Zu welchem Preis?

 

[Martin Kraken]

Auch wenn's wie Haarspalterei wirkt: Es gibt da einen entscheidenenden Unterschied zwischen richtig/falsch und wahrscheinlich/unwahrscheinlich. Durch die zweite Brille betrachtet, ist die Funktionsweise weniger magisch. Cool finde ich, dass Claude quasi Lookahead benutzt. Um die Wahrscheinlichkeit zu erhöhen, beim Output synthetisieren einem roten Faden zu folgen. Wir haben ebenfalls gelernt, dass es Schwellenwerte für Datensatzgrößen und Anzahl von Mustererkennungs-Iterationen gibt, um die Wahrscheinlichkeit von stimmigem Output zu erhöhen.

Und ja: bei LLMs haben wir noch keinen Weg, um jede Synthese-Operationen nachzuvollziehen (wofür es physische Limitationen gibt, zB Arbeitsspeicher)—Es beruht alles auf Code, Mathe, Logik, Heuristk und Wiederholungen.

Insofern ist es keine Überraschung, dass so ein System mit hoher Wahrscheinlichkeit Hautkrebs identifizieren kann. Das war im wissenschaftlichen Raum von Anfang an klar. Da der Output sich auf eine konkrete Zahl runterbrechen lässt: xx,xx% Krebswahrscheinlichkeit. Da rennt niemand rum, und fragt sich, warum das funktioniert.

Gleichzeitig ist auch klar: Um zu überprüfen, ob der Output eines LLMs in Kontext einer offenen Fragestellung mit allen darunterliegenden Annahmen des Nutzers 'richtig' ist, kann so ein System nicht leisten können. Dafür wäre notwendig, dass ein LLM erstmal ausschliesslich von allen Experten in allen Feldern benutzt wird. Um 90% von 100% Stimmigkeit zu unterscheiden. Um auch nur ansatzweise "Erfahrung" in das System zu bekommen. Was die Wissenschaft bis dato für eine Aufgabe hält, die sich nicht durch Skalierung lösen lässt.

Bis wir dieses grundsätzliche Problem gelöst haben, können LLM's nur der Typ sein, der vermeindlich alles weiß. Und nix versteht. Was im wissenschaftlichen Rahmen auch klar wie Kloßbrühe ist. Alles andere ist irgendwo zwischen PR, Aberglaube, Marketing. Und unserer gesellschaftlichen Angst davor, dass wir etwas kreieren, was uns umbringt.

Woher willst du wissen, ob ein LLM etwas versteht? Was ist Verstehen überhaupt? Verstehen Menschen Dinge oder wissen sie nur verdammt viel? Wir verstehen weder was in unserem Gehirn geschieht noch was in einem LLM passiert. Wir wissen einfach nicht was Verstehen ist.

Der Witz an einem LLM ist, dass es anscheinend ohne zu verstehen auf einmal richtige Antworten ausgibt, auf Texte die es noch nie zuvor gesehen hat. Keiner weiß wie genau das passiert, wenn wir es wüssten, dann könnten wir nämlich eine AI programmieren, was wir eben nicht können.

Chatgpt 4.5 ist an Skalierung gescheitert. Trotzdem scheinen alle an AGI zu glauben, Meta steckt sein gesamtes Kapital in AGI. Angeblich soll es 2027 soweit sein. Warten wir mal ab

Der Trick ist ganz viele kleine Experten-AIs zu bauen, die dann das LLM trainieren. Wir werden sehen, ob das geht. Ein neuronales Netz hat vielleicht Limitierung, die wir nicht mit Skalierung überwinden können. Wenn es zu viel lernt, dann vergisst es halt auch gern mal bereits gelernte Sachen.

 

[Summa]

Ich lese mir nicht irgendwelche Internetseiten durch, da kann ich ja gleich meinen Nachbarn fragen

Ähnliche Information hatte ich aus mehr als nur einer vertrauenswürdigen Quelle

Spass bei Seite, der Knackpunkt ist, wir kennen die Lösungsstrategien eines bestimmten Models nicht, wir können aufgrund der Komplexität nicht mehr nachvollziehen was in der Blackbox passiert.

Das ist eine endlicher Automat, also im Prinzip könnte man schon nachvollziehen was da passiert, bräuchte aber zur Analyse der aus dem Lernprozess entstehende Daten wahrscheinlich eine eigene Software um den Überblick zu behalten. Ich könnte mir vorstellen dass sowas irgendwann kommen wird, wenn sich bei komplexen Systemen die Fehler häufen, der Aufwand zu groß wird das System erneut "anzulernen".

Quelle: https://medium.com/@SSiddhant/the-mathematics-of-neural-networks-a-complete-example-65f2b12cdea2

Obwohl ein neuronales Netzwerk sehr komplex erscheinen mag, ist es in Wirklichkeit eine clevere Anwendung der linearen Algebra und der multivariaten Analysis. Dieser Artikel untersucht die mathematischen Grundlagen eines neuronalen Netzwerks in einer vollständigen Iteration.

 

[rktic]

Woher willst du wissen, ob ein LLM etwas versteht? Was ist Verstehen überhaupt? Verstehen Menschen Dinge oder wissen sie nur verdammt viel? Wir verstehen weder was in unserem Gehirn geschieht noch was in einem LLM passiert. Wir wissen einfach nicht was Verstehen ist.

Ich bediene mich vertrauensvoll der wissenschaftlichen Methode und Grund-Annahme. Dass Verständnis daraus entsteht, dass Beobachtungen mit den darunterliegenden ersten Prinzipien im Einklang sind. Und dass an Verständnis irgendwie auch ein Zeitstempel hängt. Gleichzeitig haben sich gewisse Grund-Annahmen über Systeme bis heute bestätigt. Unter Anderem: Wenn ich ein limitiertes System gestalte, wird das sehr wahrscheinlich nicht über die Grenzen seiner Limitation herauswachsen können

Dementsprechend halte ich es für eine menschliche Allmachts-Fantasie, dass wir Intelligenz erschaffen können, bevor wir Intelligenz verstanden haben. Bis wir die wiederlegt haben, halte ich einfach mal an den ersten Prinzipien fest. Um nicht wahnsinnig zu werden. Oder:

"Im Zweifel für den Zweifel."

Trotzdem scheinen alle an AGI zu glauben, Meta steckt sein gesamtes Kapital in AGI. Angeblich soll es 2027 soweit sein. Warten wir mal ab

Wenn du mit "alle", "alle außer ernstzunehmende Wissenschafter" meinst (also ohne zu Crackpots mutierten, wie 'nem Michio Kaku): Jup

 

[Martin Kraken]

Ähnliche Information hatte ich aus mehr als nur einer vertrauenswürdigen Quelle


Das ist eine endlicher Automat, also im Prinzip könnte man schon nachvollziehen was das passiert, bräuchte aber zur Analyse der aus dem Lernprozess entstehende Daten wahrscheinlich eine eigene Software um den Überblick zu behalten. Ich könnte mir vorstellen dass sowas irgendwann kommen wird, wenn sich bei komplexen Systemen die Fehler häufen, der Aufwand zu groß wird das System erneut "anzulernen".

Quelle: https://medium.com/@SSiddhant/the-mathematics-of-neural-networks-a-complete-example-65f2b12cdea2

Es ist recht unwahrscheinlich das dies funktioniert. Aber hey, was heute unwahrscheinlich ist, ist morgen schon Normalität. Wir kennen ja jeden einzelnen Parameter eines Models, nur wir haben keinen Kontext, wir können es nicht visualisieren.

 

[Martin Kraken]

Ich bediene mich vertrauensvoll der wissenschaftlichen Methode und Grund-Annahme. Dass Verständnis daraus entsteht, dass Beobachtungen mit den darunterliegenden ersten Prinzipien im Einklang sind. Und dass an Verständnis irgendwie auch ein Zeitstempel hängt. Gleichzeitig haben sich gewisse Grund-Annahmen über Systeme bis heute bestätigt. Unter Anderem: Wenn ich ein limitiertes System gestalte, wird das sehr wahrscheinlich nicht über die Grenzen seiner Limitation herauswachsen können

Dementsprechend halte ich es für eine menschliche Allmachts-Fantasie, dass wir Intelligenz erschaffen können, bevor wir Intelligenz verstanden haben. Bis wir die wiederlegt haben, halte ich einfach mal an den ersten Prinzipien fest. Um nicht wahnsinnig zu werden. Oder:

"Wenn's wie Scheiße riecht


Wenn du mit "alle", "alle außer ernstzunehmende Wissenschafter" meinst (also ohne zu Crackpots mutierten, wie 'Michio Kaku): Jup

Das mit dem Verständnis kann ich nicht nachvollziehen.. Bitte nochmal besser erklären was du meinst. Bin aber interessiert. Was hat Michio Kaku mit AGI zu tun? Mit „Alle“ meine ich Meta, Microsoft, Google, open AI usw. Quasi alle führenden AI-Wissenschaftler haben ihre Prognose für AGI von 2040 in den letzten Monaten auf 2027-2030 reduziert. Kann natürlich ein großes abgesprochene PR sein, wobei man dann auf Meta Seite nicht sein komplettes Kapital in ein PR-Stunt versenken würde.

Wir Dödel in Europa werden wohl nur zusehen können. Ich kann ja nicht mal Chatgpt Agent testen ohne VPN.

 

[rktic]

Das mit dem Verständnis kann ich nicht nachvollziehen.. Bitte nochmal besser erklären was du meinst. Bin aber interessiert.

Welcher Aspekt braucht weitere Klärung?

Was hat Michio Kaku mit AGI zu tun?

Ich finde, dass es immer schwieriger wird, fundierte Wissenschafts-Kommunikation von Selbst-Vermarktung zu unterscheiden. Ein Kaku ist ein gutes Beispiel für's Zweite. Und auf einmal erzählt dir ein Doktor der xzy-Physik was über ein Themenfeld außerhalb seiner Expertise. Weil, ist ja ein Wissenschaftler. Muss ja glaubwürdig sein. Zusammen mit Clickbait-Übertreibungen werden dann wissenschaftliche Aussagen verdreht dargestellt. Wahrscheinlichkeiten polarisiert. Und dann klingt's schnell so, als sei morgen ganz nah. Im Zweifelsfall lässt sich morgen ja auch prima auf übermorgen verschieben. So wie ein Musk seit 10 Jahren predigt, dass nächstes Jahr aber wirklich überall autonome Teslas rumfahren. Echt jetzt.

Mit „Alle“ meine ich Meta, Microsoft, Google, open AI usw. Quasi alle führenden AI-Wissenschaftler haben ihre Prognose für AGI von 2040 in den letzten Monaten auf 2027-2030 reduziert.

Für mich ist ein ernstzunehmender Wissenschaftler, bzw Wissenschaft eine Institution, die mit staatlichen Mitteln offene Fragen erforscht. Stets im Austausch mit anderen Wissenschafts-Feldern. Die Informationen kontextualisiert und Wahrscheinlichkeiten transparent kommuniziert. Statt Prognosen an zukünftige Jahreszahlen zu hängen. Bevor sie überhaupt in der Lage ist, die notwendigen Beobachtungen zu realisieren.

Produkt-Entwiclung aufgrund von finanziellen Interessen, um zukünftig konkurrenzfähig zu bleiben, hat für mich mit einem wissenschaftlichen Rahmen nichts zu tun. Egal, wie viele Doktoren daran arbeiten.

Wir Dödel in Europa werden wohl nur zusehen können. Ich kann ja nicht mal Chatgpt Agent testen ohne VPN.

Falls du eine kompetente Grafik-Karte hast: Ollama mit Open-WebUI und Pinokio sind sogar für mich einfach zu installieren gewesen. Auch wenn's qualitativ hinter den führenden Modellen herläuft. Da dürfte sich die reine Skalierung mit den neuen integrierten CPU'GPU Kombos aber bemerkbar machen.

 

[Summa]

Es ist recht unwahrscheinlich das dies funktioniert.

Bisher ist das wohl auch nicht nötig gewesen, weil die K.I. das mit neuen Daten und verbesserter (bisher immer noch menschengemachter) Code Base und integrierten Korrekturmechanismen selbst erledigt, ganz ohne Therapie, Psychopharmaka und Elektroschocks
Du kannst mich gerne korrigieren, aber ich hab' das Gefühl du denkst die K.I. programmiert sich selbst aber bisher geben die Programmierer der Datenverarbeitungssoftware immer noch die Regeln vor.

 

[Martin Kraken]

Bisher ist das wohl auch nicht nötig gewesen, weil die K.I. das mit neuen Daten und verbesserter (bisher immer noch menschengemachter) Code Base und integrierten Korrekturmechanismen selbst erledigt, ganz ohne Therapie, Psychopharmaka und Elektroschocks
Du kannst mich gerne korrigieren, aber ich hab' das Gefühl du denkst die K.I. programmiert sich selbst aber bisher geben die Programmierer der Datenverarbeitungssoftware immer noch die Regeln vor.

Es kommt halt auf die Ebene an die du betrachten möchtest. Der Mensch stellt nur die Input-Daten mehr nicht und diese sind und können im Prinzip kaum noch handselektiert sein. Und in einem gewissen Sinne programmiert sich ein LLM selber mit den Texten die man ihr zur Verfügung stellt. Es gibt dann oft hinter dem NN noch Filter die versuchen unschöne Aussagen zu filtern, aber das greift natürlich nicht 100%. Die Leute behaupten z.B. das Gronk (Elon Musks AI) besonders häufig fremdenfeindliche Aussagen macht, weil sie mit Twitter Texten trainiert wurde Würde man ein NN mit Texten aus diesem Forum trainieren, würde die AI wahrscheinlich wie ein alter seniler weißer Mann reden

 

[Summa]

Es kommt halt auf die Ebene an die du betrachten möchtest. Der Mensch stellt nur die Input-Daten mehr nicht und diese sind und können im Prinzip kaum noch handselektiert sein.

Es gibt nur eine Ebene, ohne die Software die es erlaubt die Daten in ein neuronales Netz zu verwandeln und zu trainieren sind Daten einfach nur Daten.

 

[Pete1]

Gerade bei komplexeren Themen kommt so eine Forenkommunikation schon arg an ihre Grenzen. Es vermischt sich Laien - mit Fachvokabular. Man hofft, von derselben Sache zu reden. Redet aber dann doch auch gern mal aneinander vorbei.

Das ist kein böser Wille. Nur die Schwierigkeit, sich gegenseitig zu verstehen und dann in Folge etwas voneinander zu lernen.

 

[Martin Kraken]

Gerade bei komplexeren Themen kommt so eine Forenkommunikation schon arg an ihre Grenzen. Es vermischt sich Laien - mit Fachvokabular. Man hofft, von derselben Sache zu reden. Redet aber dann doch auch gern mal aneinander vorbei.

Das ist kein böser Wille. Nur die Schwierigkeit, sich gegenseitig zu verstehen und dann in Folge etwas voneinander zu lernen.

Ich probiere mein Bestes

Es gibt nur eine Ebene, ohne die Software die es erlaubt die Daten in ein neuronales Netz zu verwandeln und zu trainieren sind Daten einfach nur Daten.

Um dir zu visualisieren was ich meine, habe ich ein HTML/Javascript NN geschrieben was die Nodes sichtbar macht. Es ist ein ganz einfaches Netz, es soll nur das Wort nach "Die Katze frisst" finden. Natürlich weiß es die richtige Antwort schon, nämlich "Fisch". Zunächst sind die Werte der Knoten zufällig, mit jedem Epoch (Lernvorgang) werden die Werte/Gewichte der Nodes zufällig angepasst. Dies erfolgt über Backpropagation (da die Antwort ja schon bekannt ist). Wenn du auf Autotraining drückst trainiert das System und der Output-Wert für Fisch nähert sich 1. Nun merkst du dir die Verknüpfungen der Nodes und machst ein reload und startest es neu. Huch, auf einmal führen ganz andere Nodes zum gleichen Ergebnis, obwohl die Software und der Input völlig gleich ist. Skaliere das jetzt in Gedanken auf Chatgpt hoch und du wirst verstehen, dass nicht die Software "entscheidet" wie das NN aufgebaut ist, sondern eine zufällig Verknüpfung der Nodes.

Im Anhang das HTML.

Edit:
Habs noch mal weiter gemacht, mit zwei Eingaben. Einmal soll es das Wort hinter "Die" finden, was in unserer kleinen Welt Katze ist und einmal soll es das Wort hinter "Die Katze frisst" finden. Alleine dafür braucht man mehr Nodes, kleinere Änderungen, naja jedenfalls ich hab Spaß