Einsatz von AI zum Musik machen

Man muss fairerweise sagen, dass sich Martin zumindest bemüht, seinen Standpunkt zu erklären. Da jetzt mit flapsigen Sprüchen und Abwertungen zu reagieren, ist nicht wirklich hilfreich ...
 
nein, wenn jemand andere beleidigt, auch wenn sie besser und logischer argumentieren
DAS ist ziemlich daneben.
das passiert auch nicht zum ersten mal hier im forum , und wenn solch ein verhalten auch noch zuspruch bekommt..
naja, schönen dank auch...

offtopic aus:::
 
nein, wenn jemand andere beleidigt, auch wenn sie besser und logischer argumentieren
DAS ist ziemlich daneben.
wenn das vorkommt, dann gerne die "Melden"-Funktion verwenden. Außer dem tatsächlich stereotypen "Boomer"-Vorwurf habe ich da auf den letzten Seiten wenig gesehen, aber man überliest ja auch mal was.
Eine abfällige Bemerkung fällt in einem Posting mit 5 Absätzen auch weniger auf als ein Einzeiler, der nur eine Beleidigung enthält. 🤷‍♂️
Zudem: man muss sich auch nicht immer auf das Niveau des Gegenüber einlassen (und es erst recht nicht unterbieten), auch wenn man es für niedrig hält.
 


Ach ne. Alle dumm, außer dieses Forum.

Was sagt der Mann da anderes, als ich hier geschrieben habe?
Wie widerspricht der inhaltlich irgendwas, was ein Summa & andere hier geschrieben haben?
Wenn man sich nicht nur krampfhaft am Begriff 'Black Box' aufhängt?
Wo ist eigentlich dein Interesse an der Differenzierung hier geblieben?
Was hat "Max. Freundlichkeit" mit 'Alle über einen Kamm scheren' zu tun?

Die Antworten kannst du dir schenken.

Weil das, was du hier schriftlich an Selbstkundgaben ablieferst, Martin—
von vorne bis hinten nicht zusammen passt.

Erinner mich bitte dran, mich zukünftig von deiner pseudo-interessierten und -differenzierten Schwurbel-Show fernzuhalten.
 
Zuletzt bearbeitet:
Man muss fairerweise sagen, dass sich Martin zumindest bemüht, seinen Standpunkt zu erklären. Da jetzt mit flapsigen Sprüchen und Abwertungen zu reagieren, ist nicht wirklich hilfreich ...

Und dass er Summa, 110, mich, Dich beleidigt, bis hin zu Du bist Scheisse unterm Schuh, ist dann nicht so schlimm...

Ich habe oben on topic (Musik) geschrieben; Kraken breitet nur mal wieder allgemein seine heiße Luft (mit kruden Vorstellungen von 'black box', 'Verstehen' usw.) aus. Einen flapsigen Spruch gab's erst, als er auch noch ad personam ging.

Nur um das mal klarzustellen.
 
Vielleicht sollte man KI Moderatoren einführen. Als Unterstützung natürlich, nicht als Ersatz.
 
Was sagt der Mann da anderes, als ich hier geschrieben habe?
Wie widerspricht der irgendwas, was ein Summa hier geschrieben hat?
Wo ist eigentlich dein Interesse an der Differenzierung hier geblieben?
Was hat "Max. Freundlichkeit" mit 'Alle über einen Kamm scheren' zu tun?

Die Antworten kannst du dir schenken.

Weil das, was du hier schriftlich an Selbstkundgaben ablieferst, Martin—
von vorne bis hinten nicht zusammen passt.

Erinner mich bitte dran, mich zukünftig von deiner pseudo-interessierten und -differenzierten Schwurbel-Show fernzuhalten.
Welcher Aspekt braucht weitere Klärung?


Ich finde, dass es immer schwieriger wird, fundierte Wissenschafts-Kommunikation von Selbst-Vermarktung zu unterscheiden. Ein Kaku ist ein gutes Beispiel für's Zweite. Und auf einmal erzählt dir ein Doktor der xzy-Physik was über ein Themenfeld außerhalb seiner Expertise. Weil, ist ja ein Wissenschaftler. Muss ja glaubwürdig sein. Zusammen mit Clickbait-Übertreibungen werden dann wissenschaftliche Aussagen verdreht dargestellt. Wahrscheinlichkeiten polarisiert. Und dann klingt's schnell so, als sei morgen ganz nah. Im Zweifelsfall lässt sich morgen ja auch prima auf übermorgen verschieben. So wie ein Musk seit 10 Jahren predigt, dass nächstes Jahr aber wirklich überall autonome Teslas rumfahren. Echt jetzt.


Für mich ist ein ernstzunehmender Wissenschaftler, bzw Wissenschaft eine Institution, die mit staatlichen Mitteln offene Fragen erforscht. Stets im Austausch mit anderen Wissenschafts-Feldern. Die Informationen kontextualisiert und Wahrscheinlichkeiten transparent kommuniziert. Statt Prognosen an zukünftige Jahreszahlen zu hängen. Bevor sie überhaupt in der Lage ist, die notwendigen Beobachtungen zu realisieren.

Produkt-Entwiclung aufgrund von finanziellen Interessen, um zukünftig konkurrenzfähig zu bleiben, hat für mich mit einem wissenschaftlichen Rahmen nichts zu tun. Egal, wie viele Doktoren daran arbeiten.

Falls du eine kompetente Grafik-Karte hast: Ollama mit Open-WebUI und Pinokio sind sogar für mich einfach zu installieren gewesen. :) Auch wenn's qualitativ hinter den führenden Modellen herläuft. Da dürfte sich die reine Skalierung mit den neuen integrierten CPU'GPU Kombos aber bemerkbar machen.

Wir haben hier leider ein Problem, es gibt diese Forschung nicht an der Universität (jedenfalls nicht in der Geschwindigkeit). Fast alle „Experten“ auf dem Gebiet sitzen in den Tech-Firmen. Wobei diese rein das überschauen was du und Summa mit „wir wissen wie NNs funktionieren“ meinen. Darum geht es aber gar nicht bei dem Blackbox-Problem. Ich kann ja nachvollziehen, dass die Aussagen von AI-Unternehmen einen bias haben, jedoch verstehe ich nicht was genau der Bias beim Blackbox-Problem ist? Welchen nutzen hat es für AI-Firmen zuzugeben, dass sie nicht verstehen wie genau die AI „denkt“ und damit auch nicht 100% wissen wie sie „handeln“ wird.

Zurück zum Hautkrebsbeispiel. Das NN wird mit 500.000 Bildern gefüttert die annotiert sind mit „Krebs“/„kein Krebs“ (erlaube mir die Vereinfachung hier). Es lernt jetzt und erkennt Hautkrebs besser als ein Mensch. Wodran es aber den Hautkrebs erkennt wissen wir nicht und können es nicht nachvollziehen (Blackbox). Lassen wir nun 50 Jahre verstreichen, alle Hautärzte die Hautkrebserkennung gelernt haben sind tot, neue hat man nicht ausgebildet, weil ja die KI die Aufgabe übernommen hat. Das Wissen ist also verloren gegangen. Es ist aber im Unterschied zu früherem „verlorenen Wissen“ aktiv im Gebrauch.


Mit Ollama und Open-WebUI baust du also ein AI-Agent selber? Respekt!

Was ist ein AI Agent:

 

Das Blackbox-Problem​


Stellen Sie sich vor, Sie beantragen einen Kredit, und Ihr Antrag wird von einem KI-gesteuerten Kreditscoring-System abgelehnt. Sie fragen sich, warum Ihr Antrag abgelehnt wurde, aber das System liefert keine Erklärung. Dieser Mangel an Transparenz kann zu Frustration und Misstrauen gegenüber KI-Systemen führen. Das Problem liegt in der Komplexität vieler KI-Algorithmen, die für den Menschen schwer zu interpretieren sind. Aktuell verbreiteten Verfahren des maschinellen Lernens, wie z. B. tiefe neuronale Netze, arbeiten oft als »Blackbox«, sodass es schwierig ist, zu erkennen, wie sie zu ihren Entscheidungen kommen.
 

Weil sie es selbst nicht weiß?


Das spannende hier ist, das man kaum neuere Informationen über XAI findet, 2023 war XAI ein wichtiges Thema. Im Moment scheint eher Ratlosigkeit zu existieren, wie man die aktuellen LLMs visualisieren kann. Die letzte Veröffentlichung die ich kenne dazu war eben von Anthropic und selbst da ging es nur um Claude 3.5 und auch nur sehr simple Aufgaben wie 3+4 oderso.

Achtung jetzt kommt ein „anekdotischer Einwurf“: Mir scheint so, das irgendwas passiert ist, dass auf einmal „alle“ glauben die perfekte AGI ist mit LLMs möglich, Scheiß auf Sicherheit, wir müssen die ersten sein die sie haben, koste es was es wolle. Vielleicht hat man eine Stellschraube gefunden, die einen anderen Ansatz verfolgt wie Skalierung, die ja scheinbar mit Chatgpt 4.5 gescheitert ist.

Wenn du Artikel hast, die einfach erklären oder Ideen haben wie und warum die Generalisierung in LLMs funktioniert wäre ich sehr interessiert. Ich finde das ziemlich faszinierend. Auch das es anscheinend eine Art Kipppunkt gibt an welcher ein LLM-Modell generalisieren kann.

Auch bin ich interessiert daran, wie unterschiedliche Sprachen sich auf die „Intelligenz“ eines LLMs auswirkt.
 
Weil sie es selbst nicht weiß?
Das glaube ich nicht. Bei 500.000 Bildern ergaben sich Muster. Vielleicht kann sie die Muster nicht genau deuten, da ihr das Hintergrundwissen fehlt, aber sie wird wissen welche Muster aufgetreten sind, denn sonst könnte sie die Bilder nicht unterscheiden.
 
Wenn du Artikel hast, die einfach erklären oder Ideen haben wie und warum die Generalisierung in LLMs funktioniert wäre ich sehr interessiert. Ich finde das ziemlich faszinierend. Auch das es anscheinend eine Art Kipppunkt gibt an welcher ein LLM-Modell generalisieren kann.
Das funktioniert über div. aus der Informatik bekannte Methoden, Mustererkennung, Data Mining etc. viele gut bekannte und häufig eingesetzt Einzelteile die je nach Anwendung zusammenarbeiten müssen.
 
Zuletzt bearbeitet:
Das glaube ich nicht. Bei 500.000 Bildern ergaben sich Muster. Vielleicht kann sie die Muster nicht genau deuten, da ihr das Hintergrundwissen fehlt, aber sie wird wissen welche Muster aufgetreten sind, denn sonst könnte sie die Bilder nicht unterscheiden.

Schon interessant, wir haben Schwierigkeiten uns darüber zu unterhalten, weil die Definition der Wörter die wir nutzen können nicht genau passt. Wieder mal ein "anekdotischer Einwurf" (a.E.), wenn wir einen Baum sehen, dann können wir sagen warum wir ihn als Baum erkannt haben, er hat Blätter und einen Stamm etc. Aber das ist nicht unbedingt die Wahrheit, wir wissen nicht genau wie unser neuronales Netz einen Baum erkennt. Wir lernen diese Beschreibungen des Baum mit Worten nur aus dem Grund der Kommunikation. Hätten wir keine Sprache, könnten wir trotzdem einen Baum von einem Pferd unterscheiden. Was genau in unserem Gehirn passiert wenn wir einen Baum erkennen ist genauso eine Blackbox.

Das funktioniert über div. aus der Informatik bekannte Methoden, Mustererkennung, Data Mining etc. viele gut bekannte und häufig eingesetzt Einzelteile die je nach Anwendung zusammenarbeiten müssen.

Ja, alles ist Mathematik. Ich würde ja sagen "Zufall" ist der Schlüssel, aber das ist auch nur geraten. a.E. Sprache ist unser Code mit der wir unsere Mustererkennung kommunizieren, ein LLM extrahiert aus unserer Sprache die Muster die wir darin codiert haben. Es ist nur viel "besser" als ein Mensch, denn es decodiert die Muster die Millionen Menschen erkannt haben.
 
Ich würde ja sagen "Zufall" ist der Schlüssel, aber das ist auch nur geraten.
Vielleicht wenn sie die K.I. irgendwann auf 'nem Quantencomputer laufen lassen ansonsten gilt folgendes:
 
wenn man bessere Zufallszahlen braucht, kann man natürlich auch eine periphere Noise-Quelle (z.B. den Audio-In/AD-Wandler der Soundkarte) anzapfen.
 
Du bist verwirrt oder willst irgendwelchen blöden Derails betreiben.

wer verwirrst ist scheint immer eine frage der perspektive zu sein. :)

Habe ich keine Lust drauf. Erzähl was du damit meinst die KI "selbst" zu trainieren, dann können wir darüber reden

ich hatte dir real exitierende beispiele genannt wo AI eingesetzt wird: vom frauenhofer institut, die AI zur dateikompression verwenden, über tierstimmeninterpretation, stem separation, instrumentensynthese, zum organisieren und archivieren usw. usf.

das einzige, was du dazu zu sagen hast ist immer nur wieder irgendwas mit "LLM" oder "prompt eingeben" - nur dass das dort überhaut nicht gemacht wird und überhaupt nichts damit zu tun hat.
zeugs mit "prompt einegeben" ist im zusammenhang mit "musik machen" ist kikifax und keine professionelle anwendung.

nicht anders ist es bei der bildbearbeitung oder in der naturwissenschaft auch.

du schnallst es schlichtweg nicht, dass "AI" viel mehr ist als die spielerei mit diesen chatbots, die wo du aus dem weltnetz kennst.

und übrigens auch mehr als "markov ketten" oder "neuronale netzwerke".


siehe unsere "diskussion" von vor 8 wochen, wo du in vollem ernst ausgerechnet die AI funktionen in spectral layers als beispiel dafür genannt hast, dass traditionell besser sei als AI - weil du garnicht weißt, dass das AI ist.

du trägst hier einfach zu zur unterhaltung bei mit deinem versuch anderen jetzt auch noch was etwas "erklären" zu wollen. :P
 
Zuletzt bearbeitet:
LLMs können wissenschaftlich und statistisch nachgewiesen komplexe Aufgaben lösen, die sie nie zuvor gehört haben, zum Beispiel sehr komplexe Matheaufgaben (z.B. die der Mathe-Olympiade). Aufgrund ihres Trainings haben sie aber nur gelernt immer das nächste Wort in einem Satz vorauszusagen. (Das ist der Fakt, das Ergebnis in einer Publikation).

der dritte mensch, dem du etwas erklären willst, der es vermutlich besser weiß als du - und der nächste blödsinn.

chatbots benutzen die funktionalität von wolfram im hintergrund um zu rechnen.
 
wenn man bessere Zufallszahlen braucht, kann man natürlich auch eine periphere Noise-Quelle (z.B. den Audio-In/AD-Wandler der Soundkarte) anzapfen.

oder irgendwas von behringer, gerne auch analog.

oder seine pressemitteilungen mit seiner haltung zu "semitismus".

auch alles nur rauschen.

da das behringer rauschen meist linear ist kann man es prima hinterher noch so shapen, wie man es braucht.

Kann die KI das einem nicht sagen?

1753210678558.png

muss eine klassische blackbox sein, denn niemand weiß das.

man weiß noch nicht mal wie die bilder oder deren interpretation überhaupt in die KI gekommen sind.

aber scherz beiseite, er hat ja nicht unrecht damit, dass eine KI eine blackbox sein kann, da "blackbox" immer subjektiv ist und es ausreicht, dass es einem so vorkommt als ob man es nicht nachvollziehen kann.

das allerdigns ist dann nichts neues. denn das exakt gleiche gilt auch für photoshop 3 oder einen elliptischen filter als VST plug-in. das sind auch alles blackboxen, weil die überwiegende mehrheit der anwender keine ahnung hat warum und wie das funktioniert...
 
Zuletzt bearbeitet:
Das glaube ich nicht. Bei 500.000 Bildern ergaben sich Muster. Vielleicht kann sie die Muster nicht genau deuten, da ihr das Hintergrundwissen fehlt, aber sie wird wissen welche Muster aufgetreten sind, denn sonst könnte sie die Bilder nicht unterscheiden.

Genau. Die AI ist streng deterministisch durch das Training so geschaltet, dass sie bei einem bestimmten Muster getriggert wird. Wie die Gewichtungen, Pfade, Parameter usw. des neuronalen Netzes ausgeprägt sind, ist keine Blackbox. Und dass die AI nicht 'weiß', warum das Muster Krebs ist, ist auch nicht 'Blackbox' - selbst der Arzt könnte nur sagen 'sieht halt so aus' und würde eine Gewebeprobe nehmen und diese untersuchen.
 
Interessant...Ich habe Chatbots nie mit Hitler gleichgesetzt...Das. was ich meinte, war der Chatbot von Elon Musk

das war mir schon klar, dass du mit deiner 3-seitigen abhandllung über hitler nicht "musik machen mit KI" sondern grok gemeint hast...

[...] Das ist KI? Wunderbar

...ok, du stellst erst klar, dass du nicht alles, sondern nur grok gemeint hast.

nur um im nächsten satz dann erneut KI ganz generell mit hitler gleichzusetzen.

du willst also nicht deine musik mithilfe von KI plug-ins entrauschen weil grok hitler ist?

hitler war ja auch vegetarier...
 
Zuletzt bearbeitet:
@einseinsnull
Und wieder drehst du dir die Welt, so wie sie dir gefällt. 110 ist der perfekte Name, aber ich denke, es wäre Zeit, mal eine gewisse Interpolation deiner Programmierung hinzuzufügen.
Wie gesagt, ich antworte dir nicht mehr bezüglich dieses Themas. Denk, was du willst, interpretiere, was du willst und entrausche, was du willst. Eines ist wunderbar. Du bist wahrlich amüsant und das rechne ich dir hoch an.
 
Zuletzt bearbeitet:
Bei Anwendungen zur Verschlüsselung kann man sich eine Zufallszahl vorstellen wie den Code zu einem Zahlenschloss, den niemand erraten darf, auch nicht mit gigantischer Rechenleistung.
Beim Thema Verschlüsselung geht es es vor allem um Primfaktorzerlegung - und weniger um Zufallszahlen.
 
Zuletzt bearbeitet:
der dritte mensch, dem du etwas erklären willst, der es vermutlich besser weiß als du - und der nächste blödsinn.

chatbots benutzen die funktionalität von wolfram im hintergrund um zu rechnen.

Ist das jetzt Ironie? Ich komme nicht mehr mit. Meinst du LLMs mit Chatbots? Ich kann dazu gar nix mehr sagen. Entweder du verarscht mich oder du hast keine Ahnung was LLMs können. Kann ich vielleicht mit diesem Artikel weiterhelfen


wer verwirrst ist scheint immer eine frage der perspektive zu sein. :)



ich hatte dir real exitierende beispiele genannt wo AI eingesetzt wird: vom frauenhofer institut, die AI zur dateikompression verwenden, über tierstimmeninterpretation, stem separation, instrumentensynthese, zum organisieren und archivieren usw. usf.

das einzige, was du dazu zu sagen hast ist immer nur wieder irgendwas mit "LLM" oder "prompt eingeben" - nur dass das dort überhaut nicht gemacht wird und überhaupt nichts damit zu tun hat.
zeugs mit "prompt einegeben" ist im zusammenhang mit "musik machen" ist kikifax und keine professionelle anwendung.

nicht anders ist es bei der bildbearbeitung oder in der naturwissenschaft auch.

du schnallst es schlichtweg nicht, dass "AI" viel mehr ist als die spielerei mit diesen chatbots, die wo du aus dem weltnetz kennst.

und übrigens auch mehr als "markov ketten" oder "neuronale netzwerke".


siehe unsere "diskussion" von vor 8 wochen, wo du in vollem ernst ausgerechnet die AI funktionen in spectral layers als beispiel dafür genannt hast, dass traditionell besser sei als AI - weil du garnicht weißt, dass das AI ist.

du trägst hier einfach zu zur unterhaltung bei mit deinem versuch anderen jetzt auch noch was etwas "erklären" zu wollen. :P

Schau, du hast auf mich geantwortet, das Blackbox Problem bezieht sich auf große neuronale Netzwerke, dass es noch andere AI-Modelle gibt, diese keine Blackbox sind ist natürlich richtig.

Ich habe gesagt traditionell sei besser als AI...puh das klingt gar nicht nach mir. Aber wenn ich das gesagt habe, dann war das nicht richtig. Das was ich bis jetzt mit Spectral Layer Pro und RX gesehen habe war schei..., die von Suno ist perfekt.

LLMs sind keine Spielerei, du weißt nicht wovon du redest.

oder irgendwas von behringer, gerne auch analog.

oder seine pressemitteilungen mit seiner haltung zu "semitismus".

auch alles nur rauschen.

da das behringer rauschen meist linear ist kann man es prima hinterher noch so shapen, wie man es braucht.



Anhang anzeigen 258952

muss eine klassische blackbox sein, denn niemand weiß das.

man weiß noch nicht mal wie die bilder oder deren interpretation überhaupt in die KI gekommen sind.

aber scherz beiseite, er hat ja nicht unrecht damit, dass eine KI eine blackbox sein kann, da "blackbox" immer subjektiv ist und es ausreicht, dass es einem so vorkommt als ob man es nicht nachvollziehen kann.

das allerdigns ist dann nichts neues. denn das exakt gleiche gilt auch für photoshop 3 oder einen elliptischen filter als VST plug-in. das sind auch alles blackboxen, weil die überwiegende mehrheit der anwender keine ahnung hat warum und wie das funktioniert...

Schau, wenn keiner es nachvollziehen kann, nicht mal die Programmierer und selbst wenn sie sich Monate hinsetzen würden und die Parameter studieren, dann ist es eine Blackbox. Es ist belustigend, weil ich habe mir das mit der Blackbox ja nicht ausgedacht, sondern das ist Konsens unter Wissenschaftlern die sich mit dem Thema befassen (ja auch denen die staatlich bezahlt werden, also richtige Wissenschaftler im Sinne dieses Forums). Jetzt fragt man sich, wie ein ganzes Forum der Meinung seien kann, der Begriff Blackbox und AI sei Schwachsinn. Es scheint hier im Forum eine Zusammenkunft der Allwissenden zu geben, die alle eine gegenteilige Meinung haben.

Du kannst einem LLM, Chatbot wie du sie nennst, den Code von Photoshop 3 geben und der würde dir ausführlich jede einzelne Codezeile und jeden einzelnen Parameter erklären können. Wenn du einem LLM seinen eigenen Code geben würdest könnte er dir nicht erklären was die Bedeutung und Auswirkungen der Parameter sind. Da liegt der Unterschied. Ob man irgendwann eine AI trainieren kann, die die Parameter in uns verständliche Sprache übersetzen kann ist fraglich. Dabei sind die Parameter in heutigen Modellen ja statisch nach dem Training. a.E. Wenn man das Beispiel "Was frisst die Katze" nimmt uns simplifiziert in einem LLM betrachtet (jaja, ich weiß Transformer), so werden 4 Eingangsnodes getriggert. Diese 4 Eingangsnodes triggern nun Millionen andere Nodes in hintereinander liegenden Layern. Warum jetzt Node 923 bestimmte Parameter an den darunter liegenden Layer weitergibt, kann keiner mehr sagen. Es ist nicht mehr nachvollziehbar warum die Billionen von Trainingsdaten die Parameter von Node 923 so eingestellt haben wie sie eingestellt sind. Aber das nächste Wort ist "Die". Dann wird "Was frisst die Katze. Die" vorne im Netz wieder eingegeben und die Parameter von Millionen von Nodes spucken "Katze" aus usw. in den Parametern der Nodes und deren Verknüpfung ist im Prinzip das universelle Muster des Wissens was wir in Billionen von Texten geschrieben haben gespeichert.

Gehirn (neuronales Netz) -> Sprache -> Text -> Text -> Wort prediction -> AI (neuronales Netz)



Vielleicht wenn sie die K.I. irgendwann auf 'nem Quantencomputer laufen lassen ansonsten gilt folgendes:

a.E. Ich glaube nicht, dass es eine Rolle spielt, aber vielleicht wäre ein echter Zufall der Schlüssel zu AGI? Nur Spaß.
 
Also ich muss gestehen; Stem Separation funktioniert noch nicht wirklich...
Weder bei Spectral Layers, NI Maschine, Akai MPC oder Apple Logic...
 
Stem Separation funktioniert noch nicht wirklich
Das ist auch genau meine Beobachtung. Es gibt Beispiele, bei denen geht alles gut (vermutlich stammen sie aus dem Trainingsmaterial des jeweiligen Systems), aber real-world klingen doch immer einige Stems ganz unglaublich schlecht. Ähnlich wie mp3 mit 64kBit, aber schlechter.

Warum jetzt Node 923 bestimmte Parameter an den darunter liegenden Layer weitergibt, kann keiner mehr sagen.
Will auch keiner, muss auch keiner. Weiß auch jeder, der sich damit auskennt, denn diese Information wäre völlig unerheblich, denn
1) bereits beim nächsten kompletten Trainingslauf wäre wieder alles ganz anders und
2) die Vorstellung, dass irgendwelche ganz bestimmten Nodes irgendein klar identifizierbares Wissen beinhalten, trifft nicht zu. Das gesamte trainierte Wissen verteilt sich ineinander verschachtelt und überlagert auf das komplette Netz. Natürlich gibt es dann irgendwelche Regionen im Netz, die besonders aktiv bei bestimmten Wortfeldern sind, aber was nützt mir die Information, wenn sich eh alles neu organisiert beim nächsten Trainingslauf.

Im Moment scheint eher Ratlosigkeit zu existieren, wie man die aktuellen LLMs visualisieren kann.
Nein, es gibt schon seit mehr als 2 Jahrzehnten den Konsens, keine Visualisierungsversuche zu unternehmen (es sei denn, sie sollen den Medien als "Futter" dienen für "aufregende" Berichte). Er gibt bereits bei einfachsten Neuronalen Netzen keinen Erkenntnisgewinn durch Visualisierung. Sind sie zu einfach, begreift jeder, wie sie funktionieren (ähnlich einer Linearen Regression), aber sobald mehr als ca. 20 Neuronen mit allen Verbindungen beteiligt sind, wird das Ganze unübersichtlich und ist vor allem bei jedem Trainingslauf anders, da es meistens kein globales Optimum gibt, sondern statt dessen viele lokale. Und bei jedem Trainingslauf landet das Netz in einem anderen lokalen Optimum (das mal weiter mal weniger weit vom Optimum entfernt ist).

Die spannenden Fragen sind vielmehr:
- wie verbessere (beschleunige) ich den Trainingsprozess?
- wie stelle ich sicher, dass mein Trainingsmaterial alle Fälle gleichmäßig abdeckt?
- wie finde ich die beste Netztopologie zur jeweiligen Aufgabe?
- ...

Das ist 1) alles nicht so einfach, 2) alles nicht so neu, 3) alles nicht so gut, wie man als Laie zunächst annimmt.
 


Neueste Beiträge


Zurück
Oben