Was habe ich mit KI gemacht - Das hauts einfach raus Thema
- Ersteller Martin Kraken
- Erstellt am
Martin Kraken
Anfänger
Theoretisch ist das schon richtig, nur praktisch spielt das halt keine Rolle. Du musst dir halt mal mein Video anschauen. Perfektion ist das Ende jeder Geschichte. Was wir wollen ist, die Landschaft flach halten, dass passiert in der Regel von selbst, aufgrund von Batch-Rauschen und der unscharfen Opmisierungs-Parameter. Nehmen wir an, wir hätten die Ressourcen für Hesse-Matrix Optimierung…was würdest du erreichen? Du hast einen fixierten Istzustand auf den Trainingstext und den Erwartungswert. Das bringt nur niemand weiter. Es wäre statisch.
GeoTeknique
|||||||||||
Rauschen hilft zwar aus ganz kleinen lokalen Minima herauszuspringen aber es heilt keine schlechte Konditionierung. Wenn die Hesse-Matrix extrem unterschiedliche Eigenwerte hat, 'eiert' der Gradientenabstieg trotz Rauschen wie eine Kugel in einer extrem schmalen Dachrinne. Man verschwendet massiv Rechenzeit. Man optimiert nicht gegen das Rauschen, sondern man nutzt die Hesse-Matrix, um die Schrittweite (Lernrate) so zu kalibrieren, dass das Rauschen nicht zur Divergenz führt. Die Hesse-Matrix beschreibt die lokale Krümmung. Sie ist das Gegenteil von statisch – sie ist ein Instrument, das die Topologieveränderung im Gewichtsraum dynamisch darstellt. Wie so ein moving-window - nur mit Weitblick auch über den nächsten Hügel hinaus.
Hier geht es in erster Linie um das Verstehen der neuronalen Netze. Damit kann man das Netz auch besser steuern und verschwendet nicht so viel (Rechen)Zeit.
micromoog
Heute nicht
Me2
Aber Chapeau an alle die in dieser Materie Know-How haben.
Ggf. auch mal mit Sachse- oder Bayer-Matrix probieren. Die Schwabe-Matrix ist mit Vorsicht zu genießen, die geizt mit Informationen.
ModernerPurist
||||
Man muss ja nicht alles wissen und schon gar nicht in der Tiefe - jeder ist ja irgendwo Spezialist auf seinem Gebiet und erntet sein "Chapeau".
Mich interessieren diese Details weniger, sondern mehr die Folgen für meine Anwendungen und nicht zuletzt Entwicklungen und Auswirkungen auf Teilbereiche oder dem großen Ganzen.
Martin Kraken
Anfänger
Das Gegenteil ist der Fall, die Landschaft ist von sich aus relativ flach, es gibt bereits implementierte Methoden, die zu steile Regionen vorscannen. Jedoch benötigt das alles Rechenleistung, Rechenleistung die bei Milliarden an Parametern einfach nicht mehr leistbar ist.
GeoTeknique
|||||||||||
Ich glaube, wir reden aneinander vorbei. Ich schlage nicht vor, bei Milliarden Parametern die Hesse-Matrix live zu berechnen – das wäre in der Tat Wahnsinn. Mir geht es um das Prinzip: Wenn die Detektoren feststecken, hilft 'Vorscannen' oder 'Hoffen auf flache Landschaften' nicht weiter. Das HPI-Material zeigt die Physik dahinter. Es geht darum, das Training so zu designen, dass man die Eigenwert-Problematik von vornherein in den Griff bekommt bzw. nicht in die Falle tappt.
Me2
Aber Chapeau an alle die in dieser Materie Know-How haben.
Ggf. auch mal mit Sachse- oder Bayer-Matrix probieren. Die Schwabe-Matrix ist mit Vorsicht zu genießen, die geizt mit Informationen.
Es ist letztendlich das was ich gelernt habe über eine Zeitraum von 17 Jahren. 2002/3 rum die Grundlagen der theoretischen Informatik in Form der diskreten Mathematik, der formalen Sprachen und Automatentheorie und der angewandten Logik. Da lernte ich auch zum ersten mal Eigenwerte und Eigenvektoren kennen und imaginäre Zahlen. Auch Hesse- und Jacobi-Matrix tauchten da schon auf.
Im Geo-Studium lernte ich vor 15 Jahren Eigenwerte, Eigenvektoren, Determinante, Jacobi und Hesse-Matrix neu kennen - unter geowissenschaftlichem Gesichtspunkt - diesmal mussten wir sie auch selbst rechnen, was enorm schwierig war (2. partielle Ableitungen am Fließband bilden).
Im Master-Studium Geo dann hatte ich vor Langeweile mir die HPI-Skripte reingezogen. War zwar kein Informatik-Sudent (mehr) aber mich hat das immer noch interessiert. Da stolperte ich über die konkrete Anwendung der Hessematrix und deren Verantwortlichkeit für die Gewichtung in neuronalen Netzen. Da machte es das erste mal klick.
7 Jahre später stolpere ich über ein Optimierungsproblem, das in genau dem Skript damals beschrieben wurde. Das war der zweite Klick.
Heute ist dieses Wissen um die Mathematik und das theoretische Fundament hinter neuronalen Netzen im Angesichte der überboardenden Flut von Gradientenabstegsverfahren-Modellen etwas in Vergessenheit geraten. Was mich doch sehr wundert. Ich war ja nicht der einzige Student damals. Aber vielleicht der einzige mit so einer spezifischen Laufbahn.
Martin Kraken
Anfänger
Ja und wie willst du das genau umsetzen? Es geht ja primär um die Umsetzbarkeit, also was für einen praktischen Nutzen man mit den vorgegebenen Ressourcen erreichen will. So wie ich es verstehe hast du eine Methode die weniger Rechenleistung benötigt oder mehr um dann am Ende weniger zu benötigen? Dazu müsste es aber ein zentrales Problem der aktuellen Modelle sein, was meiner Kenntnis nach nicht der Fall ist.
GeoTeknique
|||||||||||
Scenturio
au̶̫di̪̮͟at̢̗̀ur̻̱ ët ảltͬ͗er̖͐́a ̢͕̰pa͙̭rs
Am Simulator oder mit einem Modellflieger würde ich mich das trauen … zugegeben vermutlich mit höherer Unfallrate als bei einem entspr. ausgebildeten Piloten.
Martin Kraken
Anfänger
Hä? Aber das ist doch alles bekannt, deshalb versucht man doch die Landschaft flach zu halten. Dafür gibt es doch schon zig Ansätze. Ich verstehe immer noch nicht den genauen Punkt. Was wird im Moment falsch gemacht und was müsste man verbessern? Ich meine es gibt ganze Forschungszweige, die sich mit dem Thema beschäftigen.
GeoTeknique
|||||||||||
Martin Kraken
Anfänger
? Welche Experten meinst du? Ich denke schon, dass die Hesse-Matrix bekannt ist. Also wenn ich die sogar schon mal gehört habe. Nur bringt die zweite Ableitung einen nicht weiter, weil sie nicht realistisch durchführbar ist. Also versucht man Näherungen oder andere Verfahren. Ich mag zum Beispiel Dropout. Man schaltet quasi random Knoten aus und ein und glättet so die Landschaft
GeoTeknique
|||||||||||
Nur über die Information der Hesse-Matrix (die Eigenwerte) erkennt man, dass es Richtungen gibt, in denen man 'ausbrechen' könnte. Ohne dieses Wissen bleibt der Detektor im Sattelpunkt hängen. Hohe Eigenwerte schießen den Detektor aus der Kurve (Instabilität). Eigenwerte gegen Null ihn 'verhungern' (Stagnation). Die 'Goldlöckchen-Zone' wird gesucht. Wenn der Detektor feststeckt, sind die Eigenwerte vermutlich im Keller – die Landschaft ist zu flach, als dass der aktuelle Optimierer noch genug 'Zug' nach unten findet. Dann muss man die Lernrate kurzfristig erhöhen um 'auszubrechen'.
Martin Kraken
Anfänger
Das dreht sich ja im Kreis, man hat nich genug Ressourcen, um die Hesse-Matrix für das komplette Netz zu berechnen. Auch wenn du prinzipiell recht hast, kann man daraus keine praktische Lösung ableiten? Aber vielleicht liege ich auch falsch, ich habe nämlich null Ahnung
Mich interessiert eher die Übertragung auf die biologische Ebene, aber schon ziemlich cool deine Gedanken.
GeoTeknique
|||||||||||
Das wäre dann der kybernetische Ansatz der instantanen Überführung in eine 1-0-Algebra. Aber damit das den gekrümmten Raum nicht 'kaputt' macht, sollte sich das auf einen Layer im Netz beschränken, den in einem glattgebügelten Raum gibt es keine Informationen mehr. Mehr noch -man braucht einen richtigen Steuerungslayer, der als Art Hardware-Sicherung im Hintergrund die Injektion gezielt steuert. Damit kann der Detektor 'entrastet' (das Überführen in die 1-0-Logik) und 'angestoßen' (das Kappen der Variablenabhängigkeiten erzwingt den Stoß in einen neuen Quadranten des Parameterraums) werden.
Das ist das biologische Notprogramm, dass alle Wirbeltiere im limbischen System fest einprogrammiert haben. Nach einem 'Störfall' kann man unbeschadet weitermachen ohne Verlust (quantelung des Parameter- und Latenzraumes) odder Einschränkungen, bis auf den Energieverlust, den die Aktion kostete.
Hier die Analogie:
Vorgestern habe ich etwas interessantes beobachtet. Auf einer Wiese in der Stadt waren zwei schwarze Krähen. Die gerieten offenbar in Streit. Die eine Krähe hat es dabei geschafft die andere Krähe auf den Rücken umzuwerfen. Sie lag wie eine Schildkröte wehrlos am Boden und die angreifende Krähe darüber und hat angefangen die am Boden liegende Krähe zu traktieren. Die untere Krähe, so war mein Eindruck, schrie um ihr Leben. Ich war schon dabei die Situation zu bereinigen durch bloßes Hingehen. Da hat die am Boden liegende Krähe einen Special-Move gemacht, der es ihr ermöglichte sich aus dieser aussichtslosen Lage zu befreien. Sie hat offenbar das 'Spiel' nicht weiter mitgemacht und nach einem 'Notausgang' gesucht. Womöglich hat sie garnicht gesucht, sondern es lief ein fest einprogrammiertes Notprogramm ab, sich aus einem System-Lock zu befreien. Sie machte eine geschickte Bewegung, mit der die angreifende Krähe wohl nicht gerechnet hatte und entkam so der Situation.
Das ist das biologische Notprogramm, dass alle Wirbeltiere im limbischen System fest einprogrammiert haben. Nach einem 'Störfall' kann man unbeschadet weitermachen ohne Verlust (quantelung des Parameter- und Latenzraumes) odder Einschränkungen, bis auf den Energieverlust, den die Aktion kostete.
Hier die Analogie:
Vorgestern habe ich etwas interessantes beobachtet. Auf einer Wiese in der Stadt waren zwei schwarze Krähen. Die gerieten offenbar in Streit. Die eine Krähe hat es dabei geschafft die andere Krähe auf den Rücken umzuwerfen. Sie lag wie eine Schildkröte wehrlos am Boden und die angreifende Krähe darüber und hat angefangen die am Boden liegende Krähe zu traktieren. Die untere Krähe, so war mein Eindruck, schrie um ihr Leben. Ich war schon dabei die Situation zu bereinigen durch bloßes Hingehen. Da hat die am Boden liegende Krähe einen Special-Move gemacht, der es ihr ermöglichte sich aus dieser aussichtslosen Lage zu befreien. Sie hat offenbar das 'Spiel' nicht weiter mitgemacht und nach einem 'Notausgang' gesucht. Womöglich hat sie garnicht gesucht, sondern es lief ein fest einprogrammiertes Notprogramm ab, sich aus einem System-Lock zu befreien. Sie machte eine geschickte Bewegung, mit der die angreifende Krähe wohl nicht gerechnet hatte und entkam so der Situation.
Martin Kraken
Anfänger
GeoTeknique
|||||||||||
Na, die angegriffene Krähe kam in ein System-Lock aus dem man mit Semantik und Latenz (Interaktion) nicht mehr weiter kommt. Sie nutzt die Rettungsformel instinktiv. Sie macht eine für die andere Krähe nicht vorhersehbare Bewegung (Mimikry) und steuert dem System die 'energetische Sättigung' bei (ganz wie Paul Elstak ). Das ergibt einen Impuls in einem vorher 'glattgebügeltem' System (Raum). Damit kann sie sich selbstständig aus der Falle befreien. Und dieses Programm ist im Prinzip als festes Logikgatter in jedem Wirbeltier verankert.
Und wenn man nun annimmt, dass ein neuronales Netz ja eigentliuch genau das Verhalten natürlicher Gehirne oder deren Entscheidungsprozesse zum Überleben in die künstlichen neuronalen Netze trägt, könnte das ein Weg zur Entwicklung einer 'schlauen' KI sein. Die so schlau ist, nicht in jede Krümmungsfalle zu tappen und da feststecken zu bleiben.
). Das ergibt einen Impuls in einem vorher 'glattgebügeltem' System (Raum). Damit kann sie sich selbstständig aus der Falle befreien. Und dieses Programm ist im Prinzip als festes Logikgatter in jedem Wirbeltier verankert.Und wenn man nun annimmt, dass ein neuronales Netz ja eigentliuch genau das Verhalten natürlicher Gehirne oder deren Entscheidungsprozesse zum Überleben in die künstlichen neuronalen Netze trägt, könnte das ein Weg zur Entwicklung einer 'schlauen' KI sein. Die so schlau ist, nicht in jede Krümmungsfalle zu tappen und da feststecken zu bleiben.
Scenturio
au̶̫di̪̮͟at̢̗̀ur̻̱ ët ảltͬ͗er̖͐́a ̢͕̰pa͙̭rs
mal am Rande: gibt es für das Feststecken in solchen "Krümmungsfallen" anschauliche Beispiele der aktuellen LLM, die Ottonormalbürger versteht?
GeoTeknique
|||||||||||
Stell dir eine Bettdecke vor - tritt einmal kräftig mit dem Fuß rein - fertig ist dein topologisches Minimum.
Stell dir das Storchennest auf dem Mast vor. Das ist die Sattelpunktkrise.
DanReed
|||||
OK
Das Bild einer Landschaft mit Sattelpunkten und scharfen Minima suggeriert, dass man "nur" die Gradienten anhand des "Landschaftsverlaufs" besser schätzen müsse oder einfach etwas Rauschen hinzumischen könne, um z.B. über den nächsten kleinen Höcker vom gerade erreichten lokalen Minimum in das nächste viel tiefere Minimum springen zu können.
All diese Ideen sind tatsächlich bereits, seit es das Backpropagation-Verfahren gibt, in tausenden Abwandlungen des Optimierungsalgorithmus durchprobiert worden.
Wenn man sich aber mal klarmacht, dass man es mit einer "Landschaft" (um bei diesem einfachen Bild zu bleiben) zu tun hat, die unzählige fast gleich tiefe scharfe Löcher hat und dazwischen unzählige Grate, die die Löcher trennen, und man nun auf die Suche gehen soll, von allen Löchern eines der tiefsten zu finden, dann stellt man schnell fest, dass die Startbedingungen ganz wesentlich die Fundstelle bestimmen.
Und dann stellt man fest, dass jeder Neustart zu einem anderen Ergebnis führt. Und dann stellt man fest, dass das Finden eines einzigen Ergebnisses bereits zu lange dauert und 1000 komplette Neustarts tatsächlich im Durchlauf z.B. 769 das beste Ergebnis der 1000 Durchläufe lieferen.
Die Frage ist also: wie soll man einen multi-dimensionalen Suchraum, der so zerklüftet ist, zielführend absuchen? Antwort: Es gibt keine Lösung, daher sind alle Trainingsergebnisse auf riesigem Material zwingend suboptimal, und es hat viel mit Zufall/Glück zu tun, wenn man mal ein unerwartet gutes Minimum erwischt (und oft ist in unmittelbarer Nähe dieses Minimums weit und breit nichts besseres zu finden).
Hier sind ganz neue Ideen gefragt: Zu große initiale Schrittweiten des Backpropagation-Alg liefern nur zufällige Abtastpunkte (sozusagen eine Verletzung des Nyquist-Theorems).
Mir persönlich fällt dazu jetzt spontan ein, den BP-Alg so zu modifizieren, dass er zunächst rekursiv "explodiert": Er startet an vielen Punkten des Suchraums und iteriert nicht über die Reduktion der Lernrate, sondern über alle Punkte. Erst in der äußeren "Schleife" wird die Lernrate verringert. So kann er frühzeitig wenig erfolgversprechende "Gegenden" verwerfen und die Rechenleistung auf immer weniger vielversprechendere Gegenden konzentrieren bis er am Schluss im tiefsten Minimum der "besten Gegend" konvergiert.
Das nur mal als Gedankenanstoß.
GeoTeknique
|||||||||||
Scenturio
au̶̫di̪̮͟at̢̗̀ur̻̱ ët ảltͬ͗er̖͐́a ̢͕̰pa͙̭rs
mir ist schon klar, was das topologisch bedeutet (hatte ja auch Analysis in der Uni) - ich meinte konkrete Auswirkungen des Problems anhand von LLM-Antworten.
Martin Kraken
Anfänger
Bei sehr großen Netzen ist die Topologie eher flach und die Minima sind ähnlich gut. Man findet vielleicht nicht das absolut beste Minimum, aber das ist auch gar nicht notwendig. Das Problem ist hier auch die statische Betrachtung. Selbst wenn man das optimale Minimum findet, ist das nur das minimum auf des Istzustandes. Es gibt zig Ansätze zu Vermeiden irgendwo stecken zu bleiben. Was ich halt nicht beurteilen kann ist, vielleicht hast du ja etwas gefunden was alles viel einfach macht, aber das kann ich nicht beurteilen. Jedenfalls ist es nicht so, dass niemand an die Hesse-Matrix denkt, sie hilft nur in den Augen dieser Personen nicht für eine reale Lösung.
Martin Kraken
Anfänger
Ich würde mich echt freuen, wenn andere ihre KI-Projekte mal zeigen, es muss ja nix großartiges sein. Ich bin nur interessiert wie ihr das nutzt. Ich habe hier mit Vibe-Coding einen Webseiten-Audio-Visualizer gebaut.
Man kann eigene Hintergrundbilder einfügen, man kann loop-Videos einfügen (mit Weiß als Transparenz-Farbe), man kann die Intensität des Visualizer einstellen, man kann das Video aufnehmen lassen oder im Fullscreenmodus z.B. mit OBS das Bild abgreifen (bessere Qualität) usw. Ist nicht perfekt, aber ich hatte schon lange nach einem Visualizer gesucht, der kostenlos ist und das macht was ich will Wäre schön, wenn es jemand ausprobiert und mir Feedback gibt. Download im Anhang. Und es ist natürlich alles sauber, es ist nur ein .html file, läuft alles im Browser, am besten Chrome.
Man kann eigene Hintergrundbilder einfügen, man kann loop-Videos einfügen (mit Weiß als Transparenz-Farbe), man kann die Intensität des Visualizer einstellen, man kann das Video aufnehmen lassen oder im Fullscreenmodus z.B. mit OBS das Bild abgreifen (bessere Qualität) usw. Ist nicht perfekt, aber ich hatte schon lange nach einem Visualizer gesucht, der kostenlos ist und das macht was ich will
Wäre schön, wenn es jemand ausprobiert und mir Feedback gibt. Download im Anhang. Und es ist natürlich alles sauber, es ist nur ein .html file, läuft alles im Browser, am besten Chrome.
spurkopf
┏(-_-)┛┗(-_- )┓
Funktioniert! Auch mit Firefox, habe jetzt nur ein bisschen mit den Reglern und ohne Video rumgespielt:
Anhang anzeigen visualizer-2026-03-04T10-31-38-735Z.webm
Anhang anzeigen visualizer-2026-03-04T10-31-38-735Z.webm
Martin Kraken
Anfänger
Man muss etwas mit dem Bassspektrum-Regler rumspielen, damit man im Bassbereich mehr anzeigen. Eigene Videoloops sind auch möglich, nur der Hintergrund muss weiß sein als Key.
Martin Kraken
Anfänger
Auch noch von mir noch mal eine Demo, mit Loop Video in der Mitte.
Anhang anzeigen visualizer-2026-03-04T15-31-00-671Z.webm
Anhang anzeigen visualizer-2026-03-04T15-31-00-671Z.webm
spurkopf
┏(-_-)┛┗(-_- )┓
Okay dann auch mal mit Video (auf die Schnelle)
Anhang anzeigen visualizer-2026-03-04T15-46-59-497Z.webm
Top an deinem Programm: es ist simple I-proofed©, muß nicht installiert werden und sollte komplett Plattform unhabhängig überall laufen. Toll auch die Möglichkeit das Ganze gleich als Video rauszugeben.
Aber für einen Adavanced Audio Visualzer Pro würde ich mir gleich einmal wesentlich mehr Grafik Möglichkeiten wünschen, bloß mit den Reglern ist kein großartiger Unterschied zu machen. Wenn das passiert ist, möchte ich verschiedene Szenen speichern und umschalten können, am besten über einen Sequenzer speichern.
Anhang anzeigen visualizer-2026-03-04T15-46-59-497Z.webm
Top an deinem Programm: es ist simple I-proofed©, muß nicht installiert werden und sollte komplett Plattform unhabhängig überall laufen. Toll auch die Möglichkeit das Ganze gleich als Video rauszugeben.
Aber für einen Adavanced Audio Visualzer Pro würde ich mir gleich einmal wesentlich mehr Grafik Möglichkeiten wünschen, bloß mit den Reglern ist kein großartiger Unterschied zu machen. Wenn das passiert ist, möchte ich verschiedene Szenen speichern und umschalten können, am besten über einen Sequenzer speichern.
Martin Kraken
Anfänger
Du hast das Rendern hochgestellt oder? Irgendwie funktioniert das nicht wie gewünscht, dann sieht alles wie Zeitlupe aus. Es gibt eine optimierte Version, wo man die Videoqualität wirklich einstellen kann...mit den Effekten bin ich dabei. Sequenzer...puh mal sehen, ob er das hinbekommt, aber man kann live an den Reglern drehen und Modi wechseln während der Aufnahme...glaube ich zumindest
Ach und du kannst den Keywert für das weiß verändern, dann hast du die Rändern nicht. Aber super cool, dass es auch mit deinem Loop-Video funktioniert.
Zuletzt bearbeitet:
