Einsatz von AI zum Musik machen

[Summa]

Die KI kann googlen Das tut sie auch, noch nicht Chatgpt ausprobiert?

Die Aussage war im Zusammenhang mit dem Lernprozess gemeint, eigentlich klar - Daten aus dem Internet würden die Verarbeitungszeit extrem erhöhen, abgesehen von den rechtlichen Problemen, noch so ein Nebelkerze? Ablenkung, du willst unbedingt gewinnen?

 

[Martin Kraken]

Kurz reingeschaut, dass erklärt K.I. für Noobs.

Ich habe echt keinen Plan woher du diese Überheblichkeit nimmst.

Die Aussage war im Zusammenhang mit dem Lernprozess gemeint, eigentlich klar - Daten aus dem Internet würden die Verarbeitungszeit extrem erhöhen, abgesehen von den rechtlichen Problemen, noch so ein Nebelkerze? Ablenkung, du willst unbedingt gewinnen?

Woher kommen die Daten? Also für Noobs wie mich kommen sie aus einer Mischung öffentlich verfügbarer Texte (z. B. Websites, Bücher, Wikipedia). Später kommen dann noch annotierte (also gelabelte) Texte beim Finetuning dazu. Für Profis wie dich kommen sie woher?

 

[Summa]

Ich habe echt keinen Plan woher du diese Überheblichkeit nimmst.

Das war eine realistische Einschätzung der Zielgruppe der Videos.

Woher kommen die Daten? Also für Noobs wie mich kommen sie aus einer Mischung öffentlich verfügbarer Texte (z. B. Websites, Bücher, Wikipedia). Später kommen dann noch annotierte (also gelabelte) Texte beim Finetuning dazu. Für Profis wie dich kommen sie woher?

Aber woher holt sich die K.I. in dieser Geschwindigkeit die Daten, was denkst du?

 

[Martin Kraken]

Das war eine realistische Einschätzung der Zielgruppe der Videos.

Aber woher holt sich die K.I. in dieser Geschwindigkeit die Daten, was denkst du?

Ok, du hast gewonnen, die Trainingsdaten sind in einer Datenbank gespeichert.

Das hat zwar nix mit der eigentlichen Diskussion zu tun...aber wenn es dich glücklich macht.

Ich hoffe du verstehst, dass diese Datenbank nicht Teil der fertigen AI ist.

Du kannst uns ja jetzt mal erklären was Backpropagation ist, damit wir an deinem Profiwissen teilhaben können.

 

[Summa]

Ich hoffe du verstehst, dass diese Datenbank nicht Teil der fertigen AI ist.

Bist du sicher dass die Daten darin nicht schon gewichtet sind?

Du kannst uns ja jetzt mal erklären was Backpropagation ist, damit wir an deinem Profiwissen teilhaben können.

Hatte ich doch weiter oben schon von 'ner Website zitiert, ich kann wenn du willst noch weitere Quellen zitieren.

 

[Pete1]

Eine Leseempfehlung:
David Kriesel: Neuronale Netze

Ist echt gut für alle Grundlagen. Denn da das Thema durchaus kompliziert werden kann und hier schon mal Missverständnisse über Begriffe und Zusammenhänge herrschen. Ich jedenfalls hatte beim Lesen das eine oder andere Aha-Erlebnis.

Es lohnt sich wirklich, sich ein paar Tage hinzusetzen und das durchzulesen.

Manche kennen David Kriesel vielleicht von Vorträgen vom CCC.

 

[Martin Kraken]

Eine Leseempfehlung:
David Kriesel: Neuronale Netze

Ist echt gut für alle Grundlagen. Denn da das Thema durchaus kompliziert werden kann und hier schon mal Missverständnisse über Begriffe und Zusammenhänge herrschen. Ich jedenfalls hatte beim Lesen das eine oder andere Aha-Erlebnis.

Es lohnt sich wirklich, sich ein paar Tage hinzusetzen und das durchzulesen.

Manche kennen David Kriesel vielleicht von Vorträgen vom CCC.

Der Text ist von 2007? Das wäre dann schon ein wenig veraltet. Google Transformer ist von 2017 und seit dem hat das Ganze Quantensprünge gemacht. Ob das noch mit einem Text zu vergleichen ist von 2007 weiß ich nicht. Backpropagation wirds schon gegeben haben, denn das ist schon seit den 80er im Einsatz. Aber 2007 ist auch lange vor AlexNet von 2012, was quasi die Grundlage aller modernen Deep Learining AI ist. Der Backbone heutiger LLMs ist Google Transformer und Backpropagation.

Bist du sicher dass die Daten darin nicht schon gewichtet sind?

Hatte ich doch weiter oben schon von 'ner Website zitiert, ich kann wenn du willst noch weitere Quellen zitieren.

Nein, die Daten sind darin nicht gewichtet. Das wäre wahrscheinlich auch nicht möglich, denn dann müsste ja jemand von Hand diese Daten gewichten. Es kann sein, dass bereits relativ früh, im Verhältnis sehr wenige Daten, inhaltlich bearbeitet werden. Es wird auch versucht minderwertige, doppelte oder Hetztexte vor dem Training zu entfernen. Aber wie gesagt, dass ist nicht der zentrale Mechanismus. Der Witz ist ja gerade, dass es schwer nachzuvollziehen ist, dass nur durch das Lernen der Vorhersage des nächsten Wortes aus random Texten sowas wie Chatgpt entsteht. Ich glaube, das ist schwer mit nem menschlichen Gehirn zu erfassen wie das gehen soll und warum es funktioniert und so richtig verstehts halt auch noch keiner (klar den Programmcode versteht man, bitte nicht wieder alles von Vorne).

 

[Martin Kraken]

Auch eher für die Noobs, aber vielleicht findet es jemand spannend.

Künstliche Intelligenz: »Es gibt eine Chance von 20 Prozent, dass KI in eine Art von Abgrund führt«

Ist künstliche Intelligenz Fluch oder Segen? Hier diskutieren Digitalexperte Sascha Lobo, Ethikerin Alena Buyx und KI-Pionier Jonas Andrulis über bedrohte Jobs, die Auslöschung der Menschheit und Liebe mit Robotern.

www.spiegel.de

Und um diese dämlich Diskussion ein für alle mal abzuschließen hier ein Video von 2 Personen, die definitiv mehr von AI verstehen, als jeder hier im Forum und sie sagen genau das, was ich hier gebetsmühlenartig wiederhole, aber von den Profis hier als Unsinn abgetan wird:



Transkript: "we don't fundamentally know why these AIs do the things they do. We don't fundamentally know whats going on inside in that sort of mathematical sense or in a larger sense. And thats why all these mysteries still remain."

 

[Summa]

Nein, die Daten sind darin nicht gewichtet. Das wäre wahrscheinlich auch nicht möglich, denn dann müsste ja jemand von Hand diese Daten gewichten.

Jemand oder etwas

Es kann sein, dass bereits relativ früh, im Verhältnis sehr wenige Daten, inhaltlich bearbeitet werden. Es wird auch versucht minderwertige, doppelte oder Hetztexte vor dem Training zu entfernen. Aber wie gesagt, dass ist nicht der zentrale Mechanismus.

Eine Datenbank mit den von dir angegebenen "Billionen Wörtern" ohne irgend eine Ordnung wär' ne ganz blöde Idee, das wäre so als wenn du eine Nadel im Heuhaufen suchst So lange die K.I. auf einem binären Rechner läuft wird sich sich zwangsweise an bestimmte Regeln halten müssen.

Der Witz ist ja gerade, dass es schwer nachzuvollziehen ist, dass nur durch das Lernen der Vorhersage des nächsten Wortes aus random Texten sowas wie Chatgpt entsteht. Ich glaube, das ist schwer mit nem menschlichen Gehirn zu erfassen wie das gehen soll und warum es funktioniert und so richtig verstehts halt auch noch keiner (klar den Programmcode versteht man, bitte nicht wieder alles von Vorne).

Noch sind die Mechanismen die eine K.i. verwendet nur von der Arbeisweise eines bilogischen neuronalen Netz inpririert, schon wegen der von mir genannten Beschränkung binärer Computersysteme.

Auch eher für die Noobs, aber vielleicht findet es jemand spannend.

Künstliche Intelligenz: »Es gibt eine Chance von 20 Prozent, dass KI in eine Art von Abgrund führt«

Ist künstliche Intelligenz Fluch oder Segen? Hier diskutieren Digitalexperte Sascha Lobo, Ethikerin Alena Buyx und KI-Pionier Jonas Andrulis über bedrohte Jobs, die Auslöschung der Menschheit und Liebe mit Robotern.

www.spiegel.de

Und um diese dämlich Diskussion ein für alle mal abzuschließen hier ein Video von 2 Personen, die definitiv mehr von AI verstehen, als jeder hier im Forum und sie sagen genau das, was ich hier gebetsmühlenartig wiederhole, aber von den Profis hier als Unsinn abgetan wird:



Transkript: "we don't fundamentally know why these AIs do the things they do. We don't fundamentally know whats going on inside in that sort of mathematical sense or in a larger sense. And thats why all these mysteries still remain."

Muss das sein? Videos sind ein ziemlicher Zeitklau, die lassen sich so schlecht Querlesen Die Überschrift suggerriert ja schon die Überlegung einer Möglichkeit, das würde ich auch nicht in Abrede Stellen wollen. Sind das die Macher von Claude, das System hattest du schon vorne erwähnt, das ist laut Wikipedia eine vortrainierte K.I., das würde auch zu deinen Beobachtungen passen.

 

[Cee]

hier ein Video von 2 Personen, die definitiv mehr von AI verstehen, als jeder hier im Forum und sie sagen genau das, was ich hier gebetsmühlenartig wiederhole,

Beide von Anthropic, der links vom Communications Department, der rechts von 'alignment science', also beide eher PR, Marketing, Planung. Im Sofa-Gespräch wimmelt es daher von 'could be', 'would', 'possibly', 'crazy'. Die machen ihren Job.

Nur mal zur Quelleneinschätzung.

Auch vor 60 Jahren war die conscious general AI ja nur einen Fingerschnips entfernt, samt Übernahme der Welt.

 

[Synthesilent]

Ich tippe auf idiocracy...

Da sind wir inzwischen schon mit einem Fuß drin

 

[Summa]

Beim Thema Verschlüsselung geht es es vor allem um Primfaktorzerlegung - und weniger um Zufallszahlen.

Quantencomputer erzeugt erstmals nachweislich echte Zufallszahlen

Quantencomputer erzeugt erstmals zertifizierte Zufallszahlen – ein neuer Schritt für Kryptographie, Datenschutz und digitale Sicherheit.

www.ingenieur.de

 

[Martin Kraken]

Jemand oder etwas

Es wird lächerlich. Diese Haarspalterei ist sinnlos.

Eine Datenbank mit den von dir angegebenen "Billionen Wörtern" ohne irgend eine Ordnung wär' ne ganz blöde Idee, das wäre so als wenn du eine Nadel im Heuhaufen suchst So lange die K.I. auf einem binären Rechner läuft wird sich sich zwangsweise an bestimmte Regeln halten müssen.

Strohmann oder Dummheit? Nach seitenlanger Diskussion so eine Antwort. Irgendwann wirds peinlich. Informiere dich halt selbst. Die „Ordnung“ steckt in den Sätzen.

Beide von Anthropic, der links vom Communications Department, der rechts von 'alignment science', also beide eher PR, Marketing, Planung. Im Sofa-Gespräch wimmelt es daher von 'could be', 'would', 'possibly', 'crazy'. Die machen ihren Job.

Nur mal zur Quelleneinschätzung.

Auch vor 60 Jahren war die conscious general AI ja nur einen Fingerschnips entfernt, samt Übernahme der Welt.

Yep, ob Nobelpreisträger oder AI-Forscher, das Forum weiß es besser. Wenn du so gut weißt wie es funktioniert, versuche es uns doch mal zu erklären, gerne auch in Profisprache, ich versteh das schon.

 

[DanReed]

Was ist denn jetzt eigentlich genau die Frage, um die es hier noch geht?

 

[feilritz]

2 nerds üben sich in Toleranz...darum gehts

 

[Summa]

Strohmann oder Dummheit? Nach seitenlanger Diskussion so eine Antwort. Irgendwann wirds peinlich. Informiere dich halt selbst. Die „Ordnung“ steckt in den Sätzen.

Datenbanken war Teil meines Informatik Studiums, daher mein Einwand. Eine große Datenbank braucht zwangsweise eine Struktur um nutzbar zu sein.

Es wird lächerlich. Diese Haarspalterei ist sinnlos.

Nicht wirklich, in den Artikeln zur A.I wird ein überwachtes lernen erwähnt, auch wenn das nicht ganz so effizient sein soll.

 

[Martin Kraken]

Was ist denn jetzt eigentlich genau die Frage, um die es hier noch geht?

Es geht darum, ob LLMs eine Blackbox sind. Ob wir wissen, warum „Next word prediction“ mit Millionen von Texten am Ende solche Fähigkeiten wie Chatgpt entwickelt. Und ob wir noch nachvollziehen können warum LLMs auf einen bestimmten Promt eine bestimmte Antwort geben.

 

[ganje]

Ich kriege langsam ein Déjà-vu.. Ihr?

Anhang anzeigen KI - Raus aus dem Forum.mp3

 

[Martin Kraken]

Datenbanken war Teil meines Informatik Studiums, daher mein Einwand. Eine große Datenbank braucht zwangsweise eine Struktur um nutzbar zu sein.

Nicht wirklich, in den Artikeln zur A.I wird ein überwachtes lernen erwähnt, auch wenn das nicht ganz so effizient sein soll.

Wie genau die Datenbank der Trainingsdaten aufgebaut ist kann ich dir nicht sagen. Zunächst werden sicherlich erstmal alle Texte gesammelt. Dann werden sie in Token zerlegt. Das zerlegen ist wichtig um Platz zu sparen in der Embedded Matrix, weil es ja dort einen Eintrag pro Token gibt. Zum Beispiel unbrauchbar und ungesund könnte man zerlegen in un / brauchbar und un / gesund, un ist ein Token und gesund und brauchbar je ein Token. Wie das dann in der Datenbank strukturiert ist weiß ich nicht. Wenn du willst frage ich Chatgpt.

 

[Summa]

Es geht darum, ob LLMs eine Blackbox sind. Ob wir wissen, warum „Next word prediction“ mit Millionen von Texten am Ende solche Fähigkeiten wie Chatgpt entwickelt. Und ob wir noch nachvollziehen können warum LLMs auf einen bestimmten Promt eine bestimmte Antwort geben.

Dazu hatte ich ja schon weiter vorne was gepostet, aber das waren ja nur die Leute vom Frauenhofer Institut

Erklärbare KI: Das Geheimnis der Blackbox lüften

In den letzten Jahren hat Künstliche Intelligenz (KI) erhebliche Fortschritte gemacht und ganze Branchen revolutioniert, Verfahren rationalisiert und die Entscheidungsfindung verbessert. Mit der Weiterentwicklung und Verbreitung von KI-Systemen ist jedoch ein entscheidendes Problem aufgetaucht – das

blog.iao.fraunhofer.de

Weitere Quellen:

Blick in die „Black Box“

Das Problem der Undurchsichtigkeit von KI-Systemen, oft als "Black Boxes" bezeichnet, hinsichtlich ihrer Entscheidungsfindung ist seit Langem bekannt. CRP ist eine hochmoderne Methode, die nicht nur bestehende Erklärungsmodelle für tiefe neuronale Netzwerke ergänzt, sondern auch vertieft.

www.itsicherheit-online.com

Wie entsteht eine KI-Blackbox?

Zum besseren Verständnis wirft Pegasystems einen Blick in den Maschinenraum einer KI-Anwendung.

www.it-daily.net

 

[Scenturio]

Ich kriege langsam ein Déjà-vu.. Ihr?

nicht sicher ob Christian Steiffen oder KI-generiert im Stil von Christian Steiffen ...

 

[Summa]

Ob wir wissen, warum „Next word prediction“ mit Millionen von Texten am Ende solche Fähigkeiten wie Chatgpt entwickelt.

Was Chatgpt betrifft:

ChatGPT am Pranger: So profitierte die gehypte KI von afrikanischen Billiglöhnern

Für weniger als 2 US-Dollar pro Stunde halfen Auftragsarbeiter, die gehypte Künstliche Intelligenz sicherer zu machen. Ein traumatisierender Job.

www.watson.ch

Technologie und Zukunft

Aktuelle Nachrichten zu Technologien der Zukunft. Neueste Entwicklungen aus Raumfahrt, Robotik, Physik und Chemie, tagesaktuell und hintergründig.

www.tagesschau.de

 

[ganje]

Was Chatgpt betrifft:

ChatGPT am Pranger: So profitierte die gehypte KI von afrikanischen Billiglöhnern

Für weniger als 2 US-Dollar pro Stunde halfen Auftragsarbeiter, die gehypte Künstliche Intelligenz sicherer zu machen. Ein traumatisierender Job.

www.watson.ch

Im Bericht steht, dass die Kenianer unterbezahlt waren, aber sie bekamen den dortigen Durchschnittslohn.

 

[Summa]

Es geht mir eher ums Guided Learning ;)

 

[Martin Kraken]

Es geht mir eher ums Guided Learning

Ja, Finetuning findet mit gelabelten Daten statt. Aber das sind nur sehr kleine Datensätze. Ich könnte mir aber vorstellen, dass Batches (ein LLM wird hintereinander mit verschieden Batches an Daten trainiert) labelt. Also das man zum Beispiel ein Batch hat nur mit wissenschaftlichen Texten und denen dann das Gesamt-Label Wissenschaft gibt.

Zu dem Datenbankformat sagt mir Chatgpt, dass für das Kerntraining nur reiner nicht formatierter Text genutzt wird und für das Finetuning dann Json genutzt wird. Beispiel:

{"messages": [{"role": "system", "content": "Du bist ein hilfreicher Assistent."}, {"role": "user", "content": "Was ist die Hauptstadt von Deutschland?"}, {"role": "assistant", "content": "Die Hauptstadt von Deutschland ist Berlin."}]}
{"messages": [{"role": "system", "content": "Du bist ein hilfreicher Assistent."}, {"role": "user", "content": "Erkläre, warum der Himmel blau ist."}, {"role": "assistant", "content": "Der Himmel erscheint blau, weil die Luftmoleküle das Sonnenlicht streuen und das blaue Licht stärker gestreut wird als andere Farben."}]}
{"messages": [{"role": "system", "content": "Du bist ein hilfreicher Assistent."}, {"role": "user", "content": "Erzähl mir einen Witz."}, {"role": "assistant", "content": "Warum können Skelette nicht tanzen? Weil sie keinen Rhythmus im Blut haben!"}]}
{"messages": [{"role": "system", "content": "Du bist ein hilfreicher Assistent."}, {"role": "user", "content": "Schreibe einen Satz mit dem Wort 'Hund'."}, {"role": "assistant", "content": "Der Hund schläft friedlich im Garten."}]}
{"messages": [{"role": "system", "content": "Du bist ein hilfreicher Assistent."}, {"role": "user", "content": "Was ist 5 + 7?"}, {"role": "assistant", "content": "5 + 7 ist 12."}]}

 

[Scenturio]

Spoiler: wahrscheinlich OT

hmm ...



Bonus:




nicht sicher, ob lustig ...

 

[Summa]

Ja, Finetuning findet mit gelabelten Daten statt. Aber das sind nur sehr kleine Datensätze. Ich könnte mir aber vorstellen, dass Batches (ein LLM wird hintereinander mit verschieden Batches an Daten trainiert) labelt. Also das man zum Beispiel ein Batch hat nur mit wissenschaftlichen Texten und denen dann das Gesamt-Label Wissenschaft gibt.

Zu dem Datenbankformat sagt mir Chatgpt, dass für das Kerntraining nur reiner nicht formatierter Text genutzt wird und für das Finetuning dann Json genutzt wird.

Das mit dem "Guided Learning" (jetzt von menschlichen Lernprozessen übernommen) bezieht sich auf die Klickarbeiter in Kenia und Kolumbien oder denkst du das sind Fake News? Dürfte zeigen dass das Training noch nicht ohne Menschliche Intervention/Unterstützung funktioniert, was an sich verständlich ist, weil die Worte für die K.I. erst mal keine Bedeutung haben.

 

[Martin Kraken]

Das mit dem "Guided Learning" (jetzt von menschlichen Lernprozessen übernommen) bezieht sich auf die Klickarbeiter in Kenia und Kolumbien oder denkst du das sind Fake News? Dürfte zeigen dass das Training noch nicht ohne Menschliche Intervention/Unterstützung funktioniert, was an sich verständlich ist, weil die Worte für die K.I. erst mal keine Bedeutung haben.

Nein, du missverstehst das. Es geht nur ums Finetuning, damit die KI nicht auf "Du Arschloch" mit "Du Idiot" antwortet, was nämlich viele Menschen so machen würden. Im Prinzip sucht ein Computer nach auffälligen Wörtern, diese Texte werden dann nach Kenia geschickt, wo ein Mensch beurteilt, ob der Text wirklich anstößig ist und dann wird der Text gelabelt. Die Bedeutung der Worte erlernt das Netz aus dem Kontext der Sätze. Es lernt keine einzelnen Worte, sondern es lernt die features (schau dir die Vorlesung für Noobs vom Nobelpreisträger an) die ein Wort hat, wie es im Kontext zu allen anderen Wörtern steht. Das ist ja der Witz warum ich dir das hier so lange erklären muss. Es lernt quasi "Hund" hat ne Beziehung zu "Tier", "Katze", "der", "bellen" und auch zu allen anderen Wörtern mit einer bestimmten Gewichtung. Aus der Beziehung aller Wörter zueinander und deren Position im Satz (oder ganzem Text), ergibt sich die Voraussage für das nächste Wort. Wir können aber nicht mehr entschlüsseln wie jedes Wort zu jedem Wort in Beziehung steht, denn das ist im NN verschlüsselt. Rein theoretisch müsste es möglich sein, so wie du es sagst, es sind ja nur Bits und Bytes, aber praktisch ist eben (noch?) nicht möglich. Und wenn wir es noch nicht mal in einem digitalen System können, bei dem wir alle Parameter kennen, dann können wir das für unser Gehirn komplett vergessen.

Also, ja, es gibt gelabelte Daten, die spielen auch eine Rolle und sie verbessern die Modelle beim Finetuning, du hast recht. Aber der Grundmechanismus funktioniert ohne jedes Labeling.

 

[Summa]

Ich hätte den Text von der ARD von Tagesschau.de zuerst verlinken sollen, da wird das etwas genauer erklärt was die Dienstleister so machen:

Technologie und Zukunft

Aktuelle Nachrichten zu Technologien der Zukunft. Neueste Entwicklungen aus Raumfahrt, Robotik, Physik und Chemie, tagesaktuell und hintergründig.

www.tagesschau.de

Trainingsdaten für künstliche Intelligenz​

Fred ist Teil einer weltweiten Industrie, die sogenannte Trainingsdaten für die Entwicklung von Künstlicher Intelligenz bearbeitet. SWR2 Wissen hat über mehrere Monate mit einem Dutzend dieser Klickarbeiterinnen und -arbeiter gesprochen. Im Podcast kritisieren die allermeisten ihre Arbeitsbedingungen sehr deutlich - sprechen mitunter von Ausbeutung. Dabei macht ihre Tätigkeit KI erst wirklich intelligent.


Mit den von ihnen annotierten Daten - vor allem Bildern - lernen beispielsweise KI-Systeme beim autonomen Fahren, Schilder oder Ampeln zu erkennen. Oder eben intelligente Drohnen, Pakete abzulegen.

 

[Martin Kraken]

Ich hätte den Text von der ARD von Tagesschau.de zuerst verlinken sollen, da wird das etwas genauer erklärt was die Dienstleister so machen:

Technologie und Zukunft

Aktuelle Nachrichten zu Technologien der Zukunft. Neueste Entwicklungen aus Raumfahrt, Robotik, Physik und Chemie, tagesaktuell und hintergründig.

www.tagesschau.de

Du kannst das ja mal den Medizin-Studenten sagen, die ohne Bezahlung hier bei uns Tumore markieren Aber im Ernst, self-supervised-learning ist der Kern moderner Modelle, auch bei Bild-KI. Wenn du es mir nicht glaubst, frag halt jemand anderen. Ich weiß, ist etwas schwieriger zu begreifen, aber es lohnt sich es zu versuchen es zu verstehen, bleib dran. Die heutigen Modelle sind nur möglich durch die gigantische Menge an ungelabelten Daten.