Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Dank dir! Man ist immer so Anfänger, wie man sich fühlt ;-) Da ich "Anfängermusik" viel interessanter finde, will ich natürlich weiterhin versuchen in diesem Bereich aktiv zu sein. Wer will schon diesen Standard-Profi-Einheitsbrei hören.
ich denke, ich ruhe mich jetzt erstmal aus auf meinem...
Ich stehe heute hier – als jemand, der einmal nur einen Traum hatte, und jetzt vor euch als Weltstar. Doch dieser Weg, den ich gegangen bin, war niemals ein einsamer Weg. Ohne euch alle wäre ich niemals hier angekommen.
Ich danke meinen Fans, die vom ersten Tag an an mich geglaubt haben –...
Kindergeburtstag ist aber Next Level, da gehts ja ums Überleben. Das Offensichtliche blieb dir verborgen, weil du nur ein Tunnelblick für die Meldung (Grüße gehen raus an den Anzeigenhauptmeister) hattest. Mit Kontext fallen die Schuppen von den Augen.
Die Frage ist, ob es überhaupt noch ne Möglichkeit gab in Europa so etwas zu etablieren oder ob wir das Rennen in der digitalen Welt schon vor 20 Jahren verloren haben. Wer sollte die Summen stemmen die ein LLM kostet? Siemens? SAP? Lidl? Aldi?
Wobei man mit einer „guten“ Idee schnell wieder im...
Hach, er ist schon ein Warmduscher mein Chatgpt Agent ;-)
Ist schon cool, hat sich selbständig angemeldet, sogar die email zu verifizieren geklickt, einen random Text in einem random Thread geschrieben und den thread zu AI Musik gefunden und dort einen Text verfasst.
Die Zitrone wird heiß gewaschen ;-)
Das sagt Chatgpt:
Zitronen werden oft heiß gewaschen, vor allem wenn man ihre Schale verwenden möchte (z. B. für Abrieb in Kuchen oder Getränken). Dafür gibt es mehrere Gründe:
Entfernung von Wachs:
Viele Zitronen im Handel sind mit einer dünnen Schicht...
Das liegt daran, das reward learning häufig zum RLHF-Block gezählt wird, also ein Teil davon ist. Quasi der erste Schritt in diesem Block. Es ist eine didaktische Vereinfachung, in der Profi-Tabelle ist alles ok oder? Ich habe die Tabellen auch mit einem sehr einfachen Modell gemacht. Das man in...
Wenn ich es Frage kommt das:
Blumenkohl im Ofen zu backen ist einfach und ergibt ein köstliches, leicht nussiges Aroma. Hier ist eine einfache Methode:
———
Zutaten:
1 Kopf Blumenkohl
2–3 EL Olivenöl
Salz und Pfeffer
(optional) Paprikapulver, Knoblauchpulver, Currypulver, Kräuter oder...
Vielleicht hättest du ihn fragen sollen wie lange DU Blumenkohl im Ofen machst ;-)
„Blumenkohl im vorgeheizten Backofen (Ober-/Unterhitze: 200 °C/Umluft: 180 °C) ca. 30 Minuten backen. Zwischendurch einmal wenden.“
https://www.lecker.de/wuerziger-blumenkohl-aus-dem-backofen-129033.html
Nein...
Chatgpt kann auch alles auf Profi-Niveau:
Stage
Bezeichnung
Zielsetzung
Datenbasis
Optimierungsziel / Loss
1
Unsupervised Pretraining (Self-Supervised Language Modeling)
Erlernen von hochdimensionalen Sprachrepräsentationen, Weltwissen und Emergent Abilities durch Next-Token-Prediction...
Du hast völlig recht. Willst du vielleicht final mal zusammenfassen wie nun so ein Modell trainiert wird? Das wäre doch ein schöner Abschluss? Ich könnte auch Chatgpt um eine Zusammenfassung bitten?
Edit: Habs mal mit Chagpt zusammenstellen lassen, können wir uns darauf einigen?
Hier ist eine...
Das ist gut und sinnvoll und wir haben einige Open-Source Modelle und die Texte sind einfach alle Texte, die es frei verfügbar gibt. Du kannst dir z.B. vorstellen, dass alle Texte die jemals auf Twitter geschrieben wurden von Musks-AI genutzt werden. Man denkt jetzt zwar: Wirklich? Der ganze...
Ich habe hier eine kleine Indie-Band, mit der ich ein wenig verbandelt bin. Zwei junge Menschen, die ein wenig Musik machen. Hört mal rein, wäre schade, wenn sie den Mut verlieren weiter zu machen. Am liebsten natürlich über Spotify...ihr wisst schon Kettenreaktion ;-)...
Du kannst das ja mal den Medizin-Studenten sagen, die ohne Bezahlung hier bei uns Tumore markieren ;-) Aber im Ernst, self-supervised-learning ist der Kern moderner Modelle, auch bei Bild-KI. Wenn du es mir nicht glaubst, frag halt jemand anderen. Ich weiß, ist etwas schwieriger zu begreifen...
Nein, du missverstehst das. Es geht nur ums Finetuning, damit die KI nicht auf "Du Arschloch" mit "Du Idiot" antwortet, was nämlich viele Menschen so machen würden. Im Prinzip sucht ein Computer nach auffälligen Wörtern, diese Texte werden dann nach Kenia geschickt, wo ein Mensch beurteilt, ob...
Ja, Finetuning findet mit gelabelten Daten statt. Aber das sind nur sehr kleine Datensätze. Ich könnte mir aber vorstellen, dass Batches (ein LLM wird hintereinander mit verschieden Batches an Daten trainiert) labelt. Also das man zum Beispiel ein Batch hat nur mit wissenschaftlichen Texten und...
Wie genau die Datenbank der Trainingsdaten aufgebaut ist kann ich dir nicht sagen. Zunächst werden sicherlich erstmal alle Texte gesammelt. Dann werden sie in Token zerlegt. Das zerlegen ist wichtig um Platz zu sparen in der Embedded Matrix, weil es ja dort einen Eintrag pro Token gibt. Zum...
Es geht darum, ob LLMs eine Blackbox sind. Ob wir wissen, warum „Next word prediction“ mit Millionen von Texten am Ende solche Fähigkeiten wie Chatgpt entwickelt. Und ob wir noch nachvollziehen können warum LLMs auf einen bestimmten Promt eine bestimmte Antwort geben.
Es wird lächerlich. Diese Haarspalterei ist sinnlos.
Strohmann oder Dummheit? Nach seitenlanger Diskussion so eine Antwort. Irgendwann wirds peinlich. Informiere dich halt selbst. Die „Ordnung“ steckt in den Sätzen.
Yep, ob Nobelpreisträger oder AI-Forscher, das Forum weiß es besser. Wenn...
Auch eher für die Noobs, aber vielleicht findet es jemand spannend.
https://www.spiegel.de/politik/kuenstliche-intelligenz-es-gibt-eine-chance-von-20-prozent-dass-ki-in-eine-art-von-abgrund-fuehrt-a-e94bfed1-0646-4f4a-a1fb-ddca7c1e9e2a
Und um diese dämlich Diskussion ein für alle mal...
Der Text ist von 2007? Das wäre dann schon ein wenig veraltet. Google Transformer ist von 2017 und seit dem hat das Ganze Quantensprünge gemacht. Ob das noch mit einem Text zu vergleichen ist von 2007 weiß ich nicht. Backpropagation wirds schon gegeben haben, denn das ist schon seit den 80er im...
Ok, du hast gewonnen, die Trainingsdaten sind in einer Datenbank gespeichert.
Das hat zwar nix mit der eigentlichen Diskussion zu tun...aber wenn es dich glücklich macht.
Ich hoffe du verstehst, dass diese Datenbank nicht Teil der fertigen AI ist.
Du kannst uns ja jetzt mal erklären was...
Ich habe echt keinen Plan woher du diese Überheblichkeit nimmst.
Woher kommen die Daten? Also für Noobs wie mich kommen sie aus einer Mischung öffentlich verfügbarer Texte (z. B. Websites, Bücher, Wikipedia). Später kommen dann noch annotierte (also gelabelte) Texte beim Finetuning dazu. Für...
Ich glaube kaum, dass eine Quelle das so beschreibt. Ich hatte dir schon Videos verlinkt, zum Beispiel das des Nobelpreisträgers, aber du willst sie nicht anschauen. Es heist Backpropagation, weil es die Werte von hinten nach vorne anpasst. Du hast Evolution vorgeschlagen, also eine zufällige...
Puh, ich verstehe ja von wo du kommst. Du kennst dich aus mit Informatik, Logik, Programmen usw. Worum es geht ist, zu verstehen was ein wenig anders ist. Es gibt keine Datenbank, ein LLM speichert keine Wörter im herkömmlichen Sinne. Wie gesagt, gibt es eine sogenannte Embedded Matrix für den...
Zur Klärung; Es gibt den Programcode, die Backform und die Trainingsdaten, die Zutaten. Daraus entsteht ein Kuchen. Wir wissen wie die Backform aussieht, wir kennen die Zutaten und wissen wie der fertige Kuchen schmeckt. Was beim backen genau passiert wissen wir nicht. Wenn wir es ganz genau...
Nein, sie sind nicht gelabelt in LLMs. Das ist es ja gerade was ich dir versuche zu erklären. Zu Beginn ist jeder Token naiv, es besitzt random Zahlen. Also dem Wort „Katze“ wurden ein Vector mit random Zahlen zugeordnet. Jetzt wird das Modell mit Texten gefüttert, die nicht gelabelt sind...
Ein LLM baut keine Wörter aus Buchstaben. Jedes Wort ist vereinfacht gesagt ein Token, manchmal werden Wörter noch in mehrere Token aufgesplittet. Aber zur Vereinfachung sei jetzt mal jedes Wort ein Token. Für jedes dieser Token (Wörter) gibt es einen Inputknoten im Netz. Bei LLMs heisst dieser...
Irgendwann stellt sich halt die Frage was Intelligenz ist. LLMs erreichen bei Mensa-IQ-Tests etwa ein IQ von 135. Wobei sie an räumlichen, nicht textbasierten Aufgaben scheitern, dafür fast alle textbasierten Aufgaben zu 100% lösen können. Ein LLM decodiert die Welt nur anhand von Text. Wir...
Dieser Satz ergibt keinen Sinn. Das zentrale Training eines LLMs erfolgt ohne jedes Labeling, die Labels werden aus den Texten selbst erzeugt. Nur beim Fine-Tuning nutzt man Labels, also zusätzliche Information oder gezielte sehr spezifische Informationen für eine Aufgabe. Ändert aber nichts...
Eine neuronales Netz ist nicht programmiert. Es muss nicht raten, denn die Ziele befinden sich in den Texten selbst und nicht in der Software. Evolution ist eine schöne Analogie, ist technisch aber nicht richtig, denn Backpropagation ist keine Evolution. Jedoch werden evolutionsähnliche...