Da ich in puncto KI-Technik in etwa den Wissensstand eines Fünfjährigen habe: Wenn man eigene Hardware für eine eigene KI verwendet, von wo bekommt sie dann ihre Daten? Ich glaube nicht, dass sie aus dem Datenfluss in unserem heimischen WLAN allzu kluge Dinge lernen kann
. Oder geht es da nur ums Rechnen?
Das funktioniert so: Du installierst erst eine Software, mit der du ein Modell ausführen kannst. Also zB
Ollama. Gibt aber auch andere. Diese Software ist nicht groß und kostet nix.
Und dann lädst du mit der Software ein Modell herunter. Auch das kostet nix. Davon gibts unzählige. Meist werden welche von den Platzhirschen genutzt. Also OpenAI, ... Diese Modelle sind meist zwischen 3 und 200 GB groß. Je größer, desto besser können die Texte formulieren und desto "intelligenter" sind die. Aber je mehr RAM bei dir im Rechner (v.a. auf der Grafikkarte) brauchen die. Und je größer das Modell, desto mehr Zeit brauchen sie um zu antworten.
Diese Modelle werden meist als offene Modelle bezeichnet.
Die Nutzung passiert dann völlig bei dir auf dem Rechner. Du kannst also dein Internet abschalten und es trotzdem nutzen.
Dh auch, der Datenschutz ist super! Du kannst mit personenbezogenen Daten arbeiten und nichts davon verlässt deinen Rechner. Du kannst zB irgendwelche sehr persönlichen Briefe zusammenfassen lassen oder was auch immer.
Bei den sonst meist genutzten Anwendungen wie ChatGPT gibst du alles, was du da eingibts aus der Hand. Irgendwann wissen die Anbieter so im Grunde fast alles über dich. Je nachdem, was du fragst.
Nachteil der offenen (=lokal genutzten) Modelle ist, dass sie viel Hardware bei dir zu Hause erfordern, und nicht ganz so leistungsfähig sind.
Aber es ist super, das mal auszuprobieren. Man versteht dadurch viel besser, wie Chatbots funktionieren, was ein Modell ist etc.
