Macs sind erstaunlich gut für KI - Lokale KI!

[Moogulator]

Das Video zeigt sehr schnelle KI Engines gegen allerdings auch sehr dicke Macs - nämlich Ultra und mit viel Speicher - weil genau das braucht KI ja, ich selbst hatte das auch mit meinem Max M1 probiert, der ja 64GB hat - damit geht schon was - aber hier noch mal etwas mehr, mit dem Ultra und absolut gut auch noch auf dem M4 bei niedrigem Verbrauch - besser als NVIDIA und PC Gerätschaften.

Apple ist nicht für KI bekannt, aber bei der Power und Performance wegen der M1 unified RAMs richtig weit vorn:

 

[Horn]

Keine Ahnung. Ich habe halt das Standard-ChatGPT-Abo. Und das läuft superschnell auf allen meinen Macs.

 

[Moogulator]

Das wird extern in einer Cloud gerechnet, in die gerade sämtliche schnelle RAM Chips investiert werden und deshalb ist das auch gerade unfassbar im Preis gestiegen. Wohl dem, der dieses Jahr keinen neuen Rechner braucht. Für die zahlst du das Geld. Die Firmen haben also ein Cloud-Konzept mit Abo. Man KÖNNTE auch auf Rechner setzen, die lokalen Engines sind natürlich schon schwächer als die besten neuen. Das muss man fairerweise sagen, siehe Video.

Hier geht es um lokale Ausführung der KI - das ist also komplett anders, weil man dafür viel RAM und Rechenpower braucht, es geht hier ja auch um In-RAM-Database und LLMs, die da recht große Speicher benötigen. Auf einem kleinen Macbook Air mit 16GB zB kommt man damit leider nicht weit. Noch weniger auf dem PC, weil da brauchst du schnelle RAM-starke NVIDIA oder andere Komponenten.

 

[lowcust]

Lokale KI ist leider immer noch langsam egal welche Konfiguration, aber beweist das es kein NVIDIA braucht und kein Monopol seitens NVIDIA gibt so sehr sich das Trump auch wünscht.

Freut mich am meisten.

 

[klangsulfat]

Da ich in puncto KI-Technik in etwa den Wissensstand eines Fünfjährigen habe: Wenn man eigene Hardware für eine eigene KI verwendet, von wo bekommt sie dann ihre Daten? Ich glaube nicht, dass sie aus dem Datenfluss in unserem heimischen WLAN allzu kluge Dinge lernen kann . Oder geht es da nur ums Rechnen?

 

[Kick]

Keine Ahnung. Ich habe halt das Standard-ChatGBT-Abo.

GPT.

Generative Pre-trained Transformer.

Es gibt kein Standard-Abo. Entweder hast Du eines der 3 Abo-Varianten, oder kein Abo und nutzt die kostenlose Version?

 

[wirkel]

... Oder geht es da nur ums Rechnen?

Im Prinzip geht beides. Du kannst ein neuronales Netz extern trainieren (lassen) und das trainierte Netz auf deinen Rechner importieren und damit zB Vorhersagen etc. berechnen. Du kannst aber grundsätzlich auch den zuweilen langwierigen Trainingsprozess komplett lokal machen, das Problem mit dem Zugang zu ausreichend vielen guten Datenpunkten hast du schon richtig erkannt. Unter dem Suchprompt "Open Data" oder auf der Website Kaggle wird man hier durchaus fündig.

 

[elbonzoseco]

Ein Fall unter vielen, durchschnittlich über alle Anwendungen sieht das schon wieder anders aus. Aber schön, dass es besser wird.

 

[rodin]

Interessante Entwicklung:

https://cocoon.org//

 

[Pete1]

Da ich in puncto KI-Technik in etwa den Wissensstand eines Fünfjährigen habe: Wenn man eigene Hardware für eine eigene KI verwendet, von wo bekommt sie dann ihre Daten? Ich glaube nicht, dass sie aus dem Datenfluss in unserem heimischen WLAN allzu kluge Dinge lernen kann . Oder geht es da nur ums Rechnen?

Das funktioniert so: Du installierst erst eine Software, mit der du ein Modell ausführen kannst. Also zB Ollama. Gibt aber auch andere. Diese Software ist nicht groß und kostet nix.

Und dann lädst du mit der Software ein Modell herunter. Auch das kostet nix. Davon gibts unzählige. Meist werden welche von den Platzhirschen genutzt. Also OpenAI, ... Diese Modelle sind meist zwischen 3 und 200 GB groß. Je größer, desto besser können die Texte formulieren und desto "intelligenter" sind die. Aber je mehr RAM bei dir im Rechner (v.a. auf der Grafikkarte) brauchen die. Und je größer das Modell, desto mehr Zeit brauchen sie um zu antworten.

Diese Modelle werden meist als offene Modelle bezeichnet.

Die Nutzung passiert dann völlig bei dir auf dem Rechner. Du kannst also dein Internet abschalten und es trotzdem nutzen.

Dh auch, der Datenschutz ist super! Du kannst mit personenbezogenen Daten arbeiten und nichts davon verlässt deinen Rechner. Du kannst zB irgendwelche sehr persönlichen Briefe zusammenfassen lassen oder was auch immer.

Bei den sonst meist genutzten Anwendungen wie ChatGPT gibst du alles, was du da eingibts aus der Hand. Irgendwann wissen die Anbieter so im Grunde fast alles über dich. Je nachdem, was du fragst.

Nachteil der offenen (=lokal genutzten) Modelle ist, dass sie viel Hardware bei dir zu Hause erfordern, und nicht ganz so leistungsfähig sind.

Aber es ist super, das mal auszuprobieren. Man versteht dadurch viel besser, wie Chatbots funktionieren, was ein Modell ist etc.

 

[einseinsnull]

Keine Ahnung. Ich habe halt das Standard-ChatGPT-Abo. Und das läuft superschnell auf allen meinen Macs.

Das läuft ja dann eben genau nicht auf deinen Macs. :)

Wir haben inzwischen lokale KI ausführung unter dem alten MacOS9, was dort noch nicht mal auf der GPU sondern auf dem PPC Prozessor läuft.
Da wartest du für eine komplexere Chatantwort dann schon auch mal 2 Minuten.

Aber was ich dazu eigentlich sagen wollte... siehe weiter unten.

Lokale KI ist leider immer noch langsam egal welche Konfiguration,

Mit Ausnahme von Chat ist Geschwindigkeit nicht das Merkmal, auf dass es dabei ankommt, es geht eher um die Kosten und die Möglichkeiten.

Natürlich ist online schneller im Sinne von Reaktionszeit.

Aber wenn Du einen online-service nutzt, dann nutzt Du den ja auch nicht 24/7.

Wenn man im großen Stile Bilder generieren will oder irgendwas Wissenschaftliches damit macht, und quasi permanent Eingaben abschickt und auch permanent was zurückhaben will, dann geht das bei einem 30-Euro-pro-Monat Dienst wenn Du Glück hast 30 Minuten und dann ist Schicht im Schacht. Eine Flatrate um 20 Hochleistungsgrakas zu mieten gibt es zwar auch, aber das willst Du nicht bezahlen müssen.
Da ist dann das M2 Laptop mit 16 - 48 (V)RAM die einzig sinnvolle Alternative. Das produziert zwar insgesamt weniger, weil es nur ein zwanzigstel so schnell ist, kosten aber nur 1000-2000 Euro zuzüglich 20 Euro für Strom.

Nicht zu vergessen der unsagbare Vorteil, dass Du ein Programm deiner Wahl benutzen kannst um den Workflow selbst zu gestalten.