Macs sind erstaunlich gut für KI - Lokale KI!

[Moogulator]

Das Video zeigt sehr schnelle KI Engines gegen allerdings auch sehr dicke Macs - nämlich Ultra und mit viel Speicher - weil genau das braucht KI ja, ich selbst hatte das auch mit meinem Max M1 probiert, der ja 64GB hat - damit geht schon was - aber hier noch mal etwas mehr, mit dem Ultra und absolut gut auch noch auf dem M4 bei niedrigem Verbrauch - besser als NVIDIA und PC Gerätschaften.

Apple ist nicht für KI bekannt, aber bei der Power und Performance wegen der M1 unified RAMs richtig weit vorn:

 

[Horn]

Keine Ahnung. Ich habe halt das Standard-ChatGBT-Abo. Und das läuft superschnell auf allen meinen Macs.

 

[Moogulator]

Das wird extern in einer Cloud gerechnet, in die gerade sämtliche schnelle RAM Chips investiert werden und deshalb ist das auch gerade unfassbar im Preis gestiegen. Wohl dem, der dieses Jahr keinen neuen Rechner braucht. Für die zahlst du das Geld. Die Firmen haben also ein Cloud-Konzept mit Abo. Man KÖNNTE auch auf Rechner setzen, die lokalen Engines sind natürlich schon schwächer als die besten neuen. Das muss man fairerweise sagen, siehe Video.

Hier geht es um lokale Ausführung der KI - das ist also komplett anders, weil man dafür viel RAM und Rechenpower braucht, es geht hier ja auch um In-RAM-Database und LLMs, die da recht große Speicher benötigen. Auf einem kleinen Macbook Air mit 16GB zB kommt man damit leider nicht weit. Noch weniger auf dem PC, weil da brauchst du schnelle RAM-starke NVIDIA oder andere Komponenten.

 

[lowcust]

Lokale KI ist leider immer noch langsam egal welche Konfiguration, aber beweist das es kein NVIDIA braucht und kein Monopol seitens NVIDIA gibt so sehr sich das Trump auch wünscht.

Freut mich am meisten.

 

[klangsulfat]

Da ich in puncto KI-Technik in etwa den Wissensstand eines Fünfjährigen habe: Wenn man eigene Hardware für eine eigene KI verwendet, von wo bekommt sie dann ihre Daten? Ich glaube nicht, dass sie aus dem Datenfluss in unserem heimischen WLAN allzu kluge Dinge lernen kann . Oder geht es da nur ums Rechnen?

 

[Klanglager]

Keine Ahnung. Ich habe halt das Standard-ChatGBT-Abo.

GPT.

Generative Pre-trained Transformer.

Es gibt kein Standard-Abo. Entweder hast Du eines der 3 Abo-Varianten, oder kein Abo und nutzt die kostenlose Version?

 

[wirkel]

... Oder geht es da nur ums Rechnen?

Im Prinzip geht beides. Du kannst ein neuronales Netz extern trainieren (lassen) und das trainierte Netz auf deinem Rechner importieren und damit zB Vorhersagen etc. berechnen. Du kannst aber grundsätzlich auch den zuweilen langwierigen Trainingsprozess komplett lokal machen, das Problem mit dem Zugang zu ausreichend vielen guten Datenpunkten hast du schon richtig erkannt. Unter dem Suchprompt "Open Data" oder auf der Website Kaggle wird man hier durchaus fündig.