Revision 677: Local AI

Sep 2, 2025

Thomas Steiner, Google Developer Relations Engineer mit Fokus auf Chrome Built-in AI APIs, erklärt, wie lokale KI-Modelle direkt im Browser arbeiten können. Diese Technologien bieten Privatsphäre und Offline-Nutzung, während sie Ressourcen sparen. Das Gespräch beleuchtet auch die Herausforderungen der Integration in ältere Geräte und die Perspektiven anderer Browser-Hersteller. Weiterhin wird diskutiert, wie KI für kleinere Sprachen weiterentwickelt werden kann, um verschiedenen Kulturen gerecht zu werden. Ein spannender Einblick in die Zukunft der Künstlichen Intelligenz!

Ask episode

AI Snips

Chapters

Transcript

Episode notes

ANECDOTE

Psychologen-Use-Case Für Local AI

Thomas beschreibt den Psychologen, der handgeschriebene Notizen per OCR und AI ins gewünschte Reporting-Format überführt.
Er betont, dass es wichtig ist, dass diese Daten niemals den Browser verlassen.

INSIGHT

Pragmatische Modellgrößen Für Lokale Inferenz

Kleinere, feingetunte Modelle sind praxisgerechter für Client-Execution als riesige Cloud-Modelle.
Gemini Nano belegt etwa 4,29 GB und läuft auch auf älterer Hardware für lokale Inferenz.

INSIGHT

Hardware-Limits Bestimmen Verfügbarkeit

GPU-Unterstützung ist derzeit Voraussetzung, CPU-Ausführung und Techniken wie Early Exit sind in Arbeit.
Android-Geräte sind wegen Fragmentierung schwieriger zu unterstützen als Desktop-Plattformen.

Get the Snipd Podcast app to discover more snips from this episode

Get the app

Local AI, also KI-Modelle, die direkt auf dem Gerät laufen, statt in der Cloud, gewinnen aktuell enorm an Bedeutung. Einen neue Ansatz dafür bieten die neuen Chrome Built-in AI APIs, mit denen Entwickler:innen direkt im Browser auf mächtige KI-Funktionalitäten zugreifen können – ganz ohne eigene Modelle zu laden oder Cloud-Anfragen ausführen zu müssen. Diese lokal ausgeführten Modelle schützen die Privatsphäre, ermöglichen Offline-Nutzung und sparen Ressourcen – was für Nutzer:innen und Firmen gleichermaßen attraktiv sein kann.

Für diese Folge haben wir Thomas Steiner (Web / Mastodon / Bluesky), eingeladen, der nicht nur Google Developer Relations Engineer ist, sondern auch tief im Thema steckt. Gemeinsam mit Vanessa und Schepp spricht Thomas darüber, wie die Chrome APIs funktionieren, welche Features sie bieten und welche Herausforderungen es aktuell noch gibt. Außerdem beleuchten wir die Perspektiven anderer Browser-Hersteller und die Zukunft der Local AI im Web.

Schaunotizen

[00:01:37] Local AI

Warum ist Local AI wichtig? Thomas erklärt, dass lokale Ausführung vor allem Datensicherheit bedeutet – Daten werden nicht an einen Server geschickt. Obendrein sind entsprechende Anwendungen auch offline nutzbar und für Firmen günstiger, weil keine Cloud-Anfragen nötig sind. Der Browser stellt dabei ein generisches KI-Modell bereit, etwa Gemini Nano, das mit nur 4,29 GB auf der Festplatte auch auf Durchschnittsgeräten läuft.Die APIs sind einfach per wenigen Zeilen JavaScript nutzbar und bieten mächtige Funktionen, z.B. Übersetzung (Translation API), Schreiben (Writer API), Korrektur (Proofreader API) und generelle Eingabe per Prompt API. Multimediale Eingaben wie Bilder oder Audio werden unterstützt, was spannende Usecases erlaubt: zum Beispiel Audio transkribieren, bestimmte Audioinhalte filtern, Bilder für assistive Technologien beschreiben oder Personalausweise clientseitig auf Plausibilität prüfen.Ein Grund für mehrere dedizierte APIs statt nur einer Prompt API liegt darin, dass Gemini Nano ein vergleichsweise kleines, aber leistungsfähiges LLM ist. Das erlaubt die Nutzung auf Geräten mit begrenzter Hardware – aktuell läuft die KI auf GPU, aber es wird daran gearbeitet, dass sie auch auf CPU-only Geräten läuft, z.B. günstigen Android-Geräten. Techniken wie „early exit“ helfen, auf mobilen Geräten Energie zu sparen, indem man Antworten frühzeitig abschließt.

Derzeit werden entsprechend nur MacOS, Windows und Linux unterstützt, Chrome OS fehlt neben Android ebenfalls noch. iPad und iOS sind durch WebKit noch eingeschränkt, hier fehlen derzeit viele Freiheiten.

Wir diskutieren auch den Gegenwind von anderen Browserherstellern: Bedenken gibt es wegen möglichem Fingerprinting, obwohl die Modelle statisch sind und nicht lernen. Ein weiteres Thema ist die Testbarkeit nicht-deterministischer KI-Features, hier experimentiert man mit Quizfragen, um die Qualität zu prüfen. Außerdem sind die lokal verfügbaren Modelle derzeit auf Englisch beschränkt, was der globalen Web-Community nicht gerecht wird.

Zum Schluss wagen wir einen Ausblick: Wenn man den Anwendungsfall klar entkoppelt, z.B. reine Übersetzung, steigt die Chance, dass auch andere Browser wie Apple Safari eigene KI-APIs nachziehen. Die Entwicklung ist dynamisch, und mit Initiativen wie dem W3C Web Machine Learning Group und Firebase AI entstehen Standards für die Zukunft.

Revision 677: Local AI

Psychologen-Use-Case Für Local AI

Pragmatische Modellgrößen Für Lokale Inferenz

Hardware-Limits Bestimmen Verfügbarkeit

Schaunotizen

Links