Lokale KI oder Cloud: Was zu Ihrem Betrieb passt

Lokale KI verspricht Kontrolle über Modelle und Daten. Dafür übernehmen Sie Aufgaben, die bei einem Cloud-Angebot der Anbieter erledigt. Ob sich das lohnt, hängt von Ihren Arbeitsabläufen ab. Eine einzelne vertrauliche Datei, viele gleichzeitige Nutzer und ein dauerhaft erreichbarer Dienst stellen sehr unterschiedliche Anforderungen.

Für die Entscheidung sollten Sie deshalb Hardware, Modellqualität und Betrieb gemeinsam betrachten. Ein Modell, das auf einem Rechner startet, ist noch kein verlässlicher Teamdienst. Ebenso wenig bedeutet ein Cloud-Vertrag automatisch, dass jede Funktion vertrauliche Unterlagen verarbeiten darf. Dieser Beitrag gibt eine Entscheidungshilfe auf Grundlage offizieller Dokumentation. Wir haben keine eigenen Geräteleistungen oder Stromverbräuche gemessen. Prüfstand ist der 1. November 2026.

Beim lokalen Betrieb läuft die Berechnung auf einem Gerät oder Server, den Sie kontrollieren. Die Modellgewichte liegen dort vor. Eingaben können innerhalb Ihrer Infrastruktur bleiben, sofern auch die übrigen Komponenten entsprechend eingerichtet sind. Ein lokales Modell mit externer Websuche oder Cloud-Texterkennung ist bereits eine Mischform.

Ein Einzelplatz dient vor allem einer Person. Ein eigener Server stellt die Rechenleistung mehreren Anwendungen oder Mitarbeitern bereit. Eine verwaltete Cloud kann eigene Modellinstanzen betreiben, während eine öffentliche API einzelne Anfragen an einen Anbieterdienst sendet. Diese Unterschiede wirken sich auf Kosten, Zuständigkeiten und Ausfallrisiken aus.

Unsere Einordnung: Entscheiden Sie zuerst über den erforderlichen Datenweg. Danach lässt sich prüfen, welche Betriebsform ihn zuverlässig erfüllt. Die bloße Bezeichnung lokal oder europäisch ist dafür zu ungenau. Relevant ist, welche Inhalte tatsächlich wohin übertragen und dort gespeichert werden.

Die Modellgewichte benötigen Speicher. Hinzu kommen unter anderem Laufzeitdaten und der Speicher für die Verarbeitung des Kontexts. Bei einer Grafikkarte wird der verfügbare VRAM schnell zur Grenze. Der Hauptspeicher des Rechners ersetzt fehlenden Grafikspeicher je nach Laufzeit nur mit anderen Leistungsbedingungen.

Quantisierung reduziert die Genauigkeit bestimmter Zahlendarstellungen und kann dadurch den Speicherbedarf verringern. Sie ist kein kostenloser Leistungsgewinn für jede Aufgabe. Modell, Quantisierungsformat und Laufzeit müssen zusammenpassen. Eine Aussage wie dieses Modell läuft auf 16 GB lässt außerdem offen, wie lang die Anfragen sind und wie viele Nutzer gleichzeitig arbeiten.

Ollama erläutert in seiner FAQ zu Speicher und Parallelität, dass Kontextlänge und parallele Verarbeitung den zusätzlichen Speicherbedarf beeinflussen. Prüfen Sie deshalb die tatsächlich eingestellten Werte. Ein Test mit einer kurzen Frage bildet den Betrieb mit umfangreichen Dokumenten nicht ab.

OpenAI beschreibt gpt-oss-20b als Modell mit rund 21 Milliarden Gesamtparametern und ungefähr 3,6 Milliarden aktiven Parametern pro Token. Für gpt-oss-120b nennt der Hersteller rund 117 Milliarden insgesamt und 5,1 Milliarden aktive Parameter. Die Zahl aktiver Parameter allein bestimmt nicht den vollständigen Speicherbedarf der Gewichte.

Belege sind die offiziellen Model Card zu gpt-oss-20b, Model Card zu gpt-oss-120b und die jeweiligen 20b-Konfigurationsdateien sowie 120b-Konfigurationsdateien. Es handelt sich um Herstellerangaben, nicht um eigene Messungen.

Unsere Empfehlung: Kaufen Sie Hardware erst nach einem Versuch mit Ihrer Aufgabe. Legen Sie dabei Kontext, parallele Nutzer und eine maximal akzeptable Wartezeit fest. Ein erfolgreicher Start ist lediglich die erste technische Prüfung.

Lokale Modelle müssen nicht jede Aufgabe eines großen Cloud-Modells übernehmen. Für eine begrenzte Extraktion kann ein kleineres Modell ausreichen, während schwierige Analysefälle eine andere Lösung benötigen. Der allgemeine Modellvergleich hilft bei der Auswahl eines passenden Gegenkandidaten.

Nutzen Sie für beide Betriebsformen dieselben freigegebenen Aufgaben. Erfassen Sie korrekt gelöste Fälle, kritische Fehler und Zeit bis zum akzeptierten Ergebnis. Die reine Ausgabe von Tokens pro Sekunde beschreibt nur einen Teil der Arbeit. Ein schneller Entwurf mit erheblicher Nachbearbeitung kann insgesamt länger dauern.

Auch Stromkosten benötigen echte Annahmen oder Messungen. Rechnen Sie mit der zusätzlichen Leistungsaufnahme im vorgesehenen Betrieb und der tatsächlichen Laufzeit. Die maximale Leistungsangabe einer Komponente ist keine gemessene durchschnittliche Systemaufnahme. Ohne Messung bleibt die Stromposition eine Variable.

Für echten Offline-Betrieb müssen Gewichte, Laufzeit und benötigte Zusatzkomponenten bereits verfügbar sein. Eine Oberfläche kann lokale Modelle anzeigen und trotzdem externe Dienste verwenden. Prüfen Sie insbesondere Suchwerkzeuge, Dateiverarbeitung, Anmeldung, Fehlerberichte und Erweiterungen.

Ollama dokumentiert unter anderem OLLAMA_NO_CLOUD=1 zum Abschalten seiner Cloud-Funktionen. Die FAQ beschreibt außerdem die lokale Bindung des Dienstes. Diese Einstellungen sind produktbezogene Hilfen. Sie beweisen nicht, dass alle anderen Programme auf demselben Gerät ohne Netzwerk arbeiten.

Ein sinnvoller Abnahmeschritt ist deshalb ein kontrollierter Test der gesamten Anwendung ohne externe Verbindung. Funktioniert die Texterkennung weiterhin? Bleiben Dokumente auffindbar? Welche Fehlermeldungen treten auf? Halten Sie die Antworten fest, bevor Offline-Fähigkeit als Eigenschaft zugesagt wird.

Ein lokales Modell kann die Weitergabe von Eingaben an einen API-Anbieter vermeiden. Personenbezogene Daten bleiben trotzdem schutzbedürftig. Zugriffsrechte, Protokolle, Datensicherung und Löschung müssen zur Aufgabe passen. Die EDPB-Stellungnahme 28/2024 betont die notwendige Einzelfallbetrachtung von KI-Modellen. Eine pauschale Aussage zur Datenschutzkonformität einer Betriebsform lässt sich daraus nicht ableiten.

Bei öffentlich verfügbaren Gewichten gilt die konkrete Lizenz. Verwechseln Sie die Möglichkeit eines Downloads nicht mit uneingeschränkter kommerzieller Nutzung. Für gpt-oss-20b liegt beispielsweise eine Apache-2.0-Lizenzdatei vor. Für andere Modelle sind deren eigene Bedingungen maßgeblich. Auch die übrige Software und gegebenenfalls Zusatzdaten benötigen eine passende Nutzungserlaubnis.

Bei Cloud-Diensten sollten Sie Training, Speicherung und Datenresidenz einzeln prüfen. Die OpenAI-Datenkontrollen unterscheiden etwa nach Endpunkt und Aufbewahrung. Eine Aussage über die API darf nicht automatisch auf eine private Chat-Anwendung übertragen werden.

Ein eigener Dienst braucht einen Verantwortlichen für Updates und Sicherheitsmeldungen. Neue Laufzeiten oder Modellstände können Verhalten und Speicherbedarf verändern. Sichern Sie deshalb die verwendeten Versionen und wiederholen Sie relevante Tests vor einer Umstellung.

Für einen Teamserver kommen Zugriffssteuerung, verschlüsselte Übertragung und Überwachung hinzu. Planen Sie außerdem, was bei einem Geräteausfall passiert. Ein Ersatzmodell in der Cloud kann eine Ausweichmöglichkeit sein, benötigt aber vorab freigegebene Datenwege. Es sollte nicht erst im Störfall spontan eingerichtet werden.

Unsere Einordnung: Wartung ist ein laufender Teil der Lösung. Wer diese Verantwortung nicht übernehmen kann, sollte sie bei einem geeigneten Dienstleister oder verwalteten Angebot verankern und den Preis in die Gesamtrechnung aufnehmen.

Einzelanwender können mit einer begrenzten lokalen Aufgabe beginnen, sofern vorhandene Hardware geeignet ist. Kleine Teams profitieren häufig zunächst von einer verwalteten Anwendung mit passenden Geschäftskundenbedingungen. Besondere Anforderungen an Datenwege können einen eigenen Server oder eine sorgfältig geplante Mischform rechtfertigen.

Vergleichen Sie dafür die gesamten KI-Kosten einschließlich Betreuung. Wenn interne Dokumente die Hauptaufgabe bilden, ist außerdem die Architektur für RAG und Firmenwissen relevant. Unsere KI-Beratung unterstützt die Entscheidung anhand Ihrer Aufgaben und Daten. Einen Termin können Sie über Kontakt anfragen.