Ollama: KI lokal betreiben — und wann sich das lohnt

Ollama ist ein kostenloses Programm, das Sprachmodelle auf Ihrer eigenen Hardware ausführt. Es steht unter der MIT-Lizenz — die Modelle selbst aber nicht. Ob sich der lokale Betrieb lohnt, entscheidet sich an drei Fragen: Welche Daten dürfen den Betrieb nicht verlassen, welche Hardware steht bereit, und welches Modell dürfen Sie lizenzrechtlich überhaupt einsetzen?

Stand: 5. September 2026. Dieser Beitrag nennt Modellversionen, Lizenzen und Programmfunktionen mit Prüfdatum; geprüfte Ollama-Version ist 0.33.3. Die Modellbibliothek ändert sich monatlich, Lizenzen ändern sich mit jeder Modellgeneration. Prüfen Sie vor dem produktiven Einsatz die Lizenzangabe des Modells, das Sie tatsächlich verwenden.

1. Wann sich lokal wirklich lohnt — und wann nicht

Die meisten Anleitungen zu Ollama beginnen mit dem Installationsbefehl. Im Betrieb steht die Frage aber früher: Gehört diese Aufgabe überhaupt auf eigene Hardware? Lokale Modelle sind kein besserer Ersatz für gehostete Dienste, sondern eine andere Abwägung — Sie tauschen Antwortqualität und Bequemlichkeit gegen Kontrolle über die Daten.

Die folgende Einordnung stammt aus unseren Projekten, nicht aus einer Herstellerbroschüre. Sie ersetzt keine Einzelfallprüfung, sortiert aber die typischen Situationen zuverlässig vor:

Aus der Tabelle folgt ein Muster, das wir immer wieder sehen: Lokale Modelle gewinnen dort, wo Vertraulichkeit und Unabhängigkeit zählen — und verlieren dort, wo Spitzenqualität und viele gleichzeitige Nutzer gefragt sind. Die häufigste sinnvolle Antwort ist deshalb keine Entweder-oder-Entscheidung, sondern eine Aufteilung: sensible Vorgänge lokal, alles andere gehostet. Welche gehosteten Dienste dafür in Frage kommen und worauf Sie beim Vertrag achten, haben wir im Beitrag zu ChatGPT-Alternativen im Vergleich zusammengestellt.

Für den Vergleich mit dem Eigenbetrieb lohnt ein Blick auf die Token-Preise der gehosteten Dienste. Ein Wissensbot mit 4.000 Fragen im Monat kostet in unserer Beispielrechnung je nach Modellstufe zwischen gut 4 und gut 400 US-Dollar an Tokens, nach Herstellerpreisen vom Oktober 2026. Wie diese Rechnung entsteht und welche Posten außerhalb der Tokens anfallen, zeigt unser Beitrag zu den KI-Kosten im Mittelstand.

2. Was Ollama ist — und was es ausdrücklich nicht ist

Ollama ist eine Laufzeitumgebung: Sie lädt Sprachmodelle aus einer Bibliothek herunter, verwaltet sie auf der Platte, lädt sie bei Bedarf in den Speicher und stellt eine Schnittstelle bereit, über die andere Programme das Modell ansprechen. Die Software läuft auf macOS, Windows und Linux und steht selbst unter der MIT-Lizenz — laut Lizenzdatei im Quelltext-Verzeichnis.

Diese MIT-Lizenz ist der am häufigsten missverstandene Punkt. Sie gilt für das Programm, nicht für die Modelle. Wer über Ollama ein Modell lädt, schließt einen zweiten, völlig eigenständigen Lizenzvertrag mit dem Modellanbieter ab. Genau daraus entstehen die Probleme, um die es im nächsten Abschnitt geht.

Ebenso wichtig ist, was Ollama nicht leistet:

• Kein Modell. Ollama liefert die Laufzeit, das Können steckt im geladenen Modell. Die Qualität Ihrer Antworten hängt fast vollständig an dieser zweiten Entscheidung.
• Kein fertiger Assistent. Es gibt eine Kommandozeile, eine App und eine Schnittstelle. Ein Chatfenster für Ihr Team, Benutzerverwaltung, Protokollierung und Rechteprüfung bauen Sie oder ein Partner darum herum.
• Keine Wissensdatenbank. Das Modell kennt Ihre Handbücher, Preislisten und Verträge nicht. Dafür brauchen Sie eine Anbindung an Ihre Dokumente.
• Keine Datenschutz-Zusicherung. Lokale Verarbeitung ist eine technische Eigenschaft, keine rechtliche Bewertung. Mehr dazu weiter unten.
• Keine Zugriffskontrolle. Die lokale Schnittstelle verlangt keine Anmeldung — das ist offiziell dokumentiert und für die Netzwerkfreigabe entscheidend.

Ein Konto brauchen Sie für öffentliche Modelle übrigens nicht. Anmeldung verlangt Ollama nur für seine Cloud-Modelle, für das Veröffentlichen eigener Modelle und für private Downloads.

3. Die Lizenzfalle: Welches Modell Sie im Unternehmen einsetzen dürfen

Dieser Abschnitt ist der Grund, warum wir den Beitrag geschrieben haben. In den meisten deutschsprachigen Ratgebern zu lokaler KI kommt die Lizenzfrage schlicht nicht vor — dabei entscheidet sie vor Qualität und Hardware darüber, welches Modell überhaupt in Frage kommt. „Open Source" steht auf vielen Modellkarten. Es stimmt längst nicht überall.

Der Fall, den kaum jemand kennt: Llama 4 und die EU

Meta veröffentlicht die Llama-Modelle unter einer eigenen Community-Lizenz, nicht unter einer von der Open Source Initiative anerkannten Lizenz. Sie enthält Nutzungsbeschränkungen — bekannt ist etwa die Schwelle von 700 Millionen monatlich aktiven Nutzern, ab der Sie eine gesonderte Lizenz bei Meta beantragen müssen. Für den deutschen Mittelstand ist das ohne Belang.

Eine zweite Klausel ist es sehr wohl. In der Nutzungsrichtlinie zu Llama 4 steht wörtlich, dass die in Abschnitt 1(a) der Community-Lizenz gewährten Rechte nicht eingeräumt werden, wenn Sie eine Privatperson mit Wohnsitz in der Europäischen Union sind oder ein Unternehmen mit Hauptsitz dort — und zwar bezogen auf alle multimodalen Modelle, die zu Llama 4 gehören (Quelle: Meta, Llama 4 Acceptable Use Policy, geprüft am 5. September 2026). Ausgenommen sind ausdrücklich nur die Endnutzer eines Produkts, das solche Modelle bereits enthält.

Bei Ollama ist llama4 mit der Fähigkeit zur Bildverarbeitung gelistet, zählt also zu den multimodalen Modellen. Ein Unternehmen mit Sitz in Deutschland bekommt danach keine Lizenzrechte an diesem Modell — unabhängig davon, wie leicht sich der Download starten lässt.

Eine Beobachtung am Rande, die erklärt, warum das kaum jemand weiß: Die Klausel steht nicht im Lizenztext. Wer die Datei LICENSE in Metas Modell-Verzeichnis liest, findet die Europäische Union dort nur in der Definition des Vertragspartners. Die Beschränkung steht ausschließlich in der Acceptable Use Policy — die der Lizenzvertrag in Abschnitt 1(b)(iv) allerdings ausdrücklich einbezieht („hereby incorporated by reference into this Agreement"). Wer nur die Lizenz prüft, übersieht sie zwangsläufig.

Drei weitere Irrtümer, die im Umlauf sind

„Gemma steht unter Googles eigenen Bedingungen." Das galt bis Gemma 3. Bei Gemma 4 weist Ollama auf der Modellseite die Apache-Lizenz aus, bei Gemma 3 weiterhin die Gemma Terms of Use. Wer die Generation wechselt, wechselt also auch das Lizenzregime — hier zum Besseren.

„Mistral ist doch Apache 2.0." Pauschal falsch. Das Basismodell mistral trägt die Apache-Lizenz, codestral dagegen eine Non-Production License und mistral-large eine Research License. Beide schließen den produktiven Einsatz aus beziehungsweise beschränken ihn auf Forschung. Wer „Mistral ist Apache" gelesen hat und codestral in die Entwicklungsumgebung stellt, verletzt die Lizenz — ohne es zu merken.

„DeepSeek-R1 ist MIT." Das trifft auf die Modellgewichte zu. Die kleineren, für lokale Hardware realistischen Größen sind jedoch Destillate anderer Modellfamilien und erben deren Lizenz. Auf der Modellseite stehen deshalb zwei Lizenzangaben nebeneinander.

„frei" bedeutet in der Spalte Einordnung: eine anerkannte Open-Source-Lizenz ohne Einsatzbeschränkung. „lesen" heißt: der kommerzielle Einsatz ist möglich, die Bedingungen weichen aber vom Standard ab und gehören vor der Einführung geprüft. „gesperrt" heißt: für den produktiven Einsatz in einem deutschen Unternehmen ungeeignet oder nicht lizenziert.

Zwei Praxisregeln haben sich bewährt. Erstens: Die Lizenz hängt am Tag, nicht am Modellnamen. mistral:7b und codestral:22b stammen vom selben Anbieter und stehen unter völlig verschiedenen Bedingungen. Zweitens: Halten Sie eine kurze Liste der freigegebenen Modelle vor und prüfen Sie sie quartalsweise nach. Der Aufwand liegt bei Minuten, der Schaden eines übersehenen Lizenzwechsels nicht.

Wir lassen bewusst eine Angabe weg: Zu devstral-2 kursiert eine Umsatzgrenze, ab der die Nutzungsrechte entfallen. Belegen ließ sich bei unserer Prüfung nur das Lizenz-Label „Modified MIT License" — den geänderten Volltext gab die Modellseite nicht her. Genau deshalb gilt: Lesen Sie bei jeder abweichenden Lizenz die Änderung selbst, bevor Sie produktiv gehen.

4. Hardware: eine Überschlagsrechnung, die Sie nachrechnen können

Zur Hardwarefrage kursieren viele Zahlen, deren Herkunft niemand mehr nennen kann. Eine viel zitierte Faustregel aus der Ollama-Dokumentation gibt es heute nicht mehr — sie stand in älteren Fassungen der Projektbeschreibung und wurde entfernt. Wir zitieren sie deshalb nicht.

Stattdessen rechnen wir selbst, und Sie können es nachvollziehen. Die Downloadgrößen der Modelle stehen öffentlich auf den Modellseiten. Am 5. September 2026 haben wir sie ausgelesen: mistral:7b lädt 4,4 GB für 7 Milliarden Parameter, gemma4:12b 7,6 GB für 12 Milliarden, phi4:14b 9,1 GB für 14 Milliarden, gemma3:27b 17 GB für 27 Milliarden und gemma4:31b 20 GB für 31 Milliarden. Geteilt ergibt das durchweg 0,63 bis 0,73 Gigabyte je Milliarde Parameter.

Warum dieser Wert so stabil ist, lässt sich erklären: Die Modelle liegen in vierfach verkürzter Zahlendarstellung vor. Vier Bit je Gewicht wären 0,5 Gigabyte je Milliarde; die zusätzlichen rund 0,15 Gigabyte entfallen auf Skalierungswerte je Zahlenblock und auf einzelne Schichten, die in höherer Genauigkeit gespeichert bleiben. Als Merkregel arbeiten wir mit rund 0,6 bis 0,7 Gigabyte je Milliarde Parameter.

Zwei Einschränkungen gehören dazu. Erstens ist das unsere eigene Überschlagsrechnung aus veröffentlichten Dateigrößen, keine Herstellerangabe. Zweitens sind es Dateigrößen — der Arbeitsspeicherbedarf im Betrieb liegt höher, weil der Kontext hinzukommt. Ollama wählt die Kontextlänge nach verfügbarem Videospeicher: unter 24 GiB vier Tausend Zeichenblöcke, zwischen 24 und 48 GiB zweiunddreißig Tausend, ab 48 GiB zweihundertsechsundfünfzig Tausend. Reicht es knapp, lässt sich der Zwischenspeicher für den Kontext verkleinern; die Dokumentation nennt dafür zwei Stufen mit etwa der Hälfte beziehungsweise einem Viertel des Bedarfs.

Grafikkarte, Hauptspeicher oder Apple Silicon?

Der wichtigste Unterschied liegt nicht in der Rechenleistung, sondern darin, wo das Modell liegt. Passt es vollständig in den Videospeicher einer Grafikkarte, antwortet es zügig. Muss ein Teil in den normalen Hauptspeicher ausgelagert werden, bricht das Tempo spürbar ein — Sie merken es sofort, weil der Text sichtbar langsamer erscheint. Ollama unterstützt NVIDIA-Karten ab Rechenfähigkeit 5.0 und Treiberversion 550.

Macs mit Apple-Silicon-Prozessoren sind ein Sonderfall, der oft unterschätzt wird: Prozessor und Grafikeinheit teilen sich denselben Speicher. Ein Mac mit 32 Gigabyte kann damit Modelle laden, für die auf einem PC eine teure Grafikkarte nötig wäre. Als Mindestversion nennt Ollama macOS Sonoma, unterstützt werden die M-Serie mit Prozessor und Grafikeinheit sowie ältere Intel-Macs mit reiner Prozessorberechnung.

Reiner Prozessorbetrieb funktioniert und ist für kleine Modelle bis etwa vier Milliarden Parameter durchaus brauchbar. Für alles Größere gilt: technisch möglich, im Alltag zäh. Konkrete Geschwindigkeitswerte nennen wir hier bewusst nicht — sie hängen an Modell, Quantisierung, Kontextlänge, Treiberversion und Prozessorgeneration so stark, dass jede Zahl ohne den kompletten Prüfaufbau irreführend wäre. Testen Sie mit Ihrem Modell auf Ihrer Maschine; eine halbe Stunde beantwortet die Frage besser als jede Tabelle. Wenn eigene Hardware ausscheidet, ist eine gemietete Umgebung der pragmatische Weg — wie wir Systeme in solchen Umgebungen betreiben, zeigen wir am Beispiel unseres Cloud-Hostings für JTL-Wawi.

5. Installation und Zugriff im Netzwerk

Die Installation selbst ist unspektakulär und in wenigen Minuten erledigt. Ollama läuft auf macOS ab Sonoma, auf Windows 10 ab Version 22H2 sowie auf Linux. Für macOS und Windows gibt es Installationsprogramme, für Linux und macOS zusätzlich ein Installskript, für Windows einen PowerShell-Befehl. Für den Serverbetrieb stellt das Projekt ein offizielles Docker-Abbild ollama/ollama bereit; für AMD-Grafikkarten existiert eine eigene Variante.

Interessanter als die Installation ist die Frage, wer auf den Dienst zugreifen darf. Hier lohnt genaues Hinsehen.

Die Voreinstellung ist eng — und das ist gut so

Ollama bindet sich laut Dokumentation standardmäßig auf 127.0.0.1, Port 11434. Der Dienst ist damit nur auf dem Rechner selbst erreichbar. Wer ihn im Netzwerk verfügbar machen will, ändert die Bindeadresse über die Umgebungsvariable OLLAMA_HOST — unter macOS über launchctl setenv, unter Linux über einen Environment=-Eintrag im Systemdienst, unter Windows als Benutzervariable.

Genau an dieser Stelle enden fast alle Anleitungen. Wir setzen einen Satz dazu, der uns wichtig erscheint: Die lokale Schnittstelle von Ollama kennt keine Authentifizierung. Das steht so in der offiziellen Dokumentation. Wer die Bindung also auf alle Netzwerkschnittstellen umstellt, stellt damit einen Dienst ins Netz, den jeder im selben Netzsegment ohne Anmeldung ansprechen kann — mitsamt der Möglichkeit, Modelle zu laden und Anfragen zu stellen.

Diese Schlussfolgerung ist unsere eigene Einordnung, keine Herstellerwarnung — die Dokumentation warnt an keiner Stelle davor. Sie folgt aber zwingend aus zwei dokumentierten Tatsachen. Praktisch bedeutet das: Legen Sie einen vorgeschalteten Webserver davor, der Anmeldung und Verschlüsselung übernimmt, und beschränken Sie den Zugriff über die Firewall auf bekannte Adressen. Die Dokumentation zeigt selbst ein passendes Nginx-Beispiel. Ergänzend regelt die Variable OLLAMA_ORIGINS, welche Webanwendungen den Dienst aus dem Browser heraus ansprechen dürfen.

Die Schnittstellen: mehr Kompatibilität als erwartet

Für die Anbindung eigener Anwendungen bietet Ollama drei Wege. Die eigene Schnittstelle mit den Endpunkten /api/generate und /api/chat ist der direkteste. Daneben steht eine Kompatibilitätsschicht zur OpenAI-Schnittstelle mit den Endpunkten /v1/chat/completions, /v1/completions, /v1/responses, /v1/models und /v1/embeddings. Sie deckt nach eigener Angabe Teile der OpenAI-Schnittstelle ab, nicht deren vollen Umfang.

Das ist betrieblich der wichtigste Punkt dieses Abschnitts: Viele Programme, die heute mit einem gehosteten Dienst sprechen, lassen sich allein durch das Umbiegen der Serveradresse auf ein lokales Modell umstellen. Ein Schlüssel wird zwar erwartet, aber nicht ausgewertet. Zusätzlich existiert eine Kompatibilitätsschicht für das Nachrichtenformat von Anthropic unter /v1/messages. Als „experimentell" ist übrigens keine dieser Schichten mehr gekennzeichnet — eine ältere Einschätzung, die sich hartnäckig hält.

6. Die Betriebsschalter, die über den Lokalbetrieb entscheiden

Ollama wird meist als reines Lokalwerkzeug beschrieben. Das ist seit der Einführung der Cloud-Funktionen nicht mehr vollständig richtig — und diese Lücke zwischen verbreiteter Darstellung und tatsächlichem Verhalten ist der Grund, warum dieser Abschnitt hier steht.

• Reiner Lokalbetrieb. Ollama kennt laut Dokumentation einen Modus, in dem sich die Cloud-Funktionen abschalten lassen; dabei entfallen die Cloud-Modelle und die Websuche. Der Schalter heißt disable_ollama_cloud in der Datei ~/.ollama/server.json und lässt sich alternativ über die Umgebungsvariable OLLAMA_NO_CLOUD=1 setzen. Nach dem Neustart weist das Protokoll den Zustand ausdrücklich aus. Für den datenschutzgetriebenen Einsatz gehört dieser Schalter in die Grundkonfiguration, sonst ist die Aussage „bleibt lokal" nicht abgesichert.
• Cloud-Modelle erkennen. Modellnamen, die auf -cloud enden, laufen nicht auf Ihrer Hardware. Ein Mitarbeiter, der einen solchen Namen aus einem Forumsbeitrag kopiert, schickt seine Eingaben unbemerkt aus dem Haus. Nehmen Sie diese Regel in Ihre interne Anleitung auf.
• Gleichzeitige Anfragen. Die Variable OLLAMA_NUM_PARALLEL steht laut Dokumentation ab Werk auf 1: Ein Modell bearbeitet eine Anfrage zur Zeit. Für einen einzelnen Entwickler reicht das, für zehn Kolleginnen und Kollegen nicht. Höhere Werte kosten zusätzlichen Arbeitsspeicher, denn der Bedarf skaliert mit der Zahl paralleler Anfragen und der Kontextlänge.
• Warteschlange und Überlast. OLLAMA_MAX_QUEUE begrenzt die wartenden Anfragen, voreingestellt sind 512. Ist die Schlange voll, antwortet der Server mit dem Fehlercode 503. Wer den lokalen Dienst produktiv einbindet, sollte diesen Fall in der aufrufenden Anwendung behandeln.
• Gleichzeitig geladene Modelle. OLLAMA_MAX_LOADED_MODELS legt fest, wie viele Modelle nebeneinander im Speicher liegen dürfen; voreingestellt ist das Dreifache der Grafikkartenzahl, bei reinem Prozessorbetrieb drei. Jedes zusätzliche Modell belegt eigenen Speicher.
• Ablageort der Modelle. OLLAMA_MODELS verlegt das Modellverzeichnis. Auf Servern gehört es fast immer auf ein eigenes Laufwerk — zweistellige Gigabyte-Beträge je Modell summieren sich schnell.
• Aktualisierungen. Unter macOS und Windows lädt Ollama Aktualisierungen selbst herunter und wendet sie nach einem Neustart an. Unter Linux führen Sie das Installskript erneut aus. Für Serverbetrieb heißt das: Aktualisierungen gehören in Ihren regulären Wartungsablauf, nicht auf den Zufall.
• Protokolle. Die Dokumentation verweist für das Auslesen der Protokolle auf ihren Abschnitt zur Fehlersuche. Für den Unternehmenseinsatz reicht das nicht: Wer nachweisen will, wer wann welche Anfrage gestellt hat, protokolliert das in der vorgeschalteten Anwendung — Ollama liefert diese Nachvollziehbarkeit nicht mit.

7. Grenzen gegenüber den großen Cloud-Modellen

An dieser Stelle erwarten Sie vermutlich eine Vergleichstabelle mit Prozentwerten. Die bekommen Sie hier nicht, und das ist eine bewusste Entscheidung. Wir halten einen Zahlenvergleich zwischen lokal betreibbaren und gehosteten Spitzenmodellen für nicht seriös darstellbar. Die Gründe sind konkret:

• Die Vergleichspaare laufen nicht auf derselben Maschine. Die offenen Modelle, die in Herstellertabellen mit den großen Cloud-Modellen mithalten, haben mehrere hundert Milliarden Parameter. In der Ollama-Bibliothek existieren sie nur als Cloud-Variante — bei Qwen 3.5 etwa ist die 397-Milliarden-Größe ausschließlich als Cloud-Tag verfügbar, lokal endet die Reihe bei 122 Milliarden. Ein Vergleich stellt also etwas gegenüber, das Sie gar nicht bei sich betreiben können.
• Die Werte sind selbstberichtet. Fast alle Vergleichszahlen stammen von den Modellanbietern selbst, unter selbst gewählten Bedingungen.
• Die Testbedingungen weichen ab. Ob ein Modell schrittweise „nachdenken" darf, ob es Werkzeuge nutzen kann und wie lang der Kontext ist, verschiebt Ergebnisse deutlich — oft mehr als der Modellwechsel selbst.
• Der Stand hält nicht. Modellversionen wechseln im Monatsrhythmus. Eine Zahl, die wir heute veröffentlichen, wäre im Winter falsch, ohne dass jemand es merkt.
• Es fehlt der passende Maßstab. Für Ihre eigentliche Frage — wie gut beantwortet ein Modell deutschsprachige Fachfragen aus meinem Betrieb? — gibt es keinen veröffentlichten Test.

Was sich stattdessen belastbar sagen lässt: Für Zusammenfassungen, Textentwürfe, Umformulierungen, Klassifizierung und Auszüge aus Dokumenten sind lokal betreibbare Modelle im Alltag brauchbar. Bei langen Gedankenketten, anspruchsvollem Programmieren und schwierigen Fachfragen ist der Abstand zu den großen gehosteten Modellen deutlich spürbar. Und dieser Abstand hat Folgen: Ein kleineres Modell erfindet eher Details, wenn es an die Grenze seines Wissens kommt. Warum das kein Fehler, sondern Bauart ist, haben wir im Beitrag zu KI-Halluzinationen ausgeführt.

Der belastbare Weg ist deshalb immer derselbe: Nehmen Sie zwanzig bis fünfzig echte Aufgaben aus Ihrem Betrieb, deren richtige Antwort Sie kennen, und lassen Sie sie durch zwei bis drei Kandidatenmodelle laufen. Diese halbe Stunde sagt mehr als jede Rangliste.

8. Datenschutz ehrlich betrachtet

Zu diesem Thema kursiert eine Formulierung, die selbst Googles automatisch erzeugte Suchantwort noch wiedergibt: Bei lokalen Modellen würden keine Daten an externe Dienste gesendet, Eingaben und Ergebnisse blieben vollständig auf dem eigenen System. Diese Aussage war einmal richtig. Heute ist sie bedingt richtig — und die Bedingung nennt kaum jemand.

Belegbar ist die Angabe des Anbieters, dass Ollama lokal läuft und man Eingaben und Daten im Lokalbetrieb nicht sehe. Im selben Abschnitt steht aber auch, dass bei Nutzung der cloudgehosteten Modelle Eingaben und Antworten verarbeitet werden und dass grundlegende Kontodaten sowie begrenzte Nutzungsdaten erhoben werden. Daraus folgt für die Praxis:

• Lokale Verarbeitung heißt: keine Übermittlung an einen Modellanbieter. Das ist ein echter, gewichtiger Unterschied zu jedem gehosteten Dienst — mehr aber auch nicht.
• Die Cloud-Funktionen gehören abgeschaltet, sonst gilt der erste Punkt nur so lange, wie niemand versehentlich ein Cloud-Modell startet.
• Modelle kommen aus dem Internet. Der Download ist einmalig und enthält keine Ihrer Daten — auf einem abgeschotteten Netz muss er trotzdem geplant werden.

Was durch den lokalen Betrieb nicht gelöst wird, ist der größere Teil: Sie bleiben verantwortliche Stelle für jede Verarbeitung. Zu klären bleiben die Rechtsgrundlage, die Frage, welche Beschäftigten auf welche Inhalte zugreifen dürfen, Löschfristen für Eingaben und Ergebnisse sowie eine Protokollierung, die Auskunftsersuchen beantworten kann. Läuft der Server nicht bei Ihnen, sondern in einer gemieteten Umgebung, kommen Serverstandort und ein Auftragsverarbeitungsvertrag mit dem Betreiber hinzu. Sobald personenbezogene Daten im Spiel sind, ist außerdem zu prüfen, ob eine Datenschutz-Folgenabschätzung nötig wird.

Deshalb schreiben wir hier bewusst nicht „DSGVO-konform". Konform ist nie ein Werkzeug, sondern immer eine konkrete Verarbeitung in einem konkreten Betrieb. Lokale Modelle nehmen einen schwierigen Punkt von der Liste — die Liste selbst bleibt. Wie die Abwägung auf der gehosteten Seite aussieht, mit Auftragsverarbeitung und Drittlandtransfer, haben wir im Beitrag zu ChatGPT und Datenschutz im Unternehmen aufgeschlüsselt.

Ein Punkt der KI-Verordnung gilt unabhängig davon, wo das Modell läuft: Artikel 4 verpflichtet Anbieter und Betreiber von KI-Systemen, Maßnahmen zu ergreifen, die die Entwicklung der KI-Kompetenz ihres Personals unterstützen. Wer glaubt, mit dem lokalen Betrieb diese Pflicht zu umgehen, irrt — sie hängt am Einsatz, nicht am Serverstandort. Wichtig für die Einordnung: Artikel 4 ist nicht bußgeldbewehrt. Im Bußgeldkatalog des Artikels 99 wird er nicht aufgeführt; dort stehen unter anderem die Artikel 16, 22 bis 26, 31 und 50 (Stand: 5. September 2026). Die Pflicht besteht, sie ist aber nicht unmittelbar sanktionierbar.

9. Eigene Dokumente: RAG auf lokaler Basis

Die häufigste Erwartung an ein lokales Modell lautet: „Es soll unsere Handbücher kennen." Das kann kein Modell von sich aus, egal wie groß es ist. Ihre Preisliste, Ihre Arbeitsanweisungen und Ihre Verträge waren nie Teil des Trainings.

Der etablierte Weg dorthin heißt Retrieval Augmented Generation: Zu jeder Frage werden zuerst die passenden Abschnitte aus Ihren freigegebenen Dokumenten gesucht und dem Modell mitgegeben; das Modell formuliert die Antwort dann aus diesen Abschnitten und nennt die Fundstelle. Ollama liefert dafür zwei Bausteine — die Textausführung und, über den Endpunkt für Einbettungen, die Berechnung der Suchvektoren. Der Rest ist Aufbauarbeit: Dokumente aufbereiten, in sinnvolle Abschnitte teilen, in einer Vektordatenbank ablegen, Berechtigungen abbilden.

Wie dieser Aufbau funktioniert, wo die Grenzen liegen und warum die Dokumentenpflege die eigentliche Arbeit ist, haben wir ausführlich im Beitrag zu Retrieval Augmented Generation beschrieben. Hier genügt der Hinweis: Die Entscheidung für ein lokales Modell und die Entscheidung für eine eigene Wissensdatenbank sind zwei getrennte Projekte, und die zweite ist die aufwendigere.

10. Einführung in sechs Schritten

So gehen wir vor, wenn ein Betrieb lokale Modelle ernsthaft prüfen möchte. Die Reihenfolge ist bewusst gewählt: Die Schritte, die ein Projekt scheitern lassen, kommen zuerst.

1. Den Anwendungsfall benennen und begrenzen. Nicht „wir wollen KI", sondern eine konkrete Aufgabe mit messbarem Ergebnis: Serviceantworten entwerfen, Ausschreibungsunterlagen zusammenfassen, Produkttexte umformulieren. Ein enger Zuschnitt entscheidet über den Erfolg mehr als die Modellwahl.
2. Die Lizenzfrage vor der Modellwahl klären. Legen Sie fest, welche Lizenztypen für Ihren Betrieb überhaupt in Frage kommen, und leiten Sie daraus eine kurze Freigabeliste ab. Erst danach vergleichen Sie Modelle — sonst verlieben Sie sich in eines, das Sie nicht einsetzen dürfen.
3. Auf vorhandener Hardware messen. Installieren Sie Ollama auf einem bestehenden Rechner und lassen Sie zwanzig bis fünfzig echte Aufgaben durch zwei oder drei freigegebene Modelle laufen. Diese Messung entscheidet, ob sich eine Anschaffung überhaupt lohnt.
4. Den Betrieb aufsetzen, nicht nur die Installation. Bindeadresse festlegen, vorgeschalteten Webserver mit Anmeldung und Verschlüsselung einrichten, Firewall-Regeln setzen, Cloud-Funktionen abschalten, parallele Anfragen und Modellablage dimensionieren, Aktualisierungen einplanen.
5. Die Regeln aufschreiben. Welche Daten dürfen hinein, welche nicht? Wer darf zugreifen? Was wird protokolliert und wie lange aufbewahrt? Welche Modelle sind freigegeben? Eine Seite genügt — aber sie muss existieren, bevor der erste Mitarbeiter das Werkzeug nutzt.
6. Erst dann ausbauen. Anbindung an eigene Dokumente, Anschluss an Fachsysteme, weitere Anwendungsfälle. Jeder Ausbauschritt bekommt seine eigene Messung — sonst merken Sie erst spät, dass die Qualität gesunken ist.

Auffällig ist, wie wenig dieser Ablauf mit Ollama selbst zu tun hat. Das Werkzeug ist der einfachste Teil. Auch bei der KI-gestützten Softwareentwicklung wiederholt sich dieses Muster — die Technik ist schnell da, die Folgekosten entstehen im Betrieb, wie wir im Beitrag zu Vibe Coding im Unternehmen gezeigt haben.

11. Fazit: Erst die Lizenz, dann die Hardware, dann das Modell

Ollama macht den lokalen Betrieb von Sprachmodellen einfach — so einfach, dass die schwierigen Fragen leicht übersehen werden. Drei davon entscheiden über Erfolg oder Ärger: Welche Lizenz trägt das Modell, das Sie einsetzen wollen? Reicht Ihr Speicher für die Modellgröße, die Sie brauchen? Und haben Sie die Cloud-Funktionen abgeschaltet, wenn Sie mit „bleibt lokal" argumentieren?

Die Lizenzfrage ist dabei die unterschätzteste. Dass Meta europäischen Unternehmen die Rechte an den multimodalen Llama-4-Modellen nicht einräumt, steht in keinem gängigen deutschen Ratgeber — obwohl es die Modellauswahl für jeden hiesigen Betrieb unmittelbar verändert. Wer die Reihenfolge Lizenz, Hardware, Qualität einhält, spart sich diese Überraschung.

Und bei aller berechtigten Begeisterung für lokale Modelle: Sie lösen ein Problem, nämlich die Übermittlung an einen Modellanbieter. Verantwortlichkeit, Zugriffsrechte, Protokollierung und die Pflege der eigenen Dokumente bleiben Ihre Aufgabe. Genau diesen Teil begleiten wir — von der Modellauswahl über den abgesicherten Betrieb bis zur Anbindung Ihrer eigenen Dokumente.

Hinweis: Dieser Beitrag ist allgemeine Information und ersetzt keine Rechtsberatung. Die Angaben zu Modell-Lizenzen und zur KI-Verordnung geben den Stand vom 5. September 2026 wieder; Lizenztexte werden von den Anbietern jederzeit geändert. Prüfen Sie vor dem produktiven Einsatz die Lizenz des konkreten Modells und ziehen Sie für Ihren Einzelfall anwaltliche Beratung heran.

12. Häufige Fragen zu Ollama und lokaler KI

Was ist Ollama genau?

Ollama ist eine Laufzeitumgebung für Sprachmodelle auf eigener Hardware. Sie lädt Modelle aus einer Bibliothek, verwaltet sie und stellt einen HTTP-Server bereit, über den Programme das Modell ansprechen. Die Software selbst steht unter der MIT-Lizenz. Ollama ist kein Modell, kein fertiger Chatbot und keine Wissensdatenbank.

Ist Ollama kostenlos?

Ja. Die Software steht unter der MIT-Lizenz und lässt sich frei herunterladen und auch kommerziell nutzen. Ein Konto brauchen Sie für öffentliche Modelle nicht. Kosten entstehen an anderer Stelle: Hardware, Strom und Betriebsaufwand. Die Cloud-Modelle von Ollama sind davon getrennt zu betrachten (Stand: 5. September 2026).

Welches Modell sollten Unternehmen mit Ollama einsetzen?

Entscheiden Sie zuerst nach Lizenz, dann nach Hardware, erst zuletzt nach Qualität. Unkritisch sind Apache 2.0 und MIT, darunter Gemma 4, Qwen 3.5, gpt-oss und Phi 4. Community-, Research- und Non-Production-Lizenzen schränken den kommerziellen Einsatz ein. Prüfen Sie immer die Lizenz des genauen Tags (Stand: 5. September 2026).

Welche Hardware brauche ich für Ollama?

Das hängt an der Modellgröße. Als Überschlag rechnen wir mit rund 0,6 bis 0,7 Gigabyte je Milliarde Parameter allein für die Gewichte, dazu kommt der Speicher für den Kontext. Ein Modell mit 12 Milliarden Parametern belegt so etwa acht Gigabyte. Eine Grafikkarte mit passendem Videospeicher ist deutlich schneller als reiner Hauptspeicher.

Wie installiere ich Ollama?

Ollama läuft auf macOS ab Sonoma, auf Windows 10 ab 22H2 und auf Linux. Für macOS und Windows gibt es Installationsprogramme, für Linux und macOS zusätzlich ein Installskript, für Windows einen PowerShell-Befehl. Im Rechenzentrum nutzen Sie das offizielle Docker-Abbild (Stand: 5. September 2026).

Bleiben meine Daten bei Ollama wirklich lokal?

Nur wenn Sie die Cloud-Funktionen abschalten. Ollama bietet inzwischen auch Cloud-Modelle und eine Websuche an. Setzen Sie den Schalter für den reinen Lokalbetrieb, dann protokolliert der Dienst beim Start ausdrücklich, dass die Cloud deaktiviert ist. Die Modelle selbst werden einmalig aus dem Internet geladen.

Ist lokale KI automatisch DSGVO-konform?

Nein. Lokale Verarbeitung nimmt einen Punkt von der Liste: Es gibt keine Übermittlung an einen Modellanbieter. Alles andere bleibt zu regeln — Rechtsgrundlage, Zugriffsrechte, Löschfristen und Protokollierung. Mieten Sie Server, kommen Standort und Auftragsverarbeitung hinzu. Verantwortlich bleiben Sie. Dieser Beitrag ersetzt keine Rechtsberatung.

Darf ein deutsches Unternehmen Llama 4 einsetzen?

Bei den multimodalen Varianten sagt Metas Nutzungsrichtlinie ausdrücklich Nein: Firmen mit Hauptsitz in der EU werden die Lizenzrechte nicht eingeräumt. Die Klausel steht nicht im Lizenztext, sondern in der Acceptable Use Policy, die der Vertrag einbezieht. Bei Ollama ist Llama 4 als bildfähig gelistet (Stand: 5. September 2026).

Können mehrere Mitarbeitende gleichzeitig einen Ollama-Server nutzen?

Nicht in der Grundeinstellung. Ollama verarbeitet je Modell standardmäßig eine Anfrage gleichzeitig, weitere warten in einer Warteschlange, und bei Überlast antwortet der Server mit einem Fehler. Für den Mehrbenutzerbetrieb erhöhen Sie die Zahl der parallelen Anfragen — das kostet zusätzlichen Arbeitsspeicher und will geplant sein.

13. Quellen & offizielle Informationen

Alle wurden am 5. September 2026 abgerufen und inhaltlich gegengelesen. Externe Quellen öffnen in einem neuen Tab.

• Meta — Llama 4 Acceptable Use Policy — enthält die Klausel, nach der die Lizenzrechte an den multimodalen Llama-4-Modellen Personen mit Wohnsitz und Unternehmen mit Hauptsitz in der Europäischen Union nicht eingeräumt werden (Primärquelle des Anbieters).
• Meta — Llama 4 Community License Agreement — bezieht die Nutzungsrichtlinie in Abschnitt 1(b)(iv) ausdrücklich in den Vertrag ein und nennt in Abschnitt 2 die Schwelle von 700 Millionen monatlich aktiven Nutzern.
• Ollama — Häufige Fragen (Dokumentation) — Bindeadresse und Standardport, Freigabe im Netzwerk, Abschalten der Cloud-Funktionen, Datenschutzangabe des Anbieters, Grenzwerte für parallele Anfragen, Warteschlange und geladene Modelle, Ablageort der Modelle, Aktualisierungen sowie das Beispiel für einen vorgeschalteten Webserver.
• Ollama — Authentifizierung der Schnittstelle — Beleg dafür, dass die lokale Schnittstelle keine Anmeldung verlangt und wofür ein Konto nötig ist.
• Ollama — Kompatibilität zur OpenAI-Schnittstelle — belegt den Umfang der Kompatibilität und die verfügbaren Endpunkte.
• Ollama — Unterstützte Grafikkarten — Mindestanforderungen an Rechenfähigkeit und Treiberversion bei NVIDIA-Karten.
• Ollama — Kontextlänge — die je nach verfügbarem Videospeicher voreingestellten Kontextlängen.
• Ollama — Modellbibliothek — Ausgangspunkt für die Lizenz- und Größenangaben der Modelltabelle sowie für die Downloadgrößen, aus denen wir den Speicherbedarf zurückgerechnet haben.
• Ollama auf GitHub — Quelltext, MIT-Lizenzdatei, Installationswege, Docker-Abbild und der Versionsstand 0.33.3 vom 2. September 2026.
• Artikel 4 der KI-Verordnung — KI-Kompetenz (deutscher Wortlaut) — Grundlage der Aussage, dass Anbieter und Betreiber Maßnahmen zur KI-Kompetenz ergreifen.
• Artikel 99 der KI-Verordnung — Sanktionen — Bußgeldkatalog; Artikel 4 wird dort nicht aufgeführt, weshalb wir ihn nicht als sanktionierbar darstellen.
• Verordnung (EU) 2024/1689 (KI-Verordnung) im Amtsblatt — amtliche Fundstelle des Verordnungstextes.