Private KI im Unternehmen: lokale LLMs auf eigenen Servern (DSGVO-Leitfaden)

Die meisten Unternehmen nutzen KI längst – die Frage ist nur, auf wessen Servern. Jeder Prompt, der in einen öffentlichen Chatbot kopiert wird, schickt Unternehmensdaten an Dritte. Bei Kundendaten, Verträgen, Finanzzahlen oder unveröffentlichten Marketingplänen ist das ein Risiko, das viele Rechts- und Compliance-Abteilungen nicht mehr eingehen wollen.

Private KI im Unternehmen ist die Alternative: derselbe Typ Assistent, aber innerhalb Ihrer eigenen Infrastruktur. Lokale KI ist damit die naheliegende ChatGPT-Alternative mit Datenschutz als Grundprinzip. Dieser Leitfaden zeigt, was das konkret bedeutet – welche Anwendungsfälle am meisten profitieren, welche offenen Modelle gut genug sind, welche Hardware ein On-Premise-LLM braucht, wie die Kosten im Vergleich zur Cloud aussehen, wie Antworten korrekt und sicher bleiben und wie Sie KI DSGVO-konform betreiben.

Was ist private KI?

Private KI ist KI, die vollständig in einer Infrastruktur läuft, die Sie kontrollieren. Sprachmodell, Dokumente, Suchindex und Chat-Oberfläche liegen auf Ihren eigenen Servern oder in einer dedizierten privaten Cloud. Prompts und Antworten verlassen Ihr Netzwerk nicht, und niemand trainiert mit Ihren Daten eigene Modelle.

In der Praxis heißt das meist: ein Open-Weight-Modell – also ein Modell, dessen Gewichte Sie herunterladen und selbst betreiben können – kombiniert mit einer Suchschicht über Ihre eigenen Daten. Ihr Team bekommt einen Assistenten wie ChatGPT; IT und Datenschutz behalten die volle Kontrolle darüber, wohin jedes Byte geht.

Warum suchen Unternehmen eine ChatGPT-Alternative mit Datenschutz?

Die Gründe, die wir am häufigsten hören, sind erstaunlich einheitlich:

• Schatten-KI. Mitarbeitende kopieren schon heute interne Daten in öffentliche Chatbots, weil es keine freigegebene Alternative gibt. Verbote helfen selten – ein besseres internes Werkzeug schon.
• Datenschutz und Kundenverträge. DSGVO, NDAs und Kundenvereinbarungen verbieten oft, bestimmte Daten an Dritte weiterzugeben – vor allem außerhalb der EU.
• Anbieterabhängigkeit. Preise, Bedingungen, Rate-Limits und Modellverhalten können sich über Nacht ändern. Workflows, die auf einem Anbieter aufbauen, brechen dann mit.
• Kosten im großen Maßstab. Abrechnung pro Token ist günstig für Experimente und teuer für den unternehmensweiten Alltagseinsatz.

Für welche Anwendungsfälle lohnt sich private KI im Unternehmen?

Private KI zahlt sich dort aus, wo zwei Dinge zusammenkommen: Daten, die das Unternehmen nicht verlassen sollen, und eine Aufgabe, die täglich wiederkehrt. Das sind die fünf Anwendungsfälle, die wir am häufigsten sehen – und was jeder davon tatsächlich braucht:

Interne Wissenssuche ist meist das beste erste Projekt: Der Nutzen ist sofort sichtbar („Wo ist die aktuelle Reiserichtlinie?“), das Risiko gering, und sie zwingt dazu, Datenquellen und Berechtigungen zu ordnen – Vorarbeit, die jeder spätere Anwendungsfall ohnehin braucht.

Vertragsanalyse funktioniert am besten als Extraktion statt als offener Chat: Das Modell füllt feste Felder – Vertragsparteien, Laufzeit, Kündigungsfrist, Haftungsgrenze, ungewöhnliche Klauseln –, und ein Mensch prüft das Ergebnis. Bei HR und Finanzen zählt private KI am meisten, denn diese Daten gehören zu den sensibelsten im Unternehmen. Antwortentwürfe im Support sind oft der erste Schritt zu einem Agenten, der direkt mit Kunden spricht; wie das im Produktivbetrieb aussieht, beschreiben wir in unserem Artikel über unseren KI-Support-Agenten im Live-Betrieb, der 80 % der Anfragen löst.

Sind offene Modelle gut genug für den Geschäftsalltag?

Für die meisten Alltagsaufgaben: ja. Open-Weight-Modellfamilien wie Llama, Mistral, Qwen, Gemma und DeepSeek haben den Abstand zu den großen proprietären Modellen deutlich verkleinert. Zurück liegen sie vor allem beim anspruchsvollsten mehrstufigen Schlussfolgern – und damit verbringt ein interner Assistent selten seinen Tag.

Zwei Hinweise aus der Praxis. Erstens unterscheiden sich die Lizenzen der Modellfamilien – prüfen Sie die Lizenz vor dem kommerziellen Einsatz. Zweitens ist das Modell nur die halbe Miete: Eine gute Suche über Ihre Dokumente beeinflusst die Antwortqualität stärker als ein etwas größeres Modell.

Auch die Sprache zählt. Wenn Ihre Dokumente und Nutzer deutschsprachig sind, testen Sie die Modelle auf Deutsch – gute Ergebnisse auf Englisch übertragen sich nicht automatisch, und gerade kleinere Modelle schwanken je nach Sprache deutlich.

Welche Hardware braucht ein On-Premise-LLM?

Weniger, als die meisten erwarten. Der entscheidende Engpass ist der GPU-Speicher. Er hängt von der Modellgröße ab und davon, wie viele Personen das System gleichzeitig nutzen. Als grobe Orientierung für quantisierte Modelle:

Quantisierung speichert die Modellgewichte mit weniger Bits. Das senkt den Speicherbedarf erheblich, kostet aber in der Regel nur wenig Qualität. Lange Dokumente und viele gleichzeitige Nutzer belegen ebenfalls Speicher – ein Modell, das im Test „passt“, kann unter echter Last trotzdem an seine Grenzen kommen.

Für viele mittelständische Unternehmen reicht für den Start ein gut ausgestatteter GPU-Server. Wir dimensionieren das Setup anhand Ihrer echten Aufgaben und Nutzerzahlen, bevor Hardware gekauft wird – manchmal ist eine private Cloud-Instanz der bessere erste Schritt.

Wie sieht ein Setup für lokale KI aus?

Datenquellen – Dokumente, Wikis, Tickets, CRM- oder Marketingdaten – werden angebunden und indexiert. Stellt jemand eine Frage, sucht das System die relevanten Passagen heraus, und das lokale Modell formuliert daraus eine Antwort mit Quellenangaben. Eine einfache Chat-Oberfläche macht das für alle nutzbar, und die Zugriffskontrolle sorgt dafür, dass jeder nur Antworten aus Dokumenten erhält, die er auch lesen darf. Jede Anfrage wird protokolliert.

Serving-Werkzeuge wie Ollama oder vLLM betreiben das Modell, eine Vektordatenbank übernimmt die Suche. Nichts davon erfordert, Daten nach außen zu senden. Soll der Assistent Aktionen auslösen – ein Ticket anlegen, einen CRM-Eintrag aktualisieren –, kann das ein selbst gehostetes Automatisierungstool ebenfalls innerhalb Ihres Netzwerks erledigen; die Optionen vergleichen wir in n8n vs. Make vs. Zapier.

Wie bleiben die Antworten einer privaten KI korrekt?

Die meisten falschen Antworten verursacht nicht das Modell, sondern der Suchschritt, der ihm die falschen Passagen liefert – oder gar keine. Genauigkeit entsteht aus drei Dingen:

1. Qualität der Suche

Dokumente werden in sinnvolle Abschnitte zerlegt – nach Überschrift oder Klausel, nicht nach willkürlicher Zeichenzahl – und mit Metadaten wie Datum, Abteilung und Dokumenttyp indexiert. Die Kombination aus Stichwortsuche und semantischer (Vektor-)Suche hilft bei Artikelnummern, Vertragsnummern und Namen, die eine rein semantische Suche gern übersieht. Tabellen, Preislisten und gescannte PDFs brauchen eine Sonderbehandlung; an ihnen scheitern Standard-Setups am häufigsten. Und veraltete Versionen gehören aus dem Index, sonst zitiert der Assistent bereitwillig die Richtlinie vom letzten Jahr.

2. Quellenangaben und „keine Quelle, keine Antwort“

Jede Antwort sollte auf die Passagen verlinken, auf denen sie beruht, damit Nutzer sie mit einem Klick prüfen können. Genauso wichtig: Findet die Suche nichts Relevantes, sollte der Assistent das sagen, statt zu improvisieren. Ein klares „Dazu habe ich in den verfügbaren Dokumenten nichts gefunden“ schafft mehr Vertrauen als eine flüssig formulierte Vermutung.

3. Ein Evaluations-Set

Sammeln Sie echte Fragen aus Ihrem Team – zusammen mit der richtigen Antwort und dem Dokument, aus dem sie stammt. Jedes Kandidatenmodell, jede Prompt-Änderung und jedes Index-Update läuft gegen dieses Set, bevor es live geht. So wird aus „das neue Modell fühlt sich besser an“ ein messbarer Vergleich – und Verschlechterungen fallen auf, bevor Ihre Nutzer sie bemerken.

Wie sichern Sie ein privates KI-System über das Modell hinaus ab?

Daten auf eigenen Servern zu halten, löst die Frage nach Dritten. Alles andere löst es nicht. Vier Bereiche verdienen so viel Aufmerksamkeit wie die Modellwahl:

• Berechtigungen in der Suche. Zugriffsregeln müssen beim Durchsuchen der Dokumente greifen – nicht, indem man das Modell bittet, „Dokumente zu ignorieren, die der Nutzer nicht sehen darf“. Liefert die Suche eine vertrauliche Personalakte, verwendet das Modell sie auch. Berechtigungen aus Fileshares, Wiki oder Dokumentenmanagement sollten in den Index übernommen und synchron gehalten werden.
• Prompt Injection. Dokumente, E-Mails und Webseiten können Text enthalten, der wie eine Anweisung an die KI wirkt. Ein privates Modell ist dafür genauso anfällig wie ein öffentliches. Behandeln Sie gefundene Inhalte als Daten, geben Sie dem Assistenten nur die Werkzeuge und Rechte, die er wirklich braucht, und verlangen Sie bei folgenreichen Aktionen eine Bestätigung durch einen Menschen.
• Protokollierung. Logs sind für Audits und Fehlersuche unverzichtbar – aber Prompts und Antworten enthalten oft selbst personenbezogene Daten. Legen Sie fest, wer Logs lesen darf, wie lange sie aufbewahrt werden und wie sie bei Auskunfts- und Löschanfragen behandelt werden.
• Updates. Modell, Serving-Software, Vektordatenbank und Oberfläche brauchen regelmäßig Patches. Laden Sie Modelle nur aus vertrauenswürdigen Quellen, prüfen Sie sie und lassen Sie nach jedem Update Ihr Evaluations-Set laufen.

Wie wir Daten, Zugriffe und Hosting in unseren eigenen Projekten handhaben, beschreiben wir auf unserer Sicherheitsseite.

Ist lokale KI DSGVO-konform?

Eine lokal betriebene KI ist nicht automatisch DSGVO-konform – sie räumt aber einige der schwierigsten Fragen aus dem Weg:

• Keine Drittlandübermittlung. Verlassen die Daten Ihre EU-Infrastruktur nie, gibt es keine Übermittlung an einen KI-Anbieter außerhalb der EU, die Sie rechtfertigen müssten.
• Kein zusätzlicher Auftragsverarbeiter für die Inferenz. Der Modellanbieter sieht Ihre Daten nie – für diesen Schritt ist also kein weiterer Auftragsverarbeitungsvertrag nötig.
• Datenminimierung und Sicherheit in Ihrer Hand. Sie entscheiden, was indexiert wird, wer Zugriff hat und wie lange Logs gespeichert werden.

Sie brauchen weiterhin eine Rechtsgrundlage für die Verarbeitung, klare Zugriffsregeln, ein Löschkonzept und – bei Verarbeitungen mit hohem Risiko – eine Datenschutz-Folgenabschätzung. Nutzen Sie einen privaten Cloud-Anbieter, ist dieser Auftragsverarbeiter und braucht wie jeder Hosting-Dienstleister einen AV-Vertrag. Der Betriebsrat hat in der Regel ein Mitbestimmungsrecht, wenn ein System geeignet ist, Verhalten oder Leistung von Beschäftigten zu überwachen – und Nutzungsprotokolle können genau das. Spricht der Assistent nicht mit Mitarbeitenden, sondern mit Kunden, greifen zudem die Transparenzpflichten des EU AI Act; mehr dazu in unserem Leitfaden zu Artikel 50 für Chatbots.

Wir entwickeln das Setup gemeinsam mit Ihrem Datenschutzbeauftragten. (Dies ist eine allgemeine Information und keine Rechtsberatung.)

Was kostet private KI im Vergleich zur Cloud-KI?

Beide Modelle haben unterschiedliche Kostenstrukturen – welches günstiger ist, hängt davon ab, wie intensiv Sie KI nutzen.

Cloud-KI wird pro Token oder pro Nutzerlizenz abgerechnet. Es gibt keine Anfangsinvestition, und für Experimente oder gelegentliche Nutzung ist das kaum zu schlagen. Die Kosten wachsen aber mit der Nutzung: Lizenzen pro Nutzer skalieren mit der Mitarbeiterzahl, Token-Kosten mit jeder Frage, jedem langen Dokument und jedem automatisierten Workflow. Über Preisänderungen entscheidet der Anbieter.

Private KI verwandelt den Großteil davon in Fixkosten: Hardware oder eine dedizierte Cloud-Instanz, einmalige Einrichtung (Konnektoren, Suchindex, Oberfläche, Zugriffskontrolle, Evaluation) und laufende Wartung (Updates, Monitoring, Pflege des Index). Steht das System, kostet jede weitere Frage fast nichts – bis die Kapazität Ihrer Hardware erreicht ist.

Als grobe Faustregel gilt: Je mehr Menschen täglich mit KI arbeiten und je mehr Daten jede Anfrage verarbeitet, desto stärker spricht alles für private KI. Ein fünfköpfiges Team, das Ideen testet, ist mit Cloud-Werkzeugen meist besser bedient. Ein Unternehmen, in dem Hunderte Mitarbeitende täglich Dokumente durchsuchen oder Workflows Tausende Datensätze verarbeiten, erreicht dagegen oft den Punkt, an dem feste Kapazität günstiger ist als Abrechnung pro Nutzung. Vergessen Sie die versteckten Kosten auf beiden Seiten nicht: interne Zeit für Betrieb und Updates bei der privaten Lösung, ungenutzte Lizenzen und Integrationsaufwand bei der Cloud.

Lokal, private Cloud oder hybrid – was passt zu Ihnen?

Hybrid ist oft die pragmatische Lösung: Kunden- und Personaldaten bleiben bei einem lokalen Modell, unkritische Aufgaben dürfen ein großes Cloud-Modell nutzen – mit klaren, durchgesetzten Regeln, was wohin darf. „Durchgesetzt“ ist dabei das entscheidende Wort: Die Weiterleitung sollte im System geschehen, abhängig von Datenquelle oder Nutzergruppe – und nicht davon, dass sich Mitarbeitende merken, welches Werkzeug sie wofür verwenden dürfen.

Welche Fehler passieren bei privater KI am häufigsten?

• Hardware kaufen, bevor getestet wurde. Die richtige Modellgröße hängt von Ihren Aufgaben, Sprachen und Nutzerzahlen ab. Erst testen, dann die Hardware dimensionieren.
• Automatisch das größte Modell wählen. Ein mittleres Modell mit guter Suche schlägt meist ein großes Modell mit schlechter Suche – und braucht deutlich weniger Hardware.
• Alles auf einmal indexieren. Alte Entwürfe, Dubletten und veraltete Versionen verschlechtern die Antworten. Starten Sie mit kuratierten, aktuellen Quellen.
• Berechtigungen auf später verschieben. Zugriffskontrolle nachträglich in ein laufendes System einzubauen, ist mühsam – und eine einzige durchgesickerte Gehaltsliste zerstört das Vertrauen in das ganze Projekt.
• Kein Evaluations-Set. Ohne echte Testfragen kann niemand sagen, ob eine Änderung die Dinge besser oder schlechter gemacht hat.
• Es nur als IT-Projekt behandeln. Datenschutzbeauftragte, gegebenenfalls der Betriebsrat und die Teams, die das System nutzen sollen, gehören von Anfang an an den Tisch.
• Kein Verantwortlicher nach dem Start. Jemand muss Quellen aktuell halten, fehlgeschlagene Antworten prüfen und Updates planen. Fehlt das, sinkt die Qualität schleichend.

Wie starten Sie mit lokaler KI im Unternehmen?

Der schnellste Weg ist ein kleiner, echter Pilot statt einer großen Plattformentscheidung. Die 50 Fragen aus Schritt drei werden zu Ihrem Evaluations-Set, die Zugriffsregeln aus Schritt zwei zum Berechtigungsmodell für jeden weiteren Anwendungsfall. Wenn Sie herausfinden möchten, welches Modell und welche Hardware zu Ihrem Anwendungsfall passen, vereinbaren Sie ein kostenloses Gespräch oder erfahren Sie mehr über unseren Service für private KI.