Lokale KI · On-Premise-LLM · Private KI
Eigene KI auf eigenem Server,
von der Hardware bis zur Anwendung.
Ich betreibe offene Sprachmodelle auf einem Server in Ihrem Haus oder Rechenzentrum. Weil ich auch Infrastruktur betreue, plane ich Hardware, Virtualisierung, Netzwerk und Sicherung zusammen mit der KI-Anwendung, die darauf läuft.
Projekt besprechenKostenloses Erstgespräch · Direkt mit Daniel Gläser
- 01Anfrage intern
- 02Modell im Haus
- 03Ergebnis prüfen
- 04Daten bleiben da
Lokal oder Cloud
Lokale KI lohnt sich nicht immer. Manchmal ist sie die einzig passende Lösung.
Die Entscheidung hängt von Datenart, Nutzungsmenge, Qualitätsanspruch und der Frage ab, wer den Betrieb übernimmt. Die Kosten beider Wege rechnet der Ratgeber zu lokaler und Cloud-KI durch.
Lokal ist sinnvoll, wenn …
Eingaben und Dokumente bleiben im eigenen Netz. Für die Nutzung des Modells fließen keine Daten an einen KI-Anbieter.
- sensible Daten verarbeitet werden, etwa Personal-, Gesundheits- oder Mandantendaten.
- Berufsgeheimnisträger wie Kanzleien, Steuerbüros oder Praxen KI einsetzen möchten.
- viele Mitarbeitende KI täglich nutzen und planbare Kosten wichtiger sind als Abrechnung pro Kopf.
- Systeme offline oder in einem vom Internet getrennten Netz arbeiten müssen.
Eine EU-Cloud ist besser, wenn …
Ein Cloud-Dienst mit passendem Vertrag und Hosting in der EU kann die einfachere Wahl sein. Datenflüsse und Vereinbarungen werden für den konkreten Einsatz geprüft.
- die Aufgabe die stärksten verfügbaren Modelle braucht, etwa für komplexes Schlussfolgern.
- KI nur gelegentlich genutzt wird und ein Server die meiste Zeit ungenutzt wäre.
- niemand Hardware, Updates und Überwachung übernehmen soll.
- ein schneller Start ohne Anschaffung im Vordergrund steht.
Bausteine
Was zu einer lokalen KI gehört.
Eine lokale KI besteht aus mehreren Schichten. Alle hier genannten Werkzeuge sind Beispiele; die Auswahl richtet sich nach Ihren Aufgaben und Ihrer Hardware.
Offene Sprachmodelle
Gängige offene Modellfamilien sind z. B. Qwen von Alibaba, Gemma von Google, Mistral, gpt-oss von OpenAI und Llama von Meta, jeweils in mehreren Größen. Die Lizenzen unterscheiden sich: Gemma 4, gpt-oss und viele Qwen- und Mistral-Modelle stehen unter Apache 2.0. Für die multimodalen Llama-4-Modelle gewährt Metas Nutzungsrichtlinie Unternehmen mit Hauptsitz in der EU keine Lizenzrechte. Ich prüfe die Lizenz für jedes Modell vor dem Einsatz.
Laufzeitumgebung
Die Laufzeit lädt das Modell und stellt es über eine Schnittstelle bereit. Ollama ist einfach einzurichten, llama.cpp läuft auch auf Hardware ohne große Grafikkarte, und vLLM ist auf viele gleichzeitige Anfragen auf GPU-Servern ausgelegt.
Oberfläche mit Benutzerverwaltung
Ihr Team arbeitet in einem Chat im Browser, z. B. mit Open WebUI. Benutzer, Gruppen und Rechte legen fest, wer welche Modelle und Wissensbestände nutzen darf. Die Anmeldung lässt sich je nach Umgebung an vorhandene Konten anbinden. Auch bei Open WebUI gilt eine eigene Lizenz, deren Bedingungen ich vorab prüfe.
Anbindung an Ihre Dokumente
Mit RAG durchsucht das Modell freigegebene Handbücher, Verträge oder Richtlinien und antwortet mit Quellenangabe. Das funktioniert lokal genauso wie in der Cloud, und die Dokumente bleiben auf Ihrem Server.
Zum KI-ChatbotAnbindung an Abläufe
Das lokale Modell kann auch in automatischen Abläufen arbeiten, etwa um E-Mails zu sortieren oder Dokumente zusammenzufassen. Die Schnittstelle der Laufzeit ist dafür der Anschlusspunkt.
Zur Workflow-AutomatisierungHardware & Infrastruktur
Die Hardware bestimmt, welche Modelle laufen.
Hier liegt mein Schwerpunkt: Ich plane die KI-Anwendung und die Infrastruktur darunter, statt beides getrennt bei verschiedenen Dienstleistern einzukaufen.
Speicher entscheidet über die Modellgröße
Ein Modell muss samt Kontext in den schnellen Grafik- oder gemeinsamen Arbeitsspeicher passen. Mehr Speicher erlaubt größere Modelle und längere Dokumente. Quantisierte Modelle brauchen weniger Speicher, verlieren dafür etwas an Genauigkeit.
Gleichzeitige Nutzung einplanen
Ob fünf oder fünfzig Personen gleichzeitig Anfragen stellen, verändert die Anforderungen an Rechenleistung, Speicher und Laufzeit. Wir dimensionieren nach realistischer Nutzung und testen das im Pilot.
Virtualisierung & Netzwerk
Die KI kann auf eigener Hardware laufen oder als virtuelle Maschine auf Proxmox, mit durchgereichter Grafikkarte. Im Netzwerk bekommt sie ein eigenes Segment und ist nur für berechtigte Geräte erreichbar.
Zur IT-InfrastrukturKosten ehrlich vergleichen
Anschaffung, Strom, Betreuung und die Frage, ob die Hardware ausgelastet ist, gehören in den Vergleich mit Cloud-Abos. Eine Beispielrechnung mit Annahmen steht im Ratgeber.
Kostenvergleich lesenBetrieb
Ein eigener KI-Server braucht Pflege wie jeder andere Server.
Updates
Betriebssystem, Treiber, Laufzeit und Oberfläche erhalten regelmäßig Updates. Neue Modellversionen testen wir an Ihren Aufgaben, bevor sie die alte ersetzen.
Überwachung
Auslastung, Speicher, Temperatur und Antwortzeiten werden überwacht. Fällt der Dienst aus oder läuft der Speicher voll, gibt es eine Benachrichtigung.
Datensicherung
Gesichert werden Konfiguration, Benutzerkonten, Chatverläufe soweit gewünscht und die Wissensbasis. Die Modelle selbst lassen sich neu herunterladen. Eine Wiederherstellung wird getestet.
Zugriff nur intern
Die KI ist nur im internen Netz erreichbar, von unterwegs über VPN. Sie ist nicht offen aus dem Internet erreichbar.
Rechte & Aufbewahrung
Wir legen fest, wer welche Wissensbestände sehen darf, wie lange Chatverläufe gespeichert werden und wer Protokolle einsehen kann.
Qualität & Datenschutz
Was lokale Modelle gut können und wo sie an Grenzen stoßen.
Für viele Büroaufgaben sind offene Modelle inzwischen gut brauchbar: Texte zusammenfassen, E-Mails entwerfen, Protokolle aufbereiten, übersetzen oder Fragen zu eigenen Dokumenten beantworten. Bei komplexem Schlussfolgern über viele Schritte liegen die stärksten Cloud-Modelle meist vorn. Ob ein lokales Modell für Ihre Aufgaben reicht, zeigt kein Ranking, sondern ein Pilot mit Ihren eigenen Beispielen.
Lokaler Betrieb vereinfacht den Datenschutz, weil für die Modellnutzung keine Daten an einen KI-Anbieter gehen. Er macht ihn aber nicht überflüssig. Rechtsgrundlage, Zugriffsrechte und Löschfristen werden für den konkreten Einsatz geprüft. Hat ein Dienstleister bei der Wartung Zugriff auf Daten, kann ein Auftragsverarbeitungsvertrag nötig sein. Viele Unternehmen kombinieren beides: sensible Aufgaben lokal, ausgewählte Spitzenaufgaben in einer EU-Cloud.
Zusammenarbeit
Ein klarer Weg in den Alltag.
Aufgaben und Daten klären
Anwendungsfälle, Datenarten, Nutzerzahl und Anforderungen an den Zugriff festhalten.
Modelle im Pilot testen
Passende offene Modelle an Ihren eigenen Aufgaben vergleichen, auf Test- oder Leihhardware.
Server aufbauen
Hardware, Virtualisierung, Netzwerksegment, Oberfläche, Rechte und Sicherung einrichten.
Betreiben und verbessern
Updates, Überwachung und Modellwechsel planen; Rückmeldungen des Teams auswerten.
Vor dem Start
Gute Fragen. Klare Antworten.
Was ist lokale KI?
Lokale KI heißt, dass ein Sprachmodell auf einem Server im eigenen Unternehmen oder in einem gemieteten Rechenzentrum läuft statt bei einem Cloud-Anbieter. Eingaben und Dokumente bleiben dadurch im eigenen Netz. Genutzt werden offene Modelle, deren Gewichte heruntergeladen und selbst betrieben werden dürfen.
Gibt es eine ChatGPT-Alternative für den internen Einsatz?
Ja. Mit einer Oberfläche wie Open WebUI und einem offenen Sprachmodell entsteht ein Chat im Browser, der ähnlich funktioniert und auf Ihrem Server läuft. Er erreicht nicht in jeder Aufgabe die Qualität der stärksten Cloud-Modelle, für Zusammenfassungen, Entwürfe und Fragen zu eigenen Dokumenten reicht er oft aus.
Welche Hardware brauche ich für ein eigenes Sprachmodell?
Entscheidend ist der schnelle Speicher: Grafikspeicher einer GPU oder gemeinsamer Arbeitsspeicher bestimmt, wie große Modelle laufen. Dazu kommen die Zahl gleichzeitiger Nutzer und die Länge der Dokumente. Ich dimensioniere die Hardware nach Ihren Aufgaben und teste vorab im Pilot.
Darf ich offene Modelle kommerziell nutzen?
Das hängt vom Modell ab. Viele aktuelle Modelle stehen unter Apache 2.0 und erlauben die kommerzielle Nutzung. Andere haben eigene Lizenzen mit Einschränkungen, die multimodalen Llama-4-Modelle etwa für Unternehmen mit Hauptsitz in der EU. Die Lizenz wird für jedes Modell vor dem Einsatz geprüft.
Ist lokale KI automatisch datenschutzkonform?
Nein. Sie vermeidet die Weitergabe an einen KI-Anbieter, die übrigen Pflichten bleiben aber bestehen, etwa Rechtsgrundlage, Zugriffskontrolle und Löschfristen. Das wird für den konkreten Einsatz geprüft.
Was kostet ein eigener KI-Server?
Kostenfaktoren sind Hardware, Strom, Einrichtung und laufende Betreuung. Wie die Rechnung im Vergleich zu Cloud-Abos aussieht, hängt vor allem von der Nutzerzahl ab. Wir starten mit einem Pilot, dessen Aufwand vor der Umsetzung vereinbart ist, und entscheiden danach über die Anschaffung.