SustainedCloudWas braucht KI auf eigener Hardware?
Lokale KI bedeutet, Sprachmodelle und Assistenten auf eigenen Servern zu betreiben, statt Ihre Daten an einen US-Cloud-Dienst zu schicken. Offene Modelle (Llama, Mistral, Qwen und andere) sind für den Geschäftsalltag gut genug geworden: Texte entwerfen, zusammenfassen und Fragen aus den eigenen Dokumenten beantworten. Was Sie dafür brauchen, ist kein Rechenzentrum, sondern ein richtig dimensionierter GPU-Server und Klarheit über den Anwendungsfall.
Warum überhaupt lokal
Kundendaten, Verträge und interne Dokumente verlassen das Haus nicht. Das macht aus den schwierigsten Datenschutzfragen Nicht-Fragen: kein Drittlandtransfer, keine Anbieter-AGB zum Prüfen, keine Abrechnung pro Nutzer oder pro Anfrage, die mit der Nutzung wächst. Ein lokales Modell kostet im zwölften Monat dasselbe wie im ersten, und es arbeitet weiter, wenn die Internetleitung es nicht tut.
Die Hardware, realistisch betrachtet
Der entscheidende Faktor ist der Grafikspeicher. Ein Team-Assistent für ein Unternehmen mit 10 bis 50 Personen läuft gut auf einem einzelnen Server mit einer modernen GPU mit 24 bis 48 GB VRAM; Dokumentensuche (RAG) braucht eher schnellen NVMe-Speicher und RAM als mehr GPU-Leistung. Die typische Investition liegt im niedrigen fünfstelligen Bereich, dazu kommen einige hundert Euro monatlich für Strom und Betrieb. Größere Teams skalieren über zusätzliche GPUs, nicht über ein anderes Konzept.
Die Datenfrage
Sie brauchen weniger, als Sie denken. Niemand trainiert ein Modell von Grund auf: Bei RAG liest das Modell Ihre vorhandenen Dokumente im Moment der Frage, Ihr Fileserver ist also der Datensatz. Entscheidend ist die Pflege, aktuelle Versionen, sinnvolle Struktur und saubere Zugriffsrechte, nicht die Menge. Ein Modell mit eigenen Daten nachzutrainieren ist selten der erste Schritt und oft nie nötig.
Rechner
Was braucht lokale KI in Ihrem Unternehmen?
Hardware
1 GPU-Server · 24-48 GB VRAM
Investition (einmalig)
€8.000 bis €15.000
Strom & Betrieb
€150 bis €300 / Monat
Daten
Ihre vorhandenen Dokumente genügen: kein Training, keine zusätzlichen Daten. Für den Suchindex kommen schneller NVMe-Speicher und RAM dazu.
Richtwerte für offene Modelle mittlerer Größe. Die genaue Auslegung hängt vom Anwendungsfall ab.
KontaktFAQ
Häufige Fragen.
Sind lokale Modelle so gut wie ChatGPT?
Bei offenem Allgemeinwissen führen die größten Cloud-Modelle weiterhin. Für geerdete Unternehmensaufgaben, also Antworten aus Ihren Dokumenten, Entwürfe, Zusammenfassungen, reicht ein gut eingerichtetes mittleres Modell in der Regel aus, und der Abstand schrumpft mit jeder Modellgeneration.
Was ist mit unseren Datenschutzpflichten?
Lokale Verarbeitung räumt die Frage des Drittlandtransfers komplett ab, den schwierigsten Teil beim Einsatz von US-KI-Diensten unter der DSGVO. Zugriffskontrolle, Protokollierung und Löschfristen bleiben Ihre Aufgabe, genau wie bei jedem anderen internen System.
Kostenlose IT-Analyse vereinbaren.
Wir schauen uns Ihre Umgebung unverbindlich an: was solide läuft, wo Risiken liegen und was zuerst angepackt gehört. Klare Antworten statt Verkaufsgespräch.