Lokale KI: Ihre eigene KI auf deutschem Server oder im eigenen Haus

Lokale KI ist ein Sprachmodell, das nicht bei einem KI-Anbieter wie OpenAI, Google oder Anthropic läuft, sondern auf einem Server, den Sie kontrollieren: in einem Rechenzentrum in Deutschland oder auf Hardware in Ihrem Unternehmen (On-Premise). Eingesetzt werden offene Modelle, deren Gewichte frei verfügbar sind. Ihre Mitarbeitenden arbeiten damit wie mit einem gewohnten KI-Assistenten, die Anfragen werden aber auf Ihrem eigenen System verarbeitet.

Bei der Variante im eigenen Haus nicht: Die Verarbeitung bleibt in Ihrem Netz. Bei der Variante auf einem Server in Deutschland liegen die Daten in einem deutschen Rechenzentrum; beteiligt ist dessen Betreiber, gebunden über einen Auftragsverarbeitungsvertrag (AVV). In beiden Fällen gehen Ihre Daten an keinen KI-Anbieter und fließen in kein fremdes Modelltraining. Für Einrichtung und Wartung greifen wir nach Ihrer Freigabe zu, ebenfalls auf Grundlage eines AVV.

Eine Cloud-KI wird nach Verbrauch abgerechnet: Jede Anfrage kostet Token, und je mehr Ihr Team und Ihre Automatisierungen die KI nutzen, desto höher fällt die monatliche Rechnung aus. Bei lokaler KI richten sich die laufenden Kosten nach Server oder Hardware und nach der Betreuung, nicht nach der Zahl der Anfragen – innerhalb der vereinbarten Leistung des Systems sind sie damit planbar. Reicht die Leistung des Systems irgendwann nicht mehr aus, planen wir den Ausbau gemeinsam und vorab. Das konkrete Angebot erhalten Sie nach dem kostenlosen Erstgespräch.

Auf Wunsch ja, das ist der Gedanke dahinter: Die lokale KI ist das System, auf dem unsere weiteren KI-Leistungen für Sie laufen können – die Wissensdatenbank, die KI-Schritte Ihrer Automatisierungen, KI-Agenten und der Chat auf Ihrer Website nutzen dann dasselbe Modell auf Ihrem Server. Neue Anwendungsfälle kommen hinzu, ohne dass jedes Mal ein weiterer KI-Anbieter mit eigener Token-Abrechnung dazukommt; die Einrichtung jeder weiteren Leistung bleibt ein eigener Auftrag. Ob das lokale Modell für eine Aufgabe ausreicht, prüfen wir vorher an Beispielen. Beim KI-Telefonassistenten bleibt die Telefonie beim Telefonie-Anbieter; ob dort auch das Sprachmodell lokal laufen kann, klären wir im Einzelfall.

Für viele Aufgaben im Unternehmen reichen offene Modelle gut aus: Fragen zu Dokumenten beantworten, Texte zusammenfassen und entwerfen, Daten aus E-Mails und PDFs auslesen. Bei sehr komplexen Aufgaben sind die größten Cloud-Modelle oft noch stärker. Deshalb testen wir vor der Einrichtung an Beispielen aus Ihrem Alltag, was das lokale Modell leistet – Sie entscheiden auf dieser Grundlage, nicht auf Basis eines Versprechens.

In der Regel nicht. Damit die KI Ihr Firmenwissen nutzt, binden wir sie an Ihre Dokumente an (RAG): Sie sucht vor jeder Antwort die passenden Stellen und nennt die Quelle. Das bleibt aktuell, wenn sich Unterlagen ändern. Training (Fine-Tuning) lohnt sich, wenn das Modell einen bestimmten Stil, ein festes Ausgabeformat oder eine eng umrissene Fachaufgabe lernen soll und genug geeignete Beispiele vorliegen. Ob das bei Ihnen zutrifft, klären wir vor der Beauftragung.

Ja, dort, wo es passt. Sprachmodelle sind Deep-Learning-Modelle; beim Fine-Tuning trainieren wir ein solches Modell mit Ihren Beispielen weiter. Für Aufgaben mit eigenen Zahlen, etwa Absatz- oder Auslastungsprognosen, setzen wir klassisches Machine Learning ein – mehr dazu unter Individuelle Entwicklung. Welches Verfahren Ihr Vorhaben braucht, sagen wir vorab, nicht nach der Beauftragung.

Das hängt von der Modellgröße, der Zahl gleichzeitiger Nutzer und der Aufgabe ab. Kleinere Modelle laufen auf einem einzelnen Server mit Grafikkarte, größere brauchen mehr Grafikspeicher. Wir legen die Hardware nach dem Test mit Ihren Beispielen fest, damit Sie nicht mehr kaufen oder mieten als nötig. Bei der Variante auf einem Server in Deutschland brauchen Sie keine eigene Hardware.

Ja, mit der Abnahme. Ein Modell, das wir mit Ihren Daten angepasst haben, läuft ausschließlich auf Ihrem Server oder Ihrer Hardware und wird für niemand anderen verwendet. Einrichtung und Konfiguration sind dokumentiert, sodass Sie den Betrieb auch selbst oder durch Dritte weiterführen können.

An Testfragen und Aufgaben aus Ihrem Alltag. Welche das sind und wie viele davon das Modell richtig lösen muss, legen wir vor Beginn der Umsetzung schriftlich mit Ihnen fest. Ist das Ergebnis bei der Abnahme nicht so, wie wir es vor Beginn der Umsetzung schriftlich mit Ihnen vereinbart haben, bessern wir einmal ohne Aufpreis nach. Gelingt das nicht, erhalten Sie für die betroffene Leistung eine anteilige Erstattung; die Höhe steht im Angebot. Ihre gesetzlichen Rechte bleiben daneben bestehen. Die laufende Betreuung und die Kosten für Server oder Hardware gehören nicht zur Zusage.