Wenn wir mit Unternehmen über KI sprechen, fällt die Frage nach dem eigenen Server meist in den ersten zehn Minuten. Die Sorge dahinter ist berechtigt: Niemand möchte, dass Verträge, Kalkulationen oder Kundendaten irgendwo landen, wo man sie nicht mehr kontrolliert. Verbreitet ist sie auch: Laut Eurostat (2025) setzt erst rund jedes fünfte Unternehmen in der EU KI ein, und von den Betrieben, die einen Einsatz geprüft und wieder verworfen haben, nannten knapp 49 Prozent Datenschutzbedenken als Grund. Die reflexhafte Antwort „dann hosten wir eben selbst" ist trotzdem oft die falsche. Self-Hosting löst ein bestimmtes Problem, hat einen ordentlichen Preis und ist für viele Betriebe schlicht nicht nötig. Wann es sich lohnt, lässt sich ziemlich klar eingrenzen.

Drei Betriebsmodelle, nicht zwei

Die Diskussion wird meist als Entweder-oder geführt: US-Cloud oder eigener Server. Dazwischen liegt aber ein ganzes Spektrum. Am einen Ende steht die API eines großen Anbieters mit Auftragsverarbeitungsvertrag, bei der Ihre Eingaben vertraglich nicht für das Training fremder Modelle verwendet werden. In der Mitte liegt die EU-Cloud: Das Modell läuft in einem europäischen Rechenzentrum, die Daten verlassen den EU-Rechtsraum nicht. Am anderen Ende steht On-Premise, also ein offenes Modell auf Hardware, die Ihnen gehört und in Ihrem Netz steht.

Jede Stufe kauft mehr Kontrolle und kostet mehr Aufwand. Die ehrliche Frage ist nicht „was ist am sichersten", sondern „welche Stufe verlangt mein konkreter Fall". Für die meisten Anwendungsfälle, die wir umsetzen, reicht eine der ersten beiden.

Womit Betriebe bei dieser Entscheidung tatsächlich ringen, hat Eurostat (2025) erhoben: Bei Unternehmen, die einen KI-Einsatz geprüft und wieder verworfen haben, steht fehlendes Fachwissen an erster Stelle, gefolgt von unklaren Rechtsfolgen und Datenschutzbedenken. Die beiden letzten Punkte sind genau die, die das Betriebsmodell beantworten muss.

Gründe, warum EU-Unternehmen einen geprüften KI-Einsatz verwerfen

Fehlendes Fachwissen71 %

Unklare Rechtsfolgen53 %

Datenschutzbedenken49 %

Kein Nutzen erkennbar21 %

Quelle: Eurostat, 2025

Was ein AVV tatsächlich abdeckt

Ein Auftragsverarbeitungsvertrag regelt, dass der Anbieter Ihre Daten nur nach Ihrer Weisung verarbeitet, sie nicht für eigene Zwecke nutzt und Unterauftragnehmer offenlegt. Zusammen mit einer Region-Auswahl in der EU ist das für viele Datenkategorien eine tragfähige Grundlage, die sich auch gegenüber einer Datenschutzbehörde argumentieren lässt. Wir dokumentieren in jedem Projekt, welche Daten wohin fließen, damit Ihre DSGVO-Bewertung auf etwas Konkretem aufsetzt statt auf Marketingaussagen.

Was ein AVV nicht ändert: Die Daten liegen während der Verarbeitung bei einem Dritten. Wenn Ihr Problem genau das ist, hilft kein Vertrag, sondern nur eine andere Architektur.

Die Fälle, in denen Self-Hosting wirklich zieht

In unserer Arbeit sind es wiederkehrende Konstellationen, in denen ein eigenes Modell die richtige Antwort ist. Sie haben gemeinsam, dass externe Verarbeitung nicht nur unangenehm, sondern rechtlich oder vertraglich ausgeschlossen ist.

Gesundheits-, Rechts- oder Finanzdaten, bei denen Berufsgeheimnis oder Sonderregeln greifen und jede externe Übermittlung einzeln begründet werden müsste
Verträge mit Kunden, die eine Verarbeitung außerhalb des eigenen Hauses explizit untersagen – im Maschinenbau und bei Zulieferern keine Seltenheit
Betriebsvereinbarungen, die interne Kommunikation und Personaldaten von externen Diensten fernhalten
Konstruktionsdaten und Rezepturen, bei denen es weniger um DSGVO geht als um Betriebsgeheimnisse, die das Haus nicht verlassen sollen

Was Self-Hosting kostet – und zwar wirklich

Ein brauchbares offenes Modell für Textaufgaben läuft nicht auf dem Bürorechner. Sie brauchen einen Server mit GPU, entweder gekauft oder gemietet, dazu jemanden, der Updates einspielt, Ausfälle bemerkt und die Modellversion pflegt. Als grobe Hausnummer: Ein dediziertes GPU-System liegt gemietet meist bei einem mittleren dreistelligen bis vierstelligen Eurobetrag pro Monat, bevor eine einzige Frage beantwortet wurde. Eine API rechnet dagegen pro Nutzung ab und kostet bei moderatem Volumen oft nur einen Bruchteil davon.

Dazu kommt ein Punkt, der gern unterschlagen wird: Offene Modelle, die auf bezahlbarer Hardware laufen, sind bei anspruchsvollen Aufgaben schwächer als die großen API-Modelle. Für eine Wissensdatenbank mit RAG, bei der das Modell vor allem Fundstellen sauber zusammenfassen muss, fällt das kaum ins Gewicht. Für komplexe Analyse- oder Schreibaufgaben merkt man den Unterschied. Wer selbst hostet, tauscht also Rohleistung gegen Kontrolle. Das sollte eine bewusste Entscheidung sein.

Der Mittelweg, der oft übersehen wird

Zwischen „alles zum US-Anbieter" und „eigener Serverraum" gibt es eine Variante, die wir häufig empfehlen: ein offenes Modell in einem europäischen Rechenzentrum, gemietet statt gekauft. Sie bekommen die Datenlage von Self-Hosting – kein US-Anbieter in der Kette, volle Kontrolle über Logs und Speicherung – ohne eigene Hardware anzuschaffen und ohne dass Ihr IT-Team GPU-Treiber pflegen muss.

Sinnvoll ist auch die Aufteilung nach Datenart: unkritische Anfragen über die günstige API, sensible Dokumente nur über das selbst kontrollierte Modell. Die Architektur dafür ist kein Hexenwerk, sie muss nur von Anfang an vorgesehen sein.

Woran Sie die Entscheidung festmachen können

Drei Fragen bringen die Sache meist auf den Punkt. Erstens: Gibt es eine konkrete Vorgabe – Gesetz, Vertrag, Betriebsvereinbarung –, die externe Verarbeitung ausschließt? Wenn ja, ist die Entscheidung gefallen. Zweitens: Reicht die Qualität eines offenen Modells für Ihren Anwendungsfall? Das lässt sich testen, bevor Hardware gekauft wird, und genau so machen wir das auch. Drittens: Trägt das Nutzungsvolumen die Fixkosten? Ein Assistent, der zehn Fragen am Tag beantwortet, rechtfertigt keinen eigenen GPU-Server.

Wenn keine der drei Fragen klar für Self-Hosting spricht, sagen wir das offen: Dann ist eine EU-Cloud oder eine API mit AVV die vernünftigere Wahl, und das gesparte Budget steckt besser in der Aufbereitung Ihrer Daten. Dort entscheidet sich die Antwortqualität ohnehin viel stärker als beim Betriebsmodell.