Wir Haben Uns Eine KI ins Haus Geholt — und Sie Kann Fast Alles

Unten rechts auf dieser Seite sitzt eine Fee

In diesem Moment schwebt unten rechts in diesem Artikel eine kleine Fee. Sie heißt Pixie. Sprechen Sie sie an, und sie antwortet.

(Probieren Sie es ruhig aus. Meistens antwortet sie in zwei, drei Sekunden.)

Diese Fee nutzt keinerlei externen KI-Dienst. Was Sie eintippen, wird nirgendwohin geschickt. Eine einzelne Maschine, die wir selbst betreiben, nimmt es entgegen, denkt darüber nach und antwortet von dort aus.

Das heißt: Ihre Stromrechnung zahlen wir.

Warum macht man sich diese Mühe? Genau darum geht es hier.

Angefangen hat es mit „und wie gut ist das jetzt wirklich?”

Eine KI innerhalb eines Servers betreiben, den das eigene Unternehmen verwaltet. Das nennt sich Private LLM, und dass es diese Möglichkeit gibt, wussten wir schon länger.

Was wir nicht einschätzen konnten, war die tatsächliche Leistung. Man kann sämtliche Einführungsartikel der Welt lesen und trotzdem nicht beurteilen, ob das echter Arbeit standhält. So etwas klärt sich nur, indem man es laufen lässt.

Den Ausschlag gab das Geld.

Heute kommt zu jedem System, das wir bauen, die Frage: „Können Sie da auch KI einbauen?” Wir freuen uns über die Frage. Der Haken ist, dass KI-APIs nach Verbrauch abrechnen. Bei Kundenprojekten trägt der Kunde diese Kosten, das ist einfach. Bei eigenen Produkten sieht es anders aus. Gebaut wird einmal, aber das Geld fließt weiter, solange die Funktion läuft.

Genauso bei den KI-Abos fürs Entwickeln. Ein Platz ist nichts. Multipliziert mit der Teamgröße hört der Spaß auf.

Wir steckten also in einer Schleife fest. Ob es taugt, weiß man erst, wenn man es ausprobiert — aber das Ausprobieren selbst kostet Geld.

An diesem Punkt fing es an, vernünftig zu wirken, uns eine auf den eigenen Schreibtisch zu stellen.

Die kurze Antwort: sie kann fast alles

Das war die größte Überraschung.

Fast alles, was ein externer KI-Dienst kann, kann eine eigene auch.

Wenn Leute „selbst gehostet” hören, stellen sie sich gern eine abgespeckte Version vor. Zumindest bislang war das nicht unsere Erfahrung.

• Texte schreiben, zusammenfassen, Formulierungen glätten
• Übersetzen
• Aus einem langen Verlauf genau die eine Sache herausziehen, die man braucht
• Fotos und Screenshots lesen
• Ein PDF, Word- oder Excel-Dokument so wie es ist entgegennehmen und Fragen dazu beantworten
• Aus den internen Unterlagen des Unternehmens antworten statt aus Allgemeinwissen
• Als Funktion in unsere eigenen Apps und Dienste eingebaut werden

Wir hatten uns eher so etwas wie „eine etwas schlauere Suche, nur Text” vorgestellt. Als wir ihr das erste Mal ein Bild hinhielten und sie es einfach las, kamen wir uns ein wenig albern vor.

Natürlich gibt es im direkten Vergleich mit den weltbesten Modellen einen Abstand. Wo es darum geht, etwas Verwickeltes von Grund auf zu entwerfen, stützen wir uns weiterhin auf die starken externen Dienste. Aber das meiste, was wir im Alltag abgeben wollen, deckt die KI auf unserer eigenen Hardware bereits ab. Das war der ehrliche Eindruck.

Dabei gilt allerdings: Es war nicht so, dass man den Stecker reinsteckt und alles läuft gut.

Welches Modell, wie konfiguriert, wie füttert man die internen Unterlagen ein — all das musste Stück für Stück herausgearbeitet werden, und die Umgebung sauber hinzubekommen war ebenfalls Arbeit. Wobei der Prozess selbst richtig Spaß gemacht hat. Ausrüstung studieren, feinjustieren, in den Dungeon steigen und testen. Es fühlte sich an wie ein Hack-and-Slash-Spiel.

Ausgeschrieben würde das hier zu lang, deshalb wird der Aufbau ein eigener Artikel.

Verändert hat sich nicht die Qualität, sondern wie oft wir etwas ausprobieren

Wichtiger als die reine Leistungsfähigkeit war, dass Ausprobieren kostenlos wurde.

Klingt banal, aber: egal wie viel man sie benutzt, die Rechnung wächst nicht.

Früher hieß zehnmal probieren, zehnmal zu bezahlen. Also gab es immer diesen kurzen Moment, in dem man sich fragte: „Lohnt sich das überhaupt?” Dieser Moment kam jedes einzelne Mal.

Jetzt kommt er nicht mehr.

Am deutlichsten zeigt sich das bei unseren eigenen Produkten. Wenn jemand denkt „es wäre spannend, diesen Teil die KI machen zu lassen”, kann er es einfach ausprobieren. Früher lief die Idee sofort in die Kostendiskussion und starb dort meistens auch.

Die Stromrechnung ist übrigens deutlich niedriger ausgefallen, als wir uns eingestellt hatten. Eine erfreuliche Fehleinschätzung.

Was sie derzeit für uns erledigt

Ein Teil dessen, was gerade läuft.

Wegweiser auf der Website Die Fee vom Anfang des Artikels. Sie beantwortet „welche Leistungen bieten Sie an?” und „wer seid ihr eigentlich?”. Niemand muss danebensitzen, und sie beschwert sich nicht, wenn man sie um zwei Uhr nachts fragt.

Aus Gesprächen Aufgaben machen Wir haben das Private LLM an die Chat-Anwendung angebunden, die wir uns selbst gebaut haben. Es fischt die To-dos aus dem Gesprächsverlauf. Was früher nach einem „gut, dann machen wir das so” verschwand, bleibt jetzt tatsächlich auf der Liste.

Den Abstand zwischen den Sprachen verkürzen Bei uns fliegen Japanisch, Englisch und Malaiisch durcheinander, also fällt täglich Übersetzung an. Und zwar in Menge — genau die Art Arbeit, die sich bei einer externen API leise summiert.

Daneben geben wir auch kleinere Aufgaben komplett ab: einfache Chatbots, eine erste Einschätzung nach dem Muster „kann man das so veröffentlichen?”.

Nebeneinandergelegt haben diese Dinge zwei Gemeinsamkeiten.

Erstens: Keine davon funktioniert, ohne echte interne Informationen herauszugeben. Kundennamen, Beträge, Dinge, die noch nicht öffentlich sind. Kein einziges Zeichen davon darf an einen externen Dienst gehen.

Zweitens: Keine davon braucht Intelligenzstufe 100. Entscheidend war der Unterschied zwischen null und eins. Gar keine Übersetzung gegenüber einer Übersetzung, die sich passabel liest. Niemand schaut drüber gegenüber einer ersten Durchsicht, die immerhin existiert. Dieser Sprung ist der große, und alles danach — „ja, aber klüger” — ist ehrlich gesagt Zugabe.

Es gibt sehr viel weniger Arbeit, die nur die beste KI der Welt erledigen kann, als wir dachten. Nachdem das klar war, wurde die Bandbreite dessen, was wir abzugeben bereit sind, schnell größer.

(Die Chat-Anwendung selbst haben wir ebenfalls gebaut, aber das ist Stoff für einen anderen Artikel.)

Auch beim Datenschutz überzeugend

Das eigentliche Hindernis, KI in die Arbeit zu holen, ist nicht die Technik. Es ist die Entscheidung, was man eingeben darf. Kundennamen, Angebotssummen, noch unveröffentlichte Zeichnungen, Personalgespräche. Ein großer Teil der Arbeit, bei der man sich Hilfe wünscht, besteht ausgerechnet aus Informationen, die das Haus nicht verlassen dürfen.

Viele Unternehmen reagieren mit einem Verbot von KI am Arbeitsplatz. Nur hält das eben ausschließlich innerhalb des Unternehmens.

Wer eine Deadline im Nacken hat, greift zum privaten Handy und lässt es dort erledigen. Böse Absicht steckt nicht dahinter. Wir leben längst in einer Zeit, in der KI zur Arbeitsweise gehört. Und das Unternehmen hat keinerlei Möglichkeit zu wissen, was hinausgegangen ist.

Es ist wie beim Rauchverbot. Ein Verbot lässt etwas nicht verschwinden. Es macht es unsichtbar.

Ein Private LLM ist aus unserer Sicht eine echte Antwort darauf — und je schwerer die Informationen wiegen, mit denen ein Unternehmen umgeht, desto mehr bringt es. Ein börsennotiertes Unternehmen muss im Nachhinein erklären können, wer was eingegeben hat. Eine Kanzlei unterliegt der Verschwiegenheitspflicht. Eine Behörde muss festlegen, wo Bürgerdaten liegen dürfen. Im Gesundheitswesen, wo ein Fehler wirklich wiegt, wird der erste Schritt schlicht nie gegangen. Keiner dieser Fälle hängt an der Frage, wie man KI benutzt. Sie hängen alle daran, wo man sie hinstellt.

Trotzdem haben wir nicht alles ins Haus geholt

Zur Klarstellung: Wir haben nicht aufgehört, externe KI zu nutzen.

Für die Entwicklungsarbeit zahlen wir nach wie vor für externe KI. Bei den schwierigen Problemen ist es schlicht schneller, das stärkste Modell zu fragen. Wir nutzen beides.

Es geht also nicht um die Frage, was von beidem richtig ist.

Arbeit, die hinausgehen darf, geht hinaus. Arbeit, die es nicht darf, bleibt hier.

Entscheidend ist, wer diese Linie zieht. Wenn Sie sie ziehen, können Sie sie jederzeit verschieben.

Nebenbei justieren wir außerdem einen Coding-Agenten, der auf dem Private LLM läuft — mit dem Fernziel, irgendwann vollständig auf eigener Hardware zu entwickeln.

„Wir schicken nichts raus” lässt sich nicht mit gutem Willen durchsetzen

Kurz zur Mechanik. Man liest gelegentlich die Erklärung „unsere Richtlinie sieht keine externe Übertragung vor”. Guter Wille hat diese Linie noch nie gehalten. Es muss unmöglich sein, nicht bloß unerwünscht.

Was wir machen, ist einfach genug: Zwischen Nutzer und KI steht ein einziger Kontrollpunkt. Was durchgeht und was nicht, entscheidet sich dort. Wichtig ist, dass dieser Punkt auf unserer Seite liegt — auch deshalb lassen sich die Regeln später ändern.

Grob gesagt haben wir Folgendes festgelegt:

• Ausgehender Verkehr ist standardmäßig blockiert. Was durchgelassen wird, wird ausdrücklich benannt
• Wer was gefragt hat, wird protokolliert — nicht um jemanden zu überführen, sondern um antworten zu können, wenn wir gefragt werden
• Jeder Einsatzzweck hat einen festgelegten Rahmen, aus dem die KI nicht heraustritt
• Was nicht in den Unterlagen steht, wird mit „dazu steht hier nichts” beantwortet

Der letzte Punkt ist unauffällig hervorragend. Man kann sie so einstellen, dass sie nicht blufft. Das ist die praktischste Antwort, die wir auf die Sorge gefunden haben, die alle äußern: „Erfindet die nicht überzeugend klingenden Unsinn?”

Bei alldem, ganz ehrlich: Kein Aufbau senkt das Risiko auf null. Statt perfekte Sicherheit zu versprechen, ist es realistischer, vorher festzulegen, was hinausgeht und wie weit.

Zum Schluss

Vielleicht denken Sie, das alles klinge zu groß für Ihr Unternehmen. Wir haben mit einer einzigen Maschine angefangen. Eine USV kam dazu, damit sie bei einem Stromausfall nicht einfach ausgeht — aber viel mehr war es nicht.

Sprechen Sie zum Abschluss ruhig die Fee unten rechts an.

Das Bemerkenswerte an dieser Fee ist, dass wir sie für alle offen lassen können, kostenlos. Liefe sie über eine API mit Abrechnung pro Anfrage, würde jedes Gespräch die Rechnung erhöhen, und wir könnten uns so viel Großzügigkeit nicht leisten. Sie lebt von Strom, also darf die Tür offen bleiben.

In den paar Sekunden, die sie zum Antworten braucht, verlässt nichts von dem, was Sie geschrieben haben, unser Haus. Mehr ist es wirklich nicht.

Nur haben wir zu viele Unternehmen gesehen, die mit KI allein deshalb nie angefangen haben, weil genau diese eine Sache nie entschieden wurde. Das erscheint uns schade.

Falls Sie sich nach diesem Artikel fragen, wie das bei Ihnen aussehen würde: Die Seite Private-LLM-Infrastruktur hilft dabei vielleicht weiter. Und schreiben Sie uns jederzeit — wir sprechen gern darüber.