Was sich ändert, wenn das Modell auf dem eigenen Rechner läuft
Ich habe mir ein kleines Werkzeug gebaut, das meine eigenen Notizen durchsucht und beantwortet. Einige hundert Markdown-Dateien, ein Embedding-Index, ein Modell mit 14 Milliarden Parametern, alles auf dem Laptop. Kein API-Key, kein Netz. Man ruft es im Terminal auf und stellt eine Frage.
Die Frage dahinter war banal: wie weit kommt man eigentlich ohne API?
Die Antwort, die ich erwartet hatte, war eine über Qualität. Die interessante Antwort war eine andere.
Die langweilige Erkenntnis zuerst
Ja, das lokale Modell ist schlechter. Es formuliert steifer. Bei mehrstufigen Ableitungen über lange Kontexte verliert es den Faden, wo ein Frontier-Modell noch trägt. Wenn ich es bitte, aus fünfzehn Quellen ein Argument zu bauen, kommt etwas heraus, das aussieht wie ein Argument.
Aber das ist der uninteressante Teil, und zwar aus einem Grund, den man erst merkt, wenn man das Ding täglich benutzt: die meiste echte Arbeit ist keine Frontier-Arbeit. Sie ist Wiederfinden, Herausziehen, Zusammenfassen, Umformatieren, Vergleichen. Wo stand das nochmal. Was habe ich damals entschieden und warum. Fass mir die vier Notizen zu diesem Thema zusammen. Ein 14B-Modell macht das ordentlich. Nicht brillant – ordentlich. Und ordentlich reicht, wenn die Alternative ist, dass man es gar nicht tut.
Die Grenze läuft auch nicht dort, wo ich sie vermutet hatte, nämlich zwischen einfachen und schweren Fragen. Sie läuft zwischen Fragen, bei denen ich das Ergebnis prüfen kann, und Fragen, bei denen ich ihm glauben muss.
Was tatsächlich passiert
Zwei Beschränkungen fallen gleichzeitig weg, und die zweite ist die, um die es geht.
Die erste: es kostet nichts mehr pro Anfrage. Das klingt nach Buchhaltung, ändert aber Verhalten. Ich frage anders, wenn Fragen gratis sind. Ich probiere aus. Ich lasse dieselbe Frage dreimal laufen, um zu sehen, ob die Antwort stabil bleibt. Ich stelle die dumme Zwischenfrage, die ich mir bei Abrechnung pro Token verkniffen hätte. Ein Werkzeug, dessen Benutzung nichts kostet, ist ein anderes Werkzeug.
Die zweite: die Daten verlassen das Haus nicht.
Von Kosten zu Erlaubnis
In meiner Arbeit – regulierte Gesundheitsumgebung, Patientendaten, Artikel 9 – ist die erste Frage bei einem neuen Werkzeug nie „wie gut ist es". Sie ist: darf das überhaupt. Wohin gehen die Daten, wer ist Verantwortlicher und wer Auftragsverarbeiter, liegt ein AVV vor, ist ein Drittland beteiligt, wie lange wird gespeichert, wer kann im Zweifel hineinsehen. Bei Gesundheitsdaten ist das die Voraussetzung, und ein Werkzeug, das an dieser Kette scheitert, ist kein schlechteres Werkzeug – es ist keins.
Ein Modell auf dem eigenen Rechner beantwortet diese Kette nicht besser. Es lässt sie entfallen. Es gibt keine Übermittlung, also keinen Empfänger, also keinen Vertrag, also kein Drittland. Die Frage, an der die meisten interessanten Ideen in regulierten Umgebungen sterben, stellt sich nicht mehr.
Der Unterschied heißt Erlaubnis. Und Erlaubnis entscheidet darüber, was überhaupt gedacht werden kann, nicht bloß, wie gut es dann läuft.
Das hatte ich vorher unterschätzt. Ich hatte lokale Modelle als billigere, schwächere Variante derselben Sache gedacht. Sie sind eine andere Sache.
Praktisch heißt das: Ideen, die im Gespräch sofort gestorben wären, sind plötzlich einen Prototypen wert. Nicht weil sie besser funktionieren, sondern weil man sie bauen und vorführen darf, bevor jemand einen Vertrag prüfen muss. Und ein Ding, das läuft, verändert ein Gespräch anders als ein Konzept, das gut aussieht.
Wo es dann doch aufhört
Damit das nicht als Empfehlung gelesen wird, die es nicht ist:
Es ist Arbeit. Modell auswählen, Index bauen, Chunking justieren, und nichts davon ist selbsterklärend. Der Rechner wird warm und laut. Für Aufgaben, bei denen es wirklich auf Denkleistung ankommt, greife ich weiter zum Frontier-Modell, und ich sehe keinen Grund, das zu verstecken.
Die brauchbare Regel, die dabei herauskam: lokal für alles, was meine eigenen Daten berührt und wo ich das Ergebnis prüfen kann. Remote für alles, wo ich Denkleistung kaufe und die Eingabe unbedenklich ist. Das ist eine Arbeitsteilung.
Warum ich das aufschreibe
Weil in fast jeder Diskussion über AI in sensiblen Umgebungen der Datenschutz als Bremse auftritt – als das, was das Interessante verhindert. Seit diesem Werkzeug halte ich das für einen Denkfehler. Die Beschränkung war nie „keine AI". Sie war „keine Übermittlung". Das sind zwei völlig verschiedene Sätze, und der zweite hat eine technische Antwort.