Mein Nachrichten-Radar liest jede Nacht um halb fünf rund vierzig Quellen, sucht heraus, was für meine Zielgruppe relevant ist, und schreibt mir dazu drei Themen mit fertigem Textentwurf. Ich habe ihn selbst gebaut. Er läuft seit Monaten, jeden Tag, ohne Ausfall.
Am 27. Juli habe ich beim Aufräumen ein Rohlog von Hand geöffnet und gesehen, dass er seit zwölf Tagen Müll produziert. Von 36 Themen waren 30 unbrauchbar. Im Log stand jeden einzelnen Tag Entwurf erstellt. Am Ende Fertig.
Was passiert war
In der Einstellung stand ein Wert namens max_tokens auf 2000: das Budget, das das Sprachmodell für seine Antwort hat. Dann haben die Anbieter ihre Modelle umgestellt: Die denken seitdem erst nach, bevor sie antworten, und das Nachdenken frisst vom selben Budget. Der sichtbare Text brach mitten im Satz ab.
Der interessante Teil ist nicht der Fehler. Der interessante Teil ist, was danach passiert ist.
Mein Programm hat den Abbruch bemerkt. Ich hatte für genau diesen Fall einen Notbehelf eingebaut, der den angefangenen Rohtext weitergibt, damit der ganze Lauf nicht abstürzt. Der Notbehelf hat funktioniert. Er hat den Lauf gerettet. Und dabei ins Log geschrieben, alles sei in Ordnung.
Meine eigene Fehlerbehandlung hat den Fehler versteckt. Das ist der Fall, der in Unternehmen am häufigsten vorkommt und am seltensten gefunden wird. Kaputte Software macht sich bemerkbar. Eine Rettungsleine, die zu gut funktioniert, macht das Gegenteil.
Warum es zwölf Tage gedauert hat
Ich habe die Mail jeden Morgen gelesen. Ich habe mir das eine Thema herausgesucht, mit dem ich etwas anfangen konnte, und die anderen beiden überblättert. Wer morgens vor der Arbeit fünf Minuten hat, macht das so. Man beschwert sich nicht über eine Software, die einem gerade Arbeit abnimmt. Man nimmt das Brauchbare und geht weiter.
Ein Programm, das abstürzt, fällt sofort auf. Die Mail bleibt aus, jemand ruft an, jemand kümmert sich. Ein Programm, das pünktlich liefert und dabei Müll produziert, fällt niemandem auf. Die Leute arbeiten um den Schaden herum, ohne dass es jemand verlangt hat. Der Ausgleich passiert leise, und dadurch verschwindet die Meldung.
Was ich geändert habe
Der Fix selbst war zwei Zeilen: max_tokens auf 8000. Wichtiger ist der Rest.
Der Notbehelf schreibt heute [FEHLER] ins Log statt Entwurf erstellt. Eine Rettungsleine, die sich meldet, statt zu schweigen. Dazu läuft seit dem 27. Juli jeden Morgen eine Prüfung, die genau nach solchen Stellen sucht: abgeschnittene Texte, Notbehelfe, die gegriffen haben, Läufe ohne belegbares Ergebnis. Derselbe Fehler wäre heute nach einem Tag gefunden.
Was das mit Ihrem Unternehmen zu tun hat
Wenn bei Ihnen jemand sagt, das KI-Projekt läuft, ist die nächste Frage: Woher wissen Sie das? Weil sich keiner beschwert hat? Das ist kein Beleg. Das kann genauso gut heißen, dass Ihre Leute den Schaden seit Wochen ausgleichen und es niemand für nötig hält, das zu melden. Sie sind es ja gewohnt, dass Software nicht ganz tut, was sie soll. Genau da setzt meine Begleitung der KI-Einführung an.
Bei mir waren es zwölf Tage und drei Themen am Tag. Bei einer Abteilung mit dreißig Leuten sind es zwölf Tage mal dreißig Arbeitstage voller kleiner Umwege, die keiner aufschreibt.
Meine Frage lautet seitdem: Womit können Sie belegen, dass es das Richtige tut? Und bei den Menschen drumherum die Frage, die den Unterschied macht: Was gleichen Sie gerade still aus, ohne dass es jemand weiß?
Der Vorfall ist vollständig in meiner Systemdokumentation festgehalten, Abschnitt 8, mit Datum, Ursache und Gegenmaßnahme. Wer sehen will, wie so eine Dokumentation aussieht, darf mich gern danach fragen.