Jeder Test bestanden, und trotzdem kaputt.
Eine winzige Änderung bestand jeden automatischen Test — und ließ die Analyse in der Praxis trotzdem nicht mehr starten. Für dich zählt das Ende: solche Ausfälle fallen nur im Test auf, nicht mitten im Mandat.
Für eine Kanzlei ist die KI-Analyse kein Extra — sie ist der erste Schritt jeder Akte. Startet sie nicht, steht der Fall. Genau das wäre an einem Tag im Juli fast passiert, und die Geschichte lohnt sich, weil ihr Ende die eigentliche Zusage ist.
Für die neue Modernisierungs-Fallart musste Mila zum ersten Mal richtig rechnen — und dafür brauchte ein kleiner, geteilter Baustein der Analyse ein zusätzliches Feld. Winzig, ein einziges. Alle automatischen Tests liefen durch: die Ergebnisse sahen aus wie vorher, der Code war sauber.
Und trotzdem war es kaputt. Dieses eine Feld hat eine unsichtbare Grenze überschritten. Vor jeder Antwort baut die Analyse ein festes Regelwerk auf, das dem Modell genau vorschreibt, welche Form die Antwort haben darf — und dieses Regelwerk wurde ein Stück zu groß, um überhaupt gebaut zu werden. Ab da startete die Analyse gar nicht mehr: nicht nur für die Modernisierung, sondern für alle damals 13 Fallarten. Und kein Test bemerkt das, denn Tests prüfen die Antwort — hier aber gab es keine Antwort, die Anfrage kam nie durch.
Ein Test, der die Antwort prüft, merkt nicht, dass die Anfrage gar nicht erst durchgeht.
Bemerkt, zurückgesetzt, abgesichert
Gleich beim ersten Fehlversuch aufgefallen. Die Analyse zuerst auf den Stand von vorher zurückgesetzt — in Minuten, ein ehrliches »läuft gerade nicht« statt ein Flicken unter Druck. Dann die Ursache in Ruhe belegt und die Änderung kleiner nachgebaut: dieselbe Rechnung, weniger Regelwerk.
Und das ist der Teil, der dich angeht. Nicht, dass ein Fehler passiert ist — den macht jede Software. Sondern dass die Sorte Fehler, die dich mitten im Mandat treffen könnte, jetzt schon beim Bauen anschlägt, lange bevor sie in die Nähe einer echten Akte kommt: eine Kontrolle misst dieses Regelwerk bei jeder Änderung und blockiert, sobald es zu groß zu werden droht. Verlässlichkeit ist hier kein Glück — sie ist eine Kontrolle, die anschlagen muss, damit nichts Kaputtes bei dir ankommt.