Es gibt in San Francisco einen Mann, der seit Jahren über künstliche Intelligenz schreibt, dem Zehntausende folgen, der an die Sache glaubt und der nicht im Verdacht steht, ein Skeptiker zu sein. Vor einiger Zeit nahm er sich einen Monat, gemeinsam mit zwei ebenso klugen, ebenso überzeugten Leuten, mit einem einzigen Ziel: die repetitiven Teile ihres Arbeitstags an die KI abzugeben. Fünf Stunden am Tag zurückgewinnen. Das war der Plan. Sie wussten, wie die Werkzeuge funktionieren. Sie hatten die neuesten Modelle. Sie hatten die Motivation.
Am Ende des Monats hatten sie fast nichts Nennenswertes automatisiert.
Nicht, weil sie es falsch angestellt hätten. Sondern weil das, was sie zurückgewinnen wollten, sich als überraschend widerspenstig erwies. Jede einzelne Aufgabe ließ sich mit KI ein bisschen schneller erledigen. Aber der Traum — hinsetzen, einmal einrichten, und dann läuft es — blieb ein Traum. Am Ende hatten sie eine Sammlung von Werkzeugen, die einzelne Handgriffe erleichterten, und keinen einzigen Nachmittag mehr in der Woche.
Das ist keine Geschichte über inkompetente Nutzer. Es ist die ehrlichste Geschichte, die über den heutigen Stand der Dinge erzählt wird — und sie wird selten erzählt, weil sie sich schlecht verkauft.
Was der Anwalt neben euch wirklich macht
Fragt einen Kollegen, der KI benutzt, wie es konkret abläuft. Nicht, was er auf dem Panel erzählt — was er am Dienstagnachmittag tatsächlich tut.
Es klingt meistens so: Er stellt dem Chatbot eine Frage. Er bekommt eine Antwort, die gut aussieht. Er kopiert sie in Word. Er formatiert sie um, weil das Format nicht stimmt. Er liest sie durch und findet die Stelle, an der das Modell eine Norm zitiert, die es so nicht gibt, oder ein Urteil, das nicht passt, oder eine Jahreszahl, die falsch ist. Er korrigiert das. Er liest noch einmal, weil er dem ersten Fund nicht mehr traut. Dann erst schickt er es raus.
Ist das schneller als vorher? In manchen Fällen ja, ein bisschen. Ist es das Werkzeug, das ihm den Tag zurückgibt? Nein. Es ist ein sehr eloquenter Praktikant, dem er jeden Satz nachprüfen muss, weil der Praktikant mit vollkommener Überzeugung Dinge behauptet, die nicht stimmen.
Und hier ist der Teil, den die Anbieter ungern hören: Genau so ist es auch bei uns. Jedes dieser Systeme — Mila, Claude, ChatGPT, wie sie alle heißen — halluziniert. Es erfindet gelegentlich ein Aktenzeichen, das es nicht gibt. Es ist überzeugt, ein Dokument liege in der Akte, das nie hochgeladen wurde. Es sagt mit fester Stimme »das haben wir doch schon geklärt«, wenn nichts geklärt wurde. Das ist kein Randproblem, das man wegkonfiguriert. Es ist die Natur der Sache, und wer euch etwas anderes erzählt, verkauft euch etwas.
»Es ist ein sehr eloquenter Praktikant, dem ihr jeden Satz nachprüfen müsst — weil er mit vollkommener Überzeugung Dinge behauptet, die nicht stimmen.«
Die Frage, die eine Anwältin gestellt hat
Eine Anwältin, mit der wir arbeiten, hat es auf den einzigen Satz gebracht, der zählt. Sie sah sich die Systeme an, sie sah die Halluzinationen, und sie fragte: »Und wie soll ich das als Anwältin benutzen?«
Das ist keine rhetorische Frage. Es ist die Frage. Für eine Anwältin ist ein Werkzeug, das in einem von zwanzig Fällen selbstbewusst lügt, nicht ein bisschen unzuverlässig — es ist unbenutzbar, wenn ihr Name unter dem Schriftsatz steht und ihre Berufshaftpflicht am Ende geradesteht. Ein Praktikant, der manchmal Urteile erfindet, ist kein Praktikant. Er ist ein Risiko.
Man kann diese Frage auf zwei Arten beantworten. Die eine ist, sie wegzureden: Ach, das wird schon besser, die nächste Modellgeneration, warten Sie mal ab. Das ist die Antwort der Leute, die etwas verkaufen wollen.
Die andere ist, die Frage ernst zu nehmen. Zu sagen: Ihr habt recht. Als das, was es heute ist — ein Chatbot, dem man Fragen stellt — taugt es für die anwaltliche Kernarbeit nicht, weil ihr jeden Satz gegenprüfen müsst und die Prüfung euch die Zeit wieder frisst, die das Werkzeug angeblich spart. Diese Antwort verkauft nichts. Aber sie ist wahr, und sie ist der einzige ehrliche Ausgangspunkt.
Warum das kein Anti-KI-Essay ist
Man könnte an dieser Stelle den Schluss ziehen: also alles Hype, lasst die Finger davon, kommt in fünf Jahren wieder. Das wäre bequem und falsch.
Denn dieselbe Technik, die als Chatbot ein eloquenter Lügner ist, leistet in einem eng gesteckten, geprüften Rahmen Erstaunliches. Der Fehler liegt nicht in der Technik. Er liegt in der Erwartung. Die Erwartung ist: Hier ist ein Ding, du redest mit ihm, und es gibt dir dein Leben zurück. Die Realität ist: Hier ist ein Ding, das einzelne Aufgaben glatter macht und das man an der kurzen Leine führen muss, sonst richtet es Schaden an.
Der Bay-Area-Mann und seine zwei klugen Freunde scheiterten nicht an der Technik. Sie scheiterten an der Erwartung, dass man einer Technik, die für Gespräche gebaut ist, einen Arbeitsprozess übergeben kann, indem man nett mit ihr redet. Das geht nicht. Ein Gespräch ist kein Prozess. Ein Chatbot, so klug er klingt, ist ein Dokument, das zurückredet — und ein zurückredendes Dokument gibt euch nicht den Nachmittag zurück.
Was den Nachmittag zurückgibt, ist etwas anderes. Es ist nicht das Modell. Es ist die Struktur, die man um das Modell herum baut — die Struktur, die dafür sorgt, dass die letzten zwanzig Prozent aus Essay Nummer zwei nicht jeden Tag von Hand nachgezogen werden, und die dafür sorgt, dass die Halluzination aus diesem Essay gar nicht erst bis zum Schriftsatz durchkommt.
Aber bevor wir darüber reden, was diese Struktur ist, müssen wir ehrlich benennen, was ein Chatbot eigentlich ist — und warum er als das, was die meisten Leute darin sehen, ein sehr begrenzter Anwendungsfall bleibt. Das ist der nächste Essay.
Geschrieben von Marcus Greinke, Mitgründer von Mila. Diese Reihe erscheint donnerstags.