Ein groß angelegter Feldversuch zur Integration generativer künstlicher Intelligenz (KI) in das Justizsystem des Landes ergab, dass der Einsatz von KI dazu führte, dass pro Jahr zusätzlich 1.848 Fälle gelöst wurden, was einem Anstieg von mehr als sechs Prozent gegenüber dem Durchschnitt entspricht, wie am Freitag bekannt wurde. „Dieser Anstieg scheint nicht auf Kosten einer verminderten Qualität zu gehen“, heißt es in einem am Dienstag veröffentlichten Forschungsbericht über die Einführung eines generativen KI-Assistenten in den pakistanischen Gerichten mit dem Titel „Courts of Tomorrow: Evidence from a Nationwide Rollout of Generative AI“. Die Autoren des Papiers, die Forscher Sultan Mehmood, Christoph Goessmann und Elliott Ash, sagten, dass der benutzerdefinierte Assistent mit dem Namen JudgeGPT ein Chatbot sei, der auf der GPT-4-Modellfamilie von OpenAI basiere. Es wurde an den pakistanischen Kontext angepasst und mit der Federal Judicial Academy einem „intensiven Betatest“ unterzogen, bevor es von 1.559 Richtern an 118 Gerichten eingesetzt wurde. Den Ergebnissen zufolge ließ es sich am effektivsten umsetzen, wenn es mit einer gezielten Schulung der Richter zur Verwendung des Tools kombiniert wurde. Die Studie ergab, dass die Einführung des Assistenten zusammen mit einer gezielten Schulung zu einer zusätzlichen Lösung von 1.848 Fällen pro Jahr führte, was einer Steigerung von 6,3 Prozent gegenüber dem Durchschnitt entspricht. „Richter, die KI-Zugang zusammen mit einer gezielten Schulung zur Nutzung des Tools erhielten, neigten eher dazu, es zu übernehmen, es intensiver zu nutzen und es im Laufe der Zeit weiter zu nutzen“, heißt es in der Studie. „Auch ihre Einstellung gegenüber KI ändert sich: Sie erwarten, dass das Tool und die gezielte Schulung ihre Produktivität steigern.“ Es wurde festgestellt, dass eine gezielte Schulung zur Implementierung des KI-Tools dessen Einsatz offenbar auf Aufgaben verlagert, bei denen Sprachmodelle „wahrscheinlich nützlicher sind“, wie z. B. Textverbesserung, und weg von eher offenen Rechtsfragen, „bei denen die Überprüfung der Antworten teurer ist“, fügte sie hinzu. Der Prozess wurde unter „ungefähr der Hälfte der Prozessrichter des Landes und 80 Prozent der Bezirksgerichte“ durchgeführt, wobei 1.559 Richter für die Studie zufällig in drei Gruppen eingeteilt wurden. Von diesen erhielt eine Gruppe Zugang zu JudgeGPT mit einer gezielten Schulung zum Einsatz des Tools in der Justizarbeit, während eine Gruppe nur mit einer „allgemeinen Schulung“ zu Technologie und Recht Zugang zu dem Tool erhielt. Die Kontrollgruppe erhielt eine allgemeine Schulung ohne Zugang zum Assistenten. Die Ergebnisse wurden anhand einer Basisumfrage zur Einstellung von Richtern zur generativen KI gemessen, gefolgt von einer weiteren Umfrage etwa drei Monate nach der Einführung, bei der die Wahrnehmungen nach der Behandlung und die erwarteten Produktivitätssteigerungen gemessen wurden. Außerdem wurde auf die Aufzeichnungen der JudgeGPT-Plattform zugegriffen, um die Nutzung zu messen und festzustellen, welche Art von Aufgaben die Richter dem Tool zugewiesen haben. Darüber hinaus wurde auf die Aufzeichnungen von Verwaltungsgerichten auf Bezirksebene zugegriffen, um zu untersuchen, ob die Zuordnung von Richtern zum KI-Tool die lokale Falllösung steigerte. Auch gerichtliche Gutachten vor und nach dem Prozess wurden herangezogen, um die Auswirkungen auf die Schreibqualität und „ob KI die schriftliche Einstellung gegenüber Geschlecht oder Religion veränderte“ zu bewerten. Die Ergebnisse zeigten, dass die nach der Behandlung abgegebenen Meinungen der „behandelten“ Richter zwar mehr als KI-generiert eingestuften Text enthielten als die der Kontrollgruppe, es jedoch kaum Hinweise darauf gab, dass dies zu einer Verschlechterung der Schreibqualität führte. „Wenn überhaupt, gibt es einen positiven Effekt von KI auf die Qualitätsbewertung.“ Die Studie stellte auch fest, dass es „wenig Hinweise auf systematische Veränderungen in der pro-muslimischen oder geschlechtsspezifischen Voreingenommenheit in der Rechtssprache“ gibt. Es wurde festgestellt, dass Richter das Tool in erster Linie für juristische Recherchen und Schreibunterstützung nutzten, während gezielte Schulungen den Einsatz auf „begrenzte Unterstützungsaufgaben wie Textverbesserung und -zusammenfassung statt Volltextgenerierung“ verlagerten. „Diese Verwendungen eignen sich gut für große Sprachmodelle und bewahren mit größerer Wahrscheinlichkeit die richterliche Gewalt“, heißt es in der Studie weiter. In seinen Schlussfolgerungen stellte es fest, dass der Zugang zu JudgeGPT den KI-Einsatz nachweislich steigerte, nachhaltiges Engagement jedoch stark von gezielter Schulung abhing. „Wir untersuchen KI nicht als Ersatz für Richter“, heißt es in dem Papier. „Wir untersuchen es als ein Werkzeug, das die Art und Weise verändern kann, wie Richter wiederkehrende Teile ihrer Arbeit ausführen.“ Es fügte hinzu: „Für Justizbehörden, die mit anhaltenden Rückständen konfrontiert sind, ist KI daher kein Allheilmittel. Wenn ein Tool jedoch auf relevanten rechtlichen Materialien basiert und mit einer Schulung gepaart wird, die den Einsatz auf entsprechende Aufgaben ausrichtet, kann es zu einem praktischen Instrument zur Verbesserung der staatlichen Kapazitäten werden.“ Im April hat das National Judicial Policy Making Committee (NJPMC) offiziell nationale Richtlinien für den Einsatz von KI in Justizinstitutionen herausgegeben. Zu den wichtigsten Highlights der Richtlinien gehört ein menschenzentrierter Ansatz, durch den KI die richterliche Entscheidungsfindung unterstützen – und nicht ersetzen – soll, um sicherzustellen, dass Richter weiterhin die „ultimativen Schiedsrichter“ bleiben. Ebenso wird es eine ethische und transparente Nutzung fördern und starke Schutzmaßnahmen gegen Voreingenommenheit bieten, wobei der Schwerpunkt auf Erklärbarkeit und Rechenschaftspflicht liegt.