Un essai sur le terrain à grande échelle sur l’intégration de l’intelligence artificielle générative (IA) dans le système judiciaire du pays a révélé que l’utilisation de l’IA permettait de résoudre 1 848 cas supplémentaires par an, soit une augmentation de plus de 6 % par rapport à la moyenne, a-t-on appris vendredi. « Cette augmentation ne semble pas se faire au détriment d'une qualité réduite », observe un document de recherche sur le déploiement d'un assistant d'IA générative dans les tribunaux de première instance du Pakistan, intitulé « Les tribunaux de demain : preuves d'un déploiement national d'IA générative », publié mardi. Les auteurs de l’article, les chercheurs Sultan Mehmood, Christoph Goessmann et Elliott Ash, ont déclaré que l’assistant personnalisé – nommé JudgeGPT – était un chatbot basé sur la famille de modèles GPT-4 d’OpenAI. Il a été adapté au contexte pakistanais et a fait l’objet de tests bêta « intensifs » auprès de l’Académie judiciaire fédérale avant d’être déployé pour être utilisé par 1 559 juges en poste dans 118 tribunaux. Selon les résultats, sa mise en œuvre est plus efficace lorsqu'elle est associée à une formation ciblée des juges sur l'utilisation de l'outil. L'essai a révélé que l'introduction de l'assistant parallèlement à une formation ciblée correspondait à la résolution de 1 848 cas supplémentaires par an, soit une augmentation de 6,3 % par rapport à la moyenne. « Les juges qui ont bénéficié d’un accès à l’IA ainsi que d’une formation ciblée sur l’utilisation de l’outil étaient plus susceptibles de l’adopter, de l’utiliser de manière plus intensive et de continuer à l’utiliser au fil du temps », note l’étude. « Leur attitude à l’égard de l’IA change également : ils s’attendent à ce que l’outil et la formation ciblée augmentent leur productivité. » Il a été constaté qu’une formation ciblée sur la mise en œuvre de l’outil d’IA orientait apparemment son utilisation vers des tâches pour lesquelles les modèles linguistiques étaient « susceptibles d’être plus utiles », comme l’amélioration du texte, et s’éloignait des requêtes juridiques plus ouvertes « où les réponses sont plus coûteuses à vérifier », ajoute-t-il. Le procès a été mené auprès « d’environ la moitié des juges de première instance du pays et de 80 % des tribunaux de district », avec 1 559 juges répartis au hasard en trois groupes pour l’étude. Of these, one group was given access to JudgeGPT with targeted training on how to use the tool in judicial work, while one was given access to the tool with only “generic training” on technology and law. Le groupe témoin a reçu une formation générique sans accès à l'assistant. Les résultats ont été mesurés via une enquête de référence sur les attitudes des juges à l’égard de l’IA générative, suivie d’une autre enquête environ trois mois après le déploiement qui mesurait les perceptions post-traitement et les gains de productivité attendus. Les enregistrements de la plateforme JudgeGPT ont également été consultés pour mesurer l'adoption et déterminer le type de tâches que les juges ont assignées à l'outil. En outre, les dossiers des tribunaux administratifs au niveau du district ont été consultés pour examiner si l'affectation de juges à l'outil d'IA augmentait la résolution des affaires locales. Les avis judiciaires d’avant et d’après le procès ont également été utilisés pour évaluer ses effets sur la qualité de l’écriture et « si l’IA modifiait les attitudes écrites à l’égard du genre ou de la religion ». Les résultats ont montré que, même si les opinions post-traitement des juges « traités » contenaient plus de texte classé comme généré par l’IA que celles du groupe témoin, il y avait peu de preuves que cela entraînait une détérioration de la qualité de l’écriture. "Au contraire, l'IA a un effet positif sur l'évaluation de la qualité." L’étude a également noté « peu de preuves de changements systématiques dans les préjugés pro-musulmans ou sexistes dans le langage judiciaire ». Il a été constaté que les juges utilisaient principalement l’outil pour la recherche juridique et l’aide à la rédaction, tandis que la formation ciblée orientait son utilisation vers « des tâches d’assistance limitées telles que l’amélioration et la synthèse de textes, plutôt que la génération de texte intégral ». "Ces utilisations sont bien adaptées aux grands modèles linguistiques et sont plus susceptibles de préserver l'autorité judiciaire", ajoute l'étude. Dans ses conclusions, il a noté que l’accès à JudgeGPT augmentait l’utilisation de l’IA, mais qu’un engagement durable dépendait fortement d’une formation ciblée. « Nous n’étudions pas l’IA en remplacement des juges », indique le journal. « Nous l’étudions comme un outil susceptible de changer la manière dont les juges effectuent les parties récurrentes de leur travail. » Il ajoute : "Pour les systèmes judiciaires confrontés à des retards persistants, l'IA n'est donc pas une panacée. Mais lorsqu'un outil est construit autour de documents juridiques pertinents et associé à une formation qui oriente son utilisation vers des tâches appropriées, il peut devenir un outil pratique pour améliorer la capacité de l'État". En avril, le Comité national d'élaboration des politiques judiciaires (NJPMC) a officiellement publié des lignes directrices nationales pour l'utilisation de l'IA dans les institutions judiciaires. Les principaux points forts des lignes directrices incluent une approche centrée sur l’humain par laquelle l’IA assisterait – et non remplacerait – la prise de décision judiciaire, garantissant que les juges restent les « arbitres ultimes ». De même, il encouragera une utilisation éthique et transparente, en fournissant de solides garanties contre les préjugés, en mettant l’accent sur l’explicabilité et la responsabilité.