Een nieuwe tool wekt verwachtingen. Computers zien er betrouwbaar uit, nieuwe tools nog meer en nieuwe tools met de sticker “Artificial Intelligence” al helemaal. Dat belooft veel! Helemaal als het dan gaat om AI die dingen (bijna) kan die mensen gewend zijn zelf te doen. De verwachtingen zijn dan snel hoog, en dat is lastig want een computersysteem kan geen 100% perfectie leveren.

Mensen zijn natuurlijk ook niet perfect, maar bij mensen weten we vaak ongeveer wat voor sóórt fouten ze gaan maken. Een stagiair heeft basiskennis maar kan vaak niet de diepte in. Een partner of directeur weet ongeveer alles, maar berijdt wel stokpaardjes en kan traag van reactie zijn of dingen wegwuiven als triviaal die dat voor de klant niet zijn. De medewerker daar tussenin heeft het heel druk en kan doorschieten in toepassen wat hij het recentst geleerd heeft. Dat soort dingen.

Een tool maakt ook fouten, maar dan van een heel ander kaliber. Een contractentool past niet de laatste wetgeving toe. Een AI classificeert een tekst verkeerd en klaagt dan dat de tekst “Partijen komen overeen dat” geen goede garantie over beschikbaarheid is. Dat is niet goed, maar omdat het zulke niet-menselijke fouten zijn terwijl de AI wel menselijk lijkt, komt dat disproportioneel raar over. Een stukje teleurstelling, denk ik. Deze AI was toch zo slim, hoe kan dit nou?

Lang geleden zag uw eerste auteur een demonstratie van een spraakherkenning-interface met een butler. Die werkte best goed maar de fouten werden als zeer storend ervaren. Toen verving men de butler door een puppy en de subjectieve kwaliteitsbeleving schoot omhoog. Waarom? Puppies mogen fouten maken, dat is zelfs schattig. Maar een butler, dat is een domeinexpert dus die mag geen fouten maken.

Een juridische tool wordt ook op die manier benaderd. Dat is een computer, getraind in dit domein, dús een domeinexpert. Hij moet dus hetzelfde presteren als een senior partner. Fouten, zeker rare fouten, zijn dan onvergeeflijk. En dat is best raar want vervolgens gaat die tool standaardwerk doen zoals arbeidscontracten produceren, standaardcontracten nalopen of einddatums extraheren uit een serie documenten omdat men een bedrijfsovername wil doen. Dat is typisch werk waar je een stagiair op inzet en geen partner. Terecht, want het is niet heel moeilijk maar wel veel. En het soort fouten dat daarbij te maken is, is redelijk te overzien en moet geen al te grote risico’s opleveren.

Hoe meer ik hier over nadenk, hoe lastiger ik het vind. Het is in dit verband erg leuk om te zien dat de grootste adoptie van legal tech dan ook vanuit onverwachte hoe komt. Zo ken ik een mkb-bedrijf in de ict waar één zwaar overwerkte bedrijfsjurist verantwoordelijk voor alle contracten. Omdat het product (een handige app voor de agrarische sector) zeer snel liep, besloot de directeur samen met de jurist tot aanschaf van een contractmanagementtool. Daarmee zou zijn werk een stuk soepeler moeten lopen. Helaas bleek dat tegen te vallen: de steile leercurve en de tijd voor het ‘voeden’ van het systeem zorgde alleen maar voor meer vertraging bij de arme jurist.

Daarop besloot de directeur tot een rondvraag: wie zou baat hebben bij deze tool. Dat bleken de salesmedewerkers wel te hebben, en zij draaiden in een weekend hun standaard offerte met varianten voor de service level agreement in het systeem. Zo konden zij in de gewone gevallen snel een contract samenstellen, inclusief varianten die ze met de jurist afgestemd hadden. Die arme man werd vervolgens pas weer gebeld als de klanten rare dingen wilden. En ik denk dus dat die salesmensen heel anders tegen die contracten-AI aankijken dan die jurist.

Arnoud

Source