Juridische AI-dienst ROSS is uit z’n slof geschoten in haar verweerschrift tegen de rechtszaak van Thomson Reuters, las ik bij Artificial Lawyer. De Thomson Reuters dienst Westlaw zou zijn gebruikt als bron om ROSS te trainen, en daardoor op een of andere manier haar rechten schenden. Wat volgens ROSS volkomen onlogisch is: dat zou dan gaan om rechten op tussenkopjes en andere verrijkte informatie, maar ROSS werkt juist het beste omdat ze alleen naar brondata kijkt.
ROSS is de bekendste juridische AI: ze zoeken relevante rechtspraak bij cases die je erin stopt, wat in de VS en Engeland het belangrijkste middel is om een aanklacht of verweer te ondersteunen. En vooral: er is véél meer rechtspraak dan bij ons, want honderd jaar teruggaan is niet raar in common law rechtssystemen.
ROSS is er vrij goed in, wat natuurlijk (naast de inzet van torenhoge IBM machines) komt door hun uitgebreide dataset. En dat is waar Thomson over valt: die stellen dat hún data er voor is gebruikt. Thomson maakt namelijk annotaties van rechtspraak, inclusief indexaties, tussenkopjes en verwijzingen. Dat verkopen ze dan voor veel geld aan advocatenkantoren – wat een stuk beter gaat omdat er eigenlijk geen fatsoenlijke openbare bronnen van wetten en met name jurisprudentie zijn in deze landen.
De beschuldiging aan ROSS lijkt gebaseerd op het werk van een toeleverancier die wetten en case law uit de Thomson database heeft gehaald en dat heeft opgestuurd inclusief tussenkopjes en annotaties. ROSS heeft nu interne mails overlegd waaruit blijkt dat ze nadrukkelijk dat hebben afgekeurd: ze hebben daar namelijk niets aan omdat het machine learning algoritme juist gaat om het leren uit de bronteksten. Wat vrij logisch klinkt voor mij, en zoals ze zelf zeggen:
In fact, anyone that accesses our platform (which is freely accessible through our website) can readily see that we have no editorialized content. It has always been our view that the editorialized content approach, in addition to being fallible and difficult to quality-check, produces work that is stale the moment it is published. That is the old legal research playbook. We chose a new way.
De grote frustratie is uiteraard dat je dan uberhaupt in actie moet komen tegen zo’n onzineis. En dat is in de VS echt wel een probleem, want in de fase waar men nu is (discovery) heb je rustig een ton neer te leggen om je te verweren en de gevraagde informatie te overleggen. Discovery is namelijk de verplichting om álle relevante materialen af te geven aan je wederpartij, en dat zijn meerdere vrachtwagens als je niet uitkijkt.
Arnoud