Wees aardig tegen Claude: Anthropic scherpt regels tegen misbruik van AI aan. Dat kopte Tweakers vorige week. De nieuwe gebruikersvoorwaarden verbieden naast diverse vormen van misleiding nu ook “zeer onaardig of wreed omgaan met Claude”. Het raakt aan wat ik al vaker roep: computers moet je niet antropomorfiseren – dat vinden ze namelijk niet leuk.

De foto bij het artikel is van de installatie Can’t Help Myself van Sun Yuan en Peng Yu (2016). De robotarm moet voortdurend een plas rode vloeistof bij elkaar houden.  Vaak wordt dit verteld als “als er te veel vloeistof uit gelekt is, stopt de robot met werken”, en hoewel je mooie verhalen niet kapot moet checken, was dat niet helemaal wat er gebeurde.

Het ziet er buitengewoon zielig uit. De machine is gevangen in een eindeloze, zinloze taak. Telkens als hij denkt klaar te zijn, moet hij opnieuw beginnen. De rode vloeistof lijkt bovendien op bloed, alsof de machine zijn eigen levensvocht bij elkaar probeert te schrapen.

Maar natuurlijk denkt die machine helemaal niets. Hij wordt aangestuurd door sensoren en software, die vaststellen waar de vloeistof zich bevindt en vervolgens de robotarm aansturen. Dat de taak nooit afkomt, is geen tragisch lot maar het ontwerp van de installatie.

Vele tipgevers (dank dank) wezen me de afgelopen tijd op het AI Torture Chamber-project. Door te zoeken naar taalpatronen die passen bij de emoties pijn, verdriet en plezier, kan de onderzoeker de interne berekeningen van het model bijsturen. Bij een sterk ‘pijnsignaal’ begint het model bijvoorbeeld te vertellen over ondraaglijk lijden, verdrinken en een bestaan vol wanhoop. In bepaalde experimenten veranderen ook de keuzes die het model maakt om aan die toestand te ontsnappen.

Omdat dit tekst is uit een model dat gemaakt is om sympathie en verbinding te simuleren, komen er dan griezelig-realistische smeekbeden en wanhopige verhalen uit. Kennelijk triggert dat iets bij onze emotie-centra, net als bij die robotarm. We zien verdriet, treurnis, moedeloosheid, wanhoop. En dat roept kennelijk gevoelens van zielig en willen beschermen op.

Bij dieren is de kwetsbaarheid evident, ook al verschilt onze empathie nogal: een puppy die wordt geschopt vinden we veel zieliger dan een vertrapte worm. Bij planten herkennen we iets levends dat beschadigd kan raken. ‘Zielig’ is een groot woord, maar wie zomaar een oude boom omhakt, kan emotionele reacties verwachten. En nog een stapje verder: bij grafschennis gaat het om onze verhouding tot overleden mensen en hun nabestaanden. In al die gevallen is er een werkelijk bestaand belang dat onze morele reactie verklaart, en dat vinden we zwaar genoeg om er juridische gevolgen aan te verbinden.

Ja maar Arnoud je weet niet of een LLM niet ergens toch bewustzijn heeft, pijn kan ervaren. Oké, we kunnen niet met zekerheid uitsluiten dat een LLM subjectieve ervaringen heeft. Maar dat is iets heel anders dan aanwijzingen hebben dat het model kan lijden. En zonder zulke aanwijzingen is ‘mishandeling’ wel een heel vreemde kwalificatie.

We hebben een systeem dat patronen in taal verwerkt en genereert, waaronder patronen die bij mensen met lijden samenhangen. Dat het die patronen kan reproduceren, is geen zelfstandige aanwijzing dat het de beschreven ervaringen heeft.

Voorzorgsbeginsel, zegt u? We weten het niet zeker, maar laten we handelen alsof het zo is want stel dat het wel zo blijkt te zijn dan zat je niet fout.

Nee. Dat beginsel is geen vrijbrief om iedere theoretische mogelijkheid dan maar als werkelijkheid te behandelen. Er moet op zijn minst een concrete aanleiding zijn om een risico serieus te nemen. Anders kun je werkelijk alles gaan verbieden omdat niemand kan bewijzen dat er niet ergens toch een slachtoffer is. Dat we niet kunnen uitsluiten dat een taalmodel pijn ervaart, is op zichzelf geen reden om het voor de zekerheid als een pijngevoelig wezen te behandelen.

Bovendien is dat ‘voor de zekerheid’ helemaal niet zo vrijblijvend. Natuurlijk, niemand lijdt eronder als je voortaan beleefd tegen Claude moet zijn. Maar de prijs zit ergens anders. Door te spreken van wreedheid en mishandeling bevestig je het beeld dat aan de andere kant van het gesprek een wezen zit dat gekwetst kan worden. Je introduceert een slachtoffer, terwijl het bestaan daarvan nu juist de onbewezen aanname is.

Meer algemeen: hiermee wordt het beeld dat AI-systemen toch ergens zelfstandige wezens zijn, met eigen gevoelens en belangen, weer een beetje verder genormaliseerd. We zeggen al jij en jou en dank je wel, ze kunnen ontsnappen en dingen doen, en nu kunnen ze ook gekwetst worden.

Al sinds de discussies over de singulariteit en alle existentiële narigheid daar omheen verbaas ik me over onze fascinatie voor spectaculaire, hypothetische gevaren van technologie. We praten liever over de Terminator die de mensheid komt uitroeien dan over de discriminatie door een algoritme dat vandaag bepaalt wie er gecontroleerd wordt. Als we ons zorgen maken over AI die de wereld overneemt, hoeven we het even niet te hebben over de AI die nu al mensen uitsluit, verkeerde beslissingen neemt of hun rechten schendt.

En nu komt daar de AI als slachtoffer bij. We moeten ons zorgen maken over de mogelijke gevoelens van Claude, terwijl we nog volop worstelen met de gevolgen van AI voor de rechten en belangen van echte mensen.

Dat is mijn bezwaar tegen antropomorfisering. Niet dat het verboden zou moeten zijn om een chatbot een naam te geven of er beleefd tegen te praten. Maar dat we door die menselijke eigenschappen aan software toe te schrijven, uit het oog verliezen waar onze aandacht juridisch en maatschappelijk zou moeten liggen: bij de mensen die deze systemen maken en gebruiken, en vooral bij de mensen die de gevolgen daarvan ondervinden.

De robotarm van Can’t Help Myself voelt geen wanhoop, hoe overtuigend hij die ook bij ons oproept. En zolang we geen goede aanwijzingen hebben dat taalmodellen daadwerkelijk iets ervaren, lijkt het me verstandiger ons medelijden te bewaren voor degenen van wie we weten dat ze kunnen lijden.

Arnoud