Op de spoedeisende hulp van het St. Antonius Ziekenhuis in Utrecht wordt sinds begin deze maand gebruikgemaakt van artificiële intelligentie (AI). Dat meldde lokale krant DUIC. Het systeem adviseert bij de beslissing of mensen moeten worden opgenomen of niet, zodat men eerder kan beginnen met plannen. Een mooiere aanleiding om mijn boek te pluggen, pardon het over de AI Act te hebben weet ik even niet.
Het ziekenhuis legt uit hoe het werkt:
Het algoritme gebruikt gegevens zoals leeftijd, bloedwaarden, hartslag en de hoofdklacht, om te voorspellen welke patiënten waarschijnlijk moeten worden opgenomen en welke ontslagen kunnen worden. Voor elke patiënt berekent het algoritme elke 5 minuten opnieuw de kans op opname of ontslag en past de verwachting aan als nieuwe uitslagen daar aanleiding toe geven.
Het voornaamste doel is sneller het proces van opnemen (bed vrijmaken, behandelaars alarmeren et cetera) op gang brengen. Dit kan in de praktijk soms uren duren, zeker als een buitenbed geregeld moet worden. Het blijft een advies, zo benadrukt men: uiteindelijk beslist altijd de arts.
Valt dit nu onder de AI Act als een hoogrisico-toepassing? Dat kan in twee gevallen in de context van gezondheidszorg:
- De AI is een gereguleerd apparaat onder de Medical Device Regulation (MDR), of een veiligheidscomponent daarvan.
- De AI is bedoeld om noodoproepen te classificeren of afhandeling te prioriteren, of voor de triage van patiënten die dringend medische zorg behoeven.
Over die tweede kan ik kort zijn. We zijn hier al voorbij de triage, want de patiënt is al binnen bij de SEH en er moet worden vastgesteld wat er nu met deze moet gebeuren. Triage is bij de deur bepalen hoe kritiek de hulpbehoefte is en of de patiënt naar binnen moet. Dat is dus niet van toepassing.
De MDR reguleert medische hulpmiddelen. Dit zijn apparaten, isntrumenten “of andere artikelen” die bestemd zijn om bij de mens te dienen voor
diagnose, preventie, monitoring, voorspelling, prognose, behandeling of verlichting van ziekte, diagnose, monitoring, behandeling, verlichting of compensatie van een letsel of een beperking, [etc]
Deze softwaretool wordt gebruikt voor monitoring en voorspelling bij mensen met ziekte, letsel of beperking. Dat het enkel gaat om een advies, maakt daarbij niet uit. Deze tool is dus een medisch hulpmiddel op zich, en daarmee hoogrisico.
Hoogrisico betekent: doe een conformiteitsassessment, heb een kwaliteits- en risicomanagementsysteem en zorg dat je data kwalitatief goed is. Screen op dingen die mis kunnen gaan, en heb een proces om in te grijpen.
Gelukkig voor het Antonius krijgen ze pas over drie jaar met deze eisen te maken, want voor gereguleerde producten kent de AI Act een uitgesteld regime. Heel erg is dat niet, want de MDR kent zelf ook al dergelijke eisen, waar een ziekenhuis overigens prima mee om kan gaan.
In deze analyse ben ik totaal niet ingegaan op hoe accuraat, zorgwekkend, vernieuwend of anderszins risicovol de toepassing is. Daar is een leuke boom of wat over op te zetten, natuurlijk. Er is het al wat oudere voorbeeld van een triage-AI die patiënten met een mogelijke beginnende longontsteking aanraadt het nog een nachtje aan te kijken. Prima advies, alleen niet als de patiënt astma heeft – dan moet je direct naar de SEH. Alleen zat die uitkomst niet in de dataset.
Het punt van de AI Act is: dat doet er niet toe. De analyse is formeel. Je kijkt of je valt onder een van de gereguleerde producten of een van de genoemde use cases. Zo ja, ben je hoog risico. Zo nee, ben je dat niet. Dat de AVG of andere wetgeving er iets van vindt in termen van risico, staat daar helemaal los van.
Weten hoe de AI Act precies in elkaar steekt? Koop dan mijn boek The Annotated AI Act. In 411 pagina’s krijg je elk artikel van deze nieuwe wet geduid en van context voorzien.
Arnoud
