Een lastig debat in de AI-Act wereld: is een AI scribe hoogrisico? Heel kort door de bocht is dat tekst-naar-spraaksoftware die een consult transcribeert en er samenvattingen met actiepunten van maakt. De Zweedse toezichthouder heeft recent bepaald dat dit wél hoogrisico is, terwijl eerder vaak werd verdedigd van niet.

De classificatie is een samenloop met de MDR, de Medical Device Regulation die strikte regels voor medische hulpmiddelen stelt. Die kent vier klassen, om onnavolgbare redenen I, IIa, IIb en III geheten. Producten in klasse IIa en hoger mogen pas op de markt na externe goedkeuring, een klasse I product heeft dat niet nodig.

De AI verordening verklaart producten met AI hoogrisico wanneer ze onder hun ‘eigen’ regulering een externe goedkeuring nodig hebben. Bij medische producten dus als ze MDR IIa of hoger zijn, waardoor medtech-aanbieders héél graag in klasse I willen blijven.

Een populair medisch AI-hulpmiddel is dus die scribe, omdat je als arts veel conversatie hebt en geen tijd krijgt voor het uitwerken daarvan. Tekst-naar-spraakomzetting scheelt, maar dan krijg je een lap tekst van het gesprek. Wat je eigenlijk wilt, zijn klinische notities, patiëntbrieven of behandelplannen op basis van het gesprek. De belofte van scribe-aanbieders is dat ze dát voor je kunnen doen.

De meeste classificatieregels uit de MDR gaan over “echte” hulpmiddelen, van steriele naalden tot chirurgische robots zeg maar. Voor software is er één relevante regel, bijlage VIII regel nummer 11:

Software voor het verstrekken van informatie die gebruikt wordt bij het nemen van beslissingen voor diagnostische of therapeutische doeleinden behoort tot klasse IIa, tenzij [leven en dood of fysiologisch monitoren, dan IIb of III] Alle overige software behoort tot klasse I.

De argumentatie ligt voor de hand: scribe software is “overig” want niet betrokken bij de besluitvorming. Daar denken ze in Zweden nu anders over. Het volledige rapport is nog niet beschikbaar, maar AI-leverancier Tandem zegt er over:

Sweden’s Medical Products Agency’s position is that the completed documentation generated by the scribe is used as the basis for decisions in the continued care process, not just the current visit. That is what brings it under the higher classification.

Je zou immers kunnen zeggen dat de AI-uitvoer naar de arts gaat, die er dan nog wat mee doet en dát in het dossier stopt. Dan is het de arts die de klinische notitie of brief maakt. Maar omdat het structureel is, is het toch echt de AI-tool zelf die het behandelplan, brief of notitie maakt.

De Zweden formuleren drie vuistregels:

  • De uitvoer wordt in het verdere zorgproces als zodanig gebruikt, ongeacht of deze zelf een beslissing vormt.
  • Het AI-product ontstijgt de pure transcriptie en doet ook zaken als inferentie, structureren en interpretatie van de transcriptie (zoals die klinische notities).
  • Het doet er niet toe of de AI-uitvoer voor of na het nemen van de behandelbeslissing door de arts aangeleverd wordt (zie punt 1).

 

Die tweede vuistregel is uiteindelijk de belangrijkste. Bij Tandem werd in de eigen risicobeoordeling genoemd dat een interpretatiefout tot risico’s voor de patiënt kan leiden. Daarmee staat vast dat de verdere behandeling wordt beïnvloed door de AI-uitvoer. (Wie HBO heeft, moet The Pitt kijken en zal dan zien hoe dit mis kan gaan. CAICO’s en CHCO’s: 1 PE punt.)

Steeds meer marktpartijen zijn nu bezig met een MDR klasse IIa certificering. De grote uitdaging hierbij is dat er nog geen standaarden zijn voor het AI-gedeelte hiervan. Mede hierom is de toepasselijkheid van de AI-verordening op medische hulpmiddelen uitgesteld tot 2 augustus 2028. Maar door beslissingen als deze moet je er nú al iets mee als leverancier.

Arnoud