AI-tool in strijd tegen online kindermisbruik

05-10-2023

De analisten van het meldpunt Kinderporno (MKP) beoordelen dagelijks duizenden afbeeldingen waarop mogelijk beeldmateriaal van seksueel kindermisbruik te zien is. Een enorme hoeveelheid werk. Bovendien zijn veel afbeeldingen dermate ernstig, dat zij een grote impact hebben op het welzijn van de analisten. Samen met PWC Nederland is daarom met behulp van AI de zogenoemde AI-CSAM-tool ontwikkeld. Zo kunnen we de grote hoeveelheid meldingen efficiënter verwerken en neemt de mentale werkdruk voor de analisten af.

Prioritering en vermindering werkdruk analisten

MKP is mede-ontwikkelaar van de ‘Sexual Child Abuse Reporting’- tool (SCARt). Die wordt gebruikt om automatisch alle afbeeldingen te downloaden van de webpagina’s die zijn aangemeld en ze op een overzichtelijke manier aan te bieden aan de analisten. Daarnaast hebben MKP en PwC samen de AI-CSAM-tool ontwikkeld. Door gebruik te maken van meerdere ‘deep learning’-modellen krijgt de gerapporteerde afbeelding automatisch labels, bijvoorbeeld het aantal personen op de afbeelding, de leeftijd van de personen en de kans dat er naaktheid aanwezig is op de afbeelding. Door beide tools te koppelen, worden de afbeeldingen vanuit SCARt nu automatisch voorzien van de labels uit de AI CSAM-tool. Zo kunnen afbeeldingen beter op volgorde van prioriteit en relevantie behandeld worden.

Stefan Borkent, teammanager van het meldpunt, ziet vooral ook voordelen voor het welzijn van de analisten: ‘Nieuw op te leiden analisten kunnen met deze tool gedoseerd worden blootgesteld aan deze content. Daarnaast geeft het ons de mogelijkheid om analisten die daar behoefte aan hebben, tijdelijk afbeeldingen te laten analyseren die naar alle waarschijnlijk niet in de meest heftige categorie vallen.’

Samenwerking met de sector

Robbert Hoving, directeur-bestuurder van Offlimits (waar MKP deel van uitmaakt),ziet de samenwerking met PwC als een toonbeeld van hoe we moeten samenwerken met de private sector: ‘ Zo kunnen we samen leren en uiteindelijk komen tot een integrale aanpak van online kindermisbruik. Want ieder kind heeft recht op een veilige jeugd.’

Gerald Schaapman, mede-ontwikkelaar van SCARt, is ook positief: ‘Offlimits heeft een enorme hoeveelheid verdacht materiaal die ze moet controleren. Met behulp van de AI-module van PwC kan dit proces veel meer op volgorde van relevantie.’

Flora Slager, consultant data science & analytics bij PwC en een van de ontwikkelaars van de tool, vult aan: ‘We zijn ongelooflijk trots op onze tool en samenwerking met Offlimits. Het gebeurt niet iedere dag dat we zo'n directe impact hebben op de maatschappij. Ik ben bij dit project betrokken sinds ik bij PwC begon. Wanneer ik mensen vertel over wat ik doe, noem ik nog steeds dit project als het werk waarop ik het meest trots ben.’