Risico’s van algoritmes? Kijk naar Nederland

NRC

Privacy- Er zijn te veel slechte ervaringen met algoritmen bij overheidsinstanties, schrijft Nadia Benaissa. Veranker mensenrechten in de AI-verordening.

(Tekst loopt door onder de foto.)

Mark Rutte tijdens de parlementaire enquête Toeslagenaffaire in 2020. Foto Werry Crone.

Als er in Europa wordt gezocht naar voorbeelden waarmee de risico’s van AI zichtbaar worden, wordt er steevast naar Nederland gekeken. Zo mag DUO, de uitvoerder van de studielening, een fraudeopsporingsalgoritme niet meer gebruiken, omdat het er ernstig op lijkt dat dat discrimineert. Daarnaast hebben verschillende gemeenten fraudeopsporingsalgoritmen ingezet die discrimineren. Bovendien zette het ministerie van Buitenlandse Zaken een algoritme racistisch in bij visumaanvragen, ondanks waarschuwingen van de functionaris gegevensbescherming. En als klap op de vuurpijl: het Toeslagenschandaal. (...)

Maar in de onderhandelingen over de AI-verordening dringt Nederland erop aan dat er geen strikt verbod moet komen op biometrische identificatie. Die technologie kunnen opsporingsdiensten namelijk goed gebruiken. Alleen blijkt de politie nu al geen grip te hebben op een gezichtsherkenningsdatabase waarin tienduizenden mensen onterecht staan opgenomen. (...)

Uit onderzoek van Follow The Money bleek onlangs dat Nederlanders onterecht op ‘terreurlijsten’ terechtkomen, zonder dat ze daadwerkelijk verdacht worden van een strafbaar feit. (...)

Mensenrechten zijn er om mensen te beschermen, ook – of misschien vooral – tegen de overheid. En Nederland laat uitstekend zien waarom het geen overbodige luxe is om ervoor te zorgen dat die rechten beschermd worden in de AI-verordening. (...)

Hele artikel

> Zie ook: De Europese AI-wet dreigt te worden afgezwakt, onder druk van de techlobby (NRC)

Tags: #nederlands #eu #europese_unie #ai #kunstmatige_intelligentie #algoritme #toeslagenaffaire #duo #belastingdienst #overheid #democratie #rechtsstaat #fraude #fraudebestrijding #uitkeringen #kinderopvangtoeslag #discriminatie #racisme #fsv #Fraudesignaleringsvoorziening #gezichtsherkenning

De ‘cowboys’ van de Belastingdienst kregen opdracht bij opsporing ‘grenzen op te zoeken’

Trouw

Het management van Belastingdienst wist al in 2014 dat ook onschuldige toeslagenouders tot fraudeur werden bestempeld.

(Tekst loopt door onder de foto.)

Staatssecretaris Marnix van Rij (belastingen) staat de pers te woord na afloop van de wekelijkse ministerraad. Beeld ANP.

Het speciale fraudeopsporingsteam CAF kreeg bij de oprichting in 2013 nadrukkelijk opdracht ‘de grenzen op te zoeken’ bij het opsporen van fraude. Al in 2014 was bij het management van de Belastingdienst bekend dat het CAF ‘veelvuldig’ de wettelijke grenzen opzocht.

Ook was toen bekend dat zeker 20 procent van de ouders van onderzochte gastouderbureau’s hierdoor ten onrechte beschuldigd zouden worden van fraude. Er werd met die informatie niets gedaan.

Het zogeheten CAF-team van de Belastingdienst kreeg bij zijn oprichting in 2013 zelfs nadrukkelijk de opdracht zo creatief mogelijk te werk te gaan bij de fraudeopsporing. Ze mochten daarbij methodes gebruiken waarvan ‘de juridische kaders nog niet helemaal zijn uitgekristalliseerd’. In het plan van aanpak staat hoever het CAF-team mocht gaan: ‘Als niet op voorhand duidelijk is dat iets niet mogelijk is binnen de huidige regelgeving, doen we het.’

Opvallend is dat al in 2014 wordt besproken dat bij de jacht op foute gastouderbureaus er rekening mee moet worden gehouden dat 20 procent van de ouders te goeder trouw is. Toch kunnen deze ouders door de aanpak van het CAF-team wel als fraudeur te boek komen te staan, waarschuwt een manager.

Er wordt echter geen voorstel of actie ondernomen om deze ‘te goedertrouw’-ouders daadwerkelijk te beschermen tegen de onconventionele aanpak. (...)

Hele artikel

Tags: #nederlands #nederland #toeslagen #toeslagenaffaire #toeslagen #belastingdienst #overheid #democratie #rechtsstaat #fraude #fraudebestrijding #uitkeringen #Kinderopvangtoeslag #discriminatie #racisme #fsv #Fraudesignaleringsvoorziening

Bancair sleepnet is geen goed idee

Privacy First

Transactie Monitoring Nederland hoort er niet te komen

Sinds 2020 lopen de Nederlandse banken zich warm voor een gezamenlijke database waarmee alle financiële transacties van alle Nederlanders geanalyseerd zullen gaan worden. Doel van de analyse is om financiële criminaliteit op te sporen. Op 7 oktober jl. heeft het kabinet besloten dat er een wet zal komen die deze gezamenlijke misdaadopsporing van banken mogelijk moet maken. (...)

Nu al gaat er het nodige mis met de uitvoering van deze taken door banken: mensen krijgen indringende vragen over betalingen en begrijpen niet waar de banken mee bezig zijn. In toenemende mate weigeren banken bankrekeningen te openen, met als argument dat het klantenonderzoek inzake de desbetreffende klant te duur zou zijn.

Dit alles was reden voor de banken om te pleiten voor gezamenlijke misdaadbestrijding via een eigen BV. (...)

Aanvankelijk werd er aan gedacht om de activiteiten van TMNL te legaliseren via het wetsvoorstel Gegevensverwerking door Samenwerkingsverbanden (WGS). De burgerrechtencoalitie die eerder met succes heeft gestreden tegen het Systeem Risico Indicatie (SyRI) heeft zich kritisch over WGS uitgelaten, zie het artikel Burgerrechtencoalitie: Eerste Kamer moet datasurveillancewet ‘Super SyRI’ afwijzen. Privacy First is tegen grootschalige financiële surveillance van alle burgers.

Ook officiële overheidsadviseurs hebben zich gekant tegen het voorstel dat banken samen transacties gaan analyseren. De Autoriteit Persoonsgegevens was kritisch over de WGS. In januari 2021 bracht de Raad van State een kritisch advies uit waarin ze zich keren tegen de bancaire samenwerking en schrijven:

De massale schaal waarop banktransacties gezamenlijk zullen worden gemonitord is ongekend en betekent een vergaande inbreuk op de vertrouwelijkheid van gegevens van burgers en bedrijven. Daarbij gaat het niet alleen om het recht op privacy. Deze monitoring kan ook leiden tot uitsluiting en discriminatie. De Afdeling advisering is van oordeel dat het niet is aangetoond dat deze gezamenlijke transactiemonitoring noodzakelijk en proportioneel is. Daarbij komt dat het wetsvoorstel geen passende rechtsbescherming biedt; ook deze wordt als het ware uitbesteed aan de banken. Het advies is dan ook de grondslag voor de gezamenlijke transactiemonitoring uit het wetsvoorstel te schrappen. (...)

Ondanks de kritiek van de Raad van State wil het kabinet toch doorgaan met TMNL. (...)

Hele artikel

Tags: #nederlands #nederland #banken #witwassen #fraudebestrijding #bancair_sleepnet #privacy #surveillance #massasurveillance #Transactie_Monitoring_Nederland #witwasbestrijding #ap #autiriteit_persoonsgegevens #rvs #raad_van_state #SyRI #systeem_risico_indicatie #wgs #wet_gegevensverwerking_door_samenwerkingsverbanden #uitsluiting #discriminatie

Lekken van data is géén incident

Maxim Februari (NRC)

(...) De gemeente heeft al mijn gegevens laten stelen door een ransomewaregroep en die heeft ze op het dark web gegooid, waar de bankrover ze kennelijk heeft gevonden. (...)

Nog maar net had ik de brief over de diefstal gelezen en het bericht van de boef beluisterd of ik kreeg opdracht van tijdschrift De Gids om een kopie van mijn paspoort toe te sturen. De overheid had erom gevraagd. (...)

Deze rare optelsom van gebeurtenissen, die ik niet had durven verzinnen, is een schoolvoorbeeld van iets dat je een veiligheidsparadox zou kunnen noemen. Om misdaad te voorkomen, tuig je systemen op die de boel niet veilig maken maar juist onveilig op een andere manier. Om terrorisme te voorkomen, eis je persoonsgegevens van die aardige meneer van De Gids en vervolgens laat je zijn gegevens stelen door een misdaadsyndicaat. (...)

[I]k heb een stapeltje sorry-brieven in huis. „We doen er alles aan.” Nee, jullie doen er niet alles aan, anders zou je erkennen dat het probleem voortkomt uit je oplossing. Dat het ronddwalen van gegevens geen incident is, maar een uitvloeisel van het online verzamelen.

Als je serieus bent, snap je dat burgers het niet leuk vinden nog meer gegevens af te staan als ze die gegevens vervolgens op de gekste plekken tegenkomen. „We hechten veel waarden aan privacy”, schrijft de eerbiedwaardige organisatie X in haar excuusbrief. Wat betekent dat? Dat je het datalek aangrijpt om de noodzaak van online gegevensverzameling te heroverwegen? Nee? (...)

Geef liever toe dat het geen incidenten zijn, maar kenmerken van het systeem. Het rondzingen van gegevens draagt bij aan de moderne moeilijkheid dat je niet weet welke instantie je nog kunt vertrouwen. (...)

Hele artikel

Maxim Februari

Tags: #nederlands #data #dataverzameling #gegevens #gegevensverzameling #datalek #persoonlijke_gegevens #privacy #digitalisering #surveillancekapitalisme #data_mining #gevangenis #gevangenisstraf #crimonaliteit #ransomware #dark_web #jeugdinstelling #jeugdzorg #misbruik #geweld #belastingdienst #fraudebestrijding #toeslagenaffaire #veiligheidsparadox

Belastingdienst ging vooral achter lage inkomens aan

Trouw

Om toeslagen te controleren op fouten en fraude gebruikte de Belastingdienst een zelflerend algoritme. Dat selecteerde vooral lage inkomens voor controle.

De Belastingdienst heeft jarenlang specifiek burgers met een laag inkomen geselecteerd voor extra controle op fraude met de kinderopvangtoeslag. Hogere inkomens werden juist bewust ontzien. Dat erkent de Belastingdienst in antwoorden op vragen van Trouw en RTL Nieuws over het zogeheten risicoclassificatiemodel van Toeslagen. (...)

Het gaat om een zelflerend algoritme, dat zelfstandig bepaalt welke indicatoren erop zouden kunnen wijzen dat bepaalde aanvragen voor toeslagen een verhoogde kans op fouten of fraude kennen. (...)

In de praktijk betekent dit dat lage inkomens een hogere risicoscore kregen, hogere inkomens kregen juist een lagere risicoscore. (...)

Volgens Liem wijst de enorme oververtegenwoordiging van lage inkomens op zogeheten selectiebias in het model. Kort gezegd: als het model vermoedt dat bij lagere inkomens meer kans is op fraude, worden vooral die aanvragen gecontroleerd. Dat leidt ertoe dat vooral aanvragen van lage inkomens worden gecorrigeerd. Omdat het model weer getraind wordt met die uitkomsten, wordt er steeds verder ingezoomd op lage inkomens.

“Iedereen die iets weet van risicoselectie weet dat je alert moet zijn op selectiebias”, zegt Liem. Bijvoorbeeld door ook aselect aanvragen te controleren. Maar dat gebeurde niet bij Toeslagen. (...)

Eerder bleek al uit onderzoek van Trouw en RTL Nieuws dat de Belastingdienst ook een indicator gebruikte om te selecteren op het al dan niet hebben van de Nederlandse nationaliteit. (...)

Hele artikel

> Zie ook: Rekenkamer: te weinig aandacht voor discriminatie bij gebruik algoritmes door overheid (Trouw)

Tags: #nederlands #nederland #toeslagenaffaire #toeslagen #belastingdienst #overheid #democratie #rechtsstaat #fraude #fraudebestrijding #uitkeringen #tweede_kamer #politici #rechtspraak #bestuursrecht #grondwet #trias_politica #scheiding_der_machten #Kinderopvangtoeslag #raad_van_state #discriminatie #racisme #kabinet #aftreden #rutte

Desinteresse in technologie kan zomaar leiden tot staatssurveillance

Laurens Verhagen (De Volkskrant)

‘Het wetsvoorstel zet de deur wagenwijd open voor een onbegrensde surveillance door een onbegrensde hoeveelheid partijen, publiek en privaat.’ Nee, deze woorden gaan niet over China. Noch over Rusland. Het wetsvoorstel in kwestie is afkomstig van onze eigen minister Grapperhaus van Justitie en Veiligheid. (...)

De aangehaalde woorden zijn afkomstig van de Autoriteit Persoonsgegevens. (...)

‘Dit wetsvoorstel maakt het mogelijk dat nog veel meer instanties persoonsgegevens met elkaar delen, zonder dat er duidelijk iets aan de hand is. En niet alleen overheidsinstanties, ook private partijen. Hier ligt het risico van massasurveillance op de loer’, stelt AP-voorzitter Aleid Wolfsen.

Niet voor niets wordt de WGS een Super-SyRI genoemd: de wet gaat nog veel verder dan deze ook al sterk bekritiseerde Systeem Risico Indicatie. (...) De rechter oordeelde over SyRI vorig jaar dat dit systeem verboden moet worden. (...)

Klaar dus, zou je zeggen. Maar nee hoor, ondertussen werkte de minister al aan een super-SyRI. De AP vreest dat exact dezelfde fouten zullen worden gemaakt: burgers die zomaar op het verkeerde lijstje terechtkomen en zo in de verdrukking komen. Ook stelt de toezichthouder dat de wet te vaag is. Al bij ‘een eerste vermoeden van onrechtmatige activiteiten’ kunnen samenwerkingsverbanden gegevens delen met ‘andere partijen’ als dat noodzakelijk is. Wie die ‘andere partijen’ precies zijn? De AP heeft geen flauw idee en wij ook niet. (...)

In een deze week gepubliceerd rapport over kunstmatige intelligentie constateert de Wetenschappelijke Raad voor het Regeringsbeleid een schrijnend gebrek aan interesse voor digitale zaken bij de overheid. (...) ‘We shape our tools, and thereafter our tools shape us’, luidt het terecht beroemde citaat dat aan mediawetenschapper Marshall McLuhan wordt toegeschreven.

Hele artikel

> Zie ook: De zorgen over de nieuwe Big Brother-wet zijn terecht

Demissionair minister Ferdinand Grapperhaus van Justitie en Veiligheid (CDA) stelde een wet voor die het delen van persoonsgegevens van burgers makkelijker maakt. Beeld ANP.

Tags: #nederlands #nederland #surveillance #massasurveillance #autoriteit_persoonsgegevens #ap #wet_wgs #wgs #Wet_gegevensverwerking_samenwerkingsverbanden #gegevens #gegevensverwerking #fraude #fraudebestrijding #Financieel_Expertise_Centrum #FEC) #Infobox_Crimineel_en_Onverklaarbaar_Vermogen #iCOV #Regionale_Informatie--en_Expertise_Centra #RIEC #Zorg-_en_Veiligheidshuizen #ZVH’s #banken #Fraude_Signalering_Voorziening #FSV #belastingdienst