Nederland schendt de wet door burgers stiekem te profileren, blijkt uit uitspraak Europees hof

Follow the Money

Met geheime algoritmen controleren overheidsinstellingen als de Belastingdienst op grote schaal burgers. Door deze profilering kan iemand extra controle krijgen, terwijl aan de aanpak grote risico’s verbonden zijn: denk aan discriminatie of foute aannames. Daarom moeten er wettelijke waarborgen zijn voor het gebruik van zulke systemen. Dat blijkt uit een recente uitspraak van het Europese Hof, die mogelijk verstrekkende gevolgen heeft. ‘Regels worden al 20 jaar aan de laars gelapt.’ (...)

(Tekst loopt door onder de illustratie.)

_© Follow the Money _

Door een baanbrekende uitspraak van het Hof van Justitie van de Europese Unie eind vorig jaar staat profilering juridisch op losse schroeven. Er is zodoende grote kans dat het huidige gebruik van risicomodellen in veel gevallen illegaal is, vanwege het ontbreken van een wettelijke basis met waarborgen voor rechtsbescherming. Dat zeggen meerdere deskundigen op gebied van privacyrecht die Follow the Money heeft geraadpleegd. (...)

Hele artikel

Tags: #nederlands #nederland #digital_services_act #eu #europese_unie #privacy #internet #profilering #algoritme #overheid #belastingdienst #discriminatie

‘Surveillance is een vast onderdeel van ons leven geworden, en dat zal alleen maar toenemen’

Vrij Nederland (Alleen vandaag gratis)

‘Vroeger was er eerst een verdenking en dan volgde de surveillance, nu is er eerst surveillance en volgen pas daarna de verdenkingen,’ zegt bijzonder hoogleraar Digital Surveillance Mark Schuilenburg. (...)

(Tekst loopt door onder de foto.)

Mark Schuilenburg

Waze is volgens Schuilenburg een voorbeeld van een technologie die met behulp van Artificiële Intelligentie (AI) en algoritmes ons gedrag subtiel een bepaalde richting op stuurt. (...)

‘Mentale sturing en beïnvloeding worden voor techbedrijven steeds belangrijker, vooral op het gebied van veiligheid en gezondheid. Niet alleen het lichaam, maar ook de psyche, de geest, moet worden gestuurd. Dat is inderdaad anders dan de vlieg in het urinoir, omdat het gebeurt met enorme hoeveelheden data, en het voortdurend te personaliseren is. Bij een verkeersdrempel moet iedereen langzamer rijden, terwijl psychomacht op maat kan worden gesneden, via microtargeting, of doordat het de ene Facebookgebruiker bepaalde berichten laat zien die bij anderen niet of in andere vorm op hun tijdlijn verschijnen. Of dus bij een app als Waze.’

U plaatst Waze in hetzelfde rijtje als de Apple Watch en de digitale deurbel van Amazon.
‘Ik noem dat soort producten luxe-surveillance. Mensen willen zichzelf tegenwoordig monitoren en zijn bereid daarvoor te betalen. Dat is interessant. Surveillance werd altijd gezien als iets dat vanuit de staat kwam. Daar komen ook alle dystopische verhalen – China, Orwell – vandaan. Met luxe-surveillance zie je dat mensen zelf een flinke som geld neerleggen om zichzelf vrijwillig te bekijken. Dat illustreert de overgang van disciplinaire naar psychomacht.’ (...)

In de jaren negentig vernetwerkte surveillance. De camera’s op straat werden met elkaar verbonden en daardoor is de controle overal. Nu, in fase drie, zijn bewakingscamera’s uitgerust met AI en algoritmes, denk aan automatische gezichtsherkenningstechnologie. (...)

‘Surveillance is een vast onderdeel van ons leven geworden, en dat zal alleen maar toenemen. Je ziet dan ook dat surveillance met AI en algoritmes niet meer alleen wordt ingezet door de politie, maar ook daarboven, door organisaties als Europol, daarbeneden, wanneer burgers patrouilleren in de wijk en apps als Veiligebuurt of Citizen gebruiken, en ernaast, doordat techbedrijven als Amazon en Google de zorg voor veiligheid steeds vaker faciliteren door slimme apparaten met ingebouwde camera’s, microfoons en trackingsapparatuur te ontwikkelen.’ (...)

En dat is nou precies waar het nieuwe boek van Schuilenburg, Making Surveillance Public. Why You Should Be More Woke about AI and Algorithms, over gaat.

Want technologie wordt nog te vaak ontworpen en ingezet vanuit een ‘technologisch-economisch’ perspectief, vindt hij, waarin publieke waarden als privacy, non-discriminatie, transparantie en het nemen van verantwoordelijkheid (accountability) het afleggen tegen waarden als veiligheid en efficiëntie. (...)

‘Veel mensen herkennen de Apple Watch, Fitbit en Amazon-deurbel niet als surveillance.’ (...)

Hele artikel

Tags: #nederlands #boeken #privacy #gezichtsherkenning #clearview #facebook #google #surveillance #massasurveillance #surveillance_kapitalisme #algoritme #ai #artificial_intelligence #kunstmatige_intelligentie #waze #algoritme #nudging #amazon #apple #slimme_deurbel #gezichtsherkenning #veiigebuurt #citizen #tracking #fitbit

De nieuwe DSA is een feit, en zo maak je er meteen gebruik van!

Public Spaces

Wat betekent de nieuwe Digital Services Act (DSA) voor de Europese burger en hoe maak je er gebruik van? Bits of Freedom legt het uit op jouwplatformrechten.nl; een door PublicSpaces gesteund initiatief. (...)

(Tekst loopt door onder de foto.)

.

Door de nieuwe DSA wordt jouw privacy bijvoorbeeld beter beschermd, worden platformen transparanter en wordt er beter gemodereerd.

Ook je eigen controle over het platform neemt toe. Een mooi voorbeeld is het feit dat je zelf als gebruiker uit verschillende aanbevelingsalgoritmen je eigen voorkeursoptie kunt kiezen. (...)

Dit is goed nieuws, maar het lost nog niet alle problemen van big tech zomaar op. Gelukkig bestaan er tal van platformen die de DSA-punten al helemaal (en grondiger) onder de knie hebben, zoals Mastodon en PeerTube. Deze platformen hebben de nieuwe DSA-wetten in hun wortels. (...)

Hele artikel

Tags: #nederlands #big_tech #dsa #digital_services_act #eu #europese_unie #privacy #internet #profilering #algoritme #sociale_media #mastodon #peertube #tracking #cookies #platforms

.

Tags: #nederlands #smartphone #sociale_media #big_tech #tech #facebook #whatsapp #tiktok #instagram #internet #schermtijd #profilering #algoritme

‘Vergeet de controlestaat, we leven in een controlemaatschappij’

Follow the Money

Volgens bijzonder hoogleraar digitale surveillance Marc Schuilenburg hebben wij geen geheimen meer. Bij alles wat we doen kijkt er wel iets of iemand mee die onze gangen registreert. We weten het, maar doen er gewoon aan mee. Zo diep zit digitale surveillance in de haarvaten van onze samenleving: ‘We herkennen het vaak niet eens meer.’ (...)

(Tekst loopt door onder de foto.)

Marc Schuilenburg

Na zijn aanstelling als hoogleraar digitale surveillance aan de Erasmus Universiteit besloot hij zich op de beantwoording van die vraag te storten. Daarbij gaat zijn bijzondere aandacht uit naar de impact van digitale surveillance-middelen, zoals intelligente camera’s, algoritmes en artificial intelligence (AI) op onze samenleving.

Deze week verscheen zijn boek: Making Surveillance Public. Daarin stelt hij dat door de opkomst van deze technologieën, overheden en opsporingsdiensten onze levens op ongekende schaal kunnen monitoren, terwijl er nauwelijks iets bekend is over de manieren waarop dit gebeurt en welke gevolgen dit heeft voor de rechten en vrijheden van burgers. (...)

Hij beperkt zich daarbij overigens niet tot de publieke sector. Techreuzen als Tesla, Amazon en Apple weten dankzij onze auto's, deurbellen en horloges zo mogelijk namelijk nog meer over ons.

De grenzen tussen publiek en privaat vervagen bovendien, stelt Schuilenburg, doordat dergelijke bedrijven zich met hun producten steeds vaker in het (publieke) veiligheidsdomein begeven. Ook de politie maakt gretig gebruik van de data die zij verzamelen. (...)

Er ontstaat een vernetwerking van data, zegt Schuilenburg. De samenleving verandert in een digitaal ‘superpanopticon’, waarbij we van alle kanten bekeken worden zonder dat we nog weten door wie en hoe: ‘Vergeet de surveillance-staat, we leven in een surveillance-maatschappij’. (...)

‘De gevaren van particuliere surveillance worden schromelijk onderschat. De data die wordt verzameld via intelligente koelkasten, slimme deurbellen en activiteitstrackers en dergelijke maakt je privéleven inzichtelijk voor derden die met die informatie doen wat ze willen. Doorverkopen aan adverteerders, gebruiken om profielen op te bouwen van jou en je omgeving: het gebeurt, zonder enige vorm van controle.

Dat gebruik van die data leidt tot stigmatisering. Dat zie je bij de route-navigatie-app Waze. In sommige landen geeft die aan of hij een bepaalde buurt veilig vindt of niet. (...)

Uiteindelijk zie je bij private surveillance zo dezelfde problemen ontstaan als we kennen van surveillance door de overheid en de politie. Ook in Nederland. Op basis van ondoorzichtige datasets en algoritmes worden bepaalde groepen mensen zonder het te weten benadeeld, uitgesloten of gediscrimineerd.’ (...)

‘Amazon verkoopt sinds 2018 de Ring-videodeurbel, waarmee je op je telefoon kunt zien wie er bij je op de stoep staat. Wereldwijd zijn miljoenen exemplaren verkocht. Tegelijkertijd werkt Amazon in de VS aan een eigen watchlist. Dat is een database met profielen van personen waarvan Amazon zelf denkt dat die mogelijk een bedreiging zijn. Als zo iemand vervolgens bij jou voor de deur staat en door de gezichtsherkenningssoftware in je Ring-deurbel wordt geïdentificeerd, gaat er automatisch een alarm af.

Amazon maakt dus zelfstandig een inschatting of iemand zich mogelijk schuldig zou kunnen maken aan een strafbaar feit, terwijl niet duidelijk is waar dat op is gebaseerd en hoe die technologie werkt. Dan ga je op de stoel van de politie zitten. En Amazon is niet het enige bedrijf dat dit doet. Tesla is inmiddels ook bezig met zo’n lijst.’ (...)

De data die particuliere partijen verzamelen, vindt namelijk ook op allerlei manieren zijn weg naar opsporingsdiensten. In Nederland heeft de politie inmiddels toegang tot tienduizenden videodeurbellen. Dat is een heel nieuw surveillancenetwerk van ongekende schaal dat de politie ineens ter beschikking heeft. (...)

Uw boek toont aan dat de natuurlijke volgorde voor surveillance is omgedraaid. Vroeger was er eerst een verdenking, waarna er werd gesurveilleerd. Nu is er alom surveillance en wordt vervolgens met AI-tools gezocht naar verdachte feiten. (...)

Wat zijn daar de risico’s van?
‘Dat de mens achter de data verloren gaat. Terwijl het behouden van die menselijkheid van ongekend belang is, juist voor overheden en grote bedrijven. Veel unieke eigenschappen die ons mens maken, zoals je ervaringen, emoties en intuïtie, kunnen bijna niet in data worden omgezet. Dat zal altijd een blind spot van AI blijven, terwijl die eigenschappen heel veel kunnen zeggen over wat het betekent om mens te zijn. (...)

Het gevaar is dat er een AI-mateloosheid is ontstaan, waarbij steeds meer surveillancemiddelen worden gebruikt, zonder dat goed wordt gekeken hoe effectief die zijn en wat het effect is op de rechten van burgers, of de rechtsstaat in het algemeen.

Daarbij gaat het gebruik van AI en zelflerende algoritmes vaak ten koste van de transparantie en de mate waarin politie en overheden in staat zijn verantwoording af te leggen over hun handelen. Instanties begrijpen de tools die ze gebruiken vaak zelf ook niet helemaal. Maar als een overheid niet kan uitleggen hoe zij tot beslissingen of een verdenking komt, heb je als samenleving een groot probleem.’ (...)

Als u de balans opmaakt tussen wat het gebruik van AI-gedreven en algoritmische surveillance-middelen door de politie ons opleveren en ons kosten, in de zin van rechten en waarden. Is die uitruil het dan waard?
‘Nee. Dat komt ook omdat Nederland echt al behoorlijk veilig is. Dus de winst die we behalen, als die er al is, weegt voor mij niet op tegen de nadelen.

Maar belangrijker is dat er onvoldoende democratische controle op deze middelen is, terwijl fundamentele rechten en rechtsstatelijke waarden als het recht op privacy en gelijke behandeling niet goed zijn geborgd.’ (...)

We zijn allemaal gevoelig voor de veiligheidsparadox: hoe minder criminaliteit er is, hoe hysterischer we het resterende stukje onveiligheid willen aanpakken. Dat is precies wat hier speelt en wat je ook terugziet in die behoefte aan luxury surveillance.

We hebben er als maatschappij meer aan als we inzetten op de zorgende kant van AI. (...)

Hele artikel

Tags: #nederlands #boeken #surveillance #massasurveilance #surveillancekapitalisme #tesla #amazon #ring #apple #controlemaatschappij #veiligheid #schijnveiligheid #algoritme #profilering #discriminatie #misdaad #criminaliteit

Risico’s van algoritmes? Kijk naar Nederland

NRC

Privacy- Er zijn te veel slechte ervaringen met algoritmen bij overheidsinstanties, schrijft Nadia Benaissa. Veranker mensenrechten in de AI-verordening.

(Tekst loopt door onder de foto.)

Mark Rutte tijdens de parlementaire enquête Toeslagenaffaire in 2020. Foto Werry Crone.

Als er in Europa wordt gezocht naar voorbeelden waarmee de risico’s van AI zichtbaar worden, wordt er steevast naar Nederland gekeken. Zo mag DUO, de uitvoerder van de studielening, een fraudeopsporingsalgoritme niet meer gebruiken, omdat het er ernstig op lijkt dat dat discrimineert. Daarnaast hebben verschillende gemeenten fraudeopsporingsalgoritmen ingezet die discrimineren. Bovendien zette het ministerie van Buitenlandse Zaken een algoritme racistisch in bij visumaanvragen, ondanks waarschuwingen van de functionaris gegevensbescherming. En als klap op de vuurpijl: het Toeslagenschandaal. (...)

Maar in de onderhandelingen over de AI-verordening dringt Nederland erop aan dat er geen strikt verbod moet komen op biometrische identificatie. Die technologie kunnen opsporingsdiensten namelijk goed gebruiken. Alleen blijkt de politie nu al geen grip te hebben op een gezichtsherkenningsdatabase waarin tienduizenden mensen onterecht staan opgenomen. (...)

Uit onderzoek van Follow The Money bleek onlangs dat Nederlanders onterecht op ‘terreurlijsten’ terechtkomen, zonder dat ze daadwerkelijk verdacht worden van een strafbaar feit. (...)

Mensenrechten zijn er om mensen te beschermen, ook – of misschien vooral – tegen de overheid. En Nederland laat uitstekend zien waarom het geen overbodige luxe is om ervoor te zorgen dat die rechten beschermd worden in de AI-verordening. (...)

Hele artikel

> Zie ook: De Europese AI-wet dreigt te worden afgezwakt, onder druk van de techlobby (NRC)

Tags: #nederlands #eu #europese_unie #ai #kunstmatige_intelligentie #algoritme #toeslagenaffaire #duo #belastingdienst #overheid #democratie #rechtsstaat #fraude #fraudebestrijding #uitkeringen #kinderopvangtoeslag #discriminatie #racisme #fsv #Fraudesignaleringsvoorziening #gezichtsherkenning

Shadow banning: de schimmige manier waarop sociale media het bereik van vooral pro-Palestijnse berichten beperken

NRC

(...) De afgelopen dagen beschuldigde een groeiende groep Instagram-gebruikers het platform ervan de zichtbaarheid van pro-Palestijnse content te beperken. Vaak gebruikers met een moslimachtergrond. (...)

(Tekst loopt door onder de foto.)

Pro-Palestina-mars op 15 oktober in Amsterdam. Afgelopen dagen beschuldigde een groeiende groep Instagram-gebruikers het platform ervan de zichtbaarheid van pro-Palestijnse content te beperken.

Oumaima Abalhaj, NRC-correspondent in Spanje en Marokko, had een soortgelijke ervaring nadat ze een video op Instagram deelde die de gevolgen toonde van de Israëlische bombardementen op Gaza. „Geen bloedige beelden, maar luchtshots van verwoeste gebouwen”, zegt Abalhaj aan de telefoon vanuit Madrid. „Nadat ik die had gedeeld, begon mijn profiel raar te doen. De video had niet alleen minder views dan normaal. Maar als je op mijn naam zocht, verscheen mijn profiel niet meer. Nu ik mijn naam heb aangepast, ben ik gelukkig weer te vinden. Maar ik kreeg wel een tegenstrijdig bericht dat ik de toegang tot mijn profiel dreigde kwijt te raken, ook al volg ik de richtlijnen.” (...)

Toch is het moeilijk om vast te stellen wat er precies aan de hand is. Want er kunnen tal van redenen zijn waarom een story op Instagram minder zichtbaar is. Algoritmes blinken niet uit in transparantie, net zo min als de techbedrijven die ze gebruiken. Een Nederlandse woordvoerder van Meta, het bedrijf achter Instagram, reageerde niet op vragen van NRC. Meta heeft verwijten van shadow banning in het verleden altijd ontkend. (...)

Maar er is meer aan de hand. Het is niet de eerste keer dat Amerikaanse techbedrijven ervan worden beschuldigd pro-Palestijnse stemmen te smoren. Iedere keer als het Israëlisch-Palestijnse conflict oplaait en het internationale nieuws domineert, neemt de online censuur op platformen als Instragram, Facebook en TikTok toe, zegt Jalal Abukhater van 7amleh, een Palestijnse organisatie die opkomt voor digitale mensenrechten. 7amleh spoort mensen aan meldingen van vermeende censuur te melden in een online database. Sinds de aanval van Hamas op Israël op 7 oktober kreeg 7amleh 500 meldingen binnen van mensen die te horen hadden gekregen dat ze de zogenoemde richtlijnen van de community van de platforms hadden overtreden. (...)\r

Mark Zuckerberg, de CEO van Meta, betuigde eerder zijn steun aan Israël en liet weten dat inhoud die lijkt op Hamas-verheerlijking gevlagd zal worden. Abukhater zegt dat bepaalde Arabische hashtags verboden zijn op Meta, terwijl hun Israëlische equivalenten wel zijn toegestaan omdat ze gepusht worden door een staat. (...)

De besluiten van platformen zijn vaak moeilijk te doorgronden, en hun moederbedrijven zijn gesloten bolwerken. Dat is volgens Patel het probleem. Enkele jaren geleden werden de video’s en berichten van MondoWeiss op Facebook tienduizenden keren bekeken. „Nu zijn we blij als we enkele tientallen views hebben. Hoe dit heeft kunnen gebeuren, is altijd een raadsel gebleven. De besluitvorming bij Facebook is erg ondoorzichtig. We hebben in al die jaren nooit een bevredigend antwoord gekregen op onze vragen. Shadow banning is met dezelfde geheimzinnigheid omgeven. Maar afgaande op verhalen van collega’s en vrienden gebeurt het vaak, vooral met Instagramstories.” (...)

Ondertussen delen mensen die op Instagram zijn gebleven tips met elkaar om een shadow ban te voorkomen. Sommige hashtags worden vermeden. #FreePalestine wordt door sommigen vervangen door #VisitIsrael. Woorden als ‘Palestina’ en ‘Gaza’ worden bewust fout geschreven. En om het algoritme te foppen worden eerst foto’s van feestelijke taarten of schattige dieren gedeeld voordat de berichten over het conflict langskomen. Maar onduidelijk is of dergelijke trucs het algoritme daadwerkelijk zand in de ogen strooien en zo shadow banning voorkomen.

Hele artikel

Tags: #nederlands #israel #palestina #palestijnen #gaza #gaza_strook #bezette_gebieden #sociale_media #media #meta #facebook #instagram #linkedin #twitter #x #censuur #algoritme #shadow_banning

Android zonder Google, kan dat?

In smartphoneland zijn er vooral twee smaken: Android (Google) en iOS (Apple). Het grote nadeel van Android: je bent overgeleverd aan de grenzeloze dataverzameling van Google. Apples iOS heeft als nadeel dat het een erg gesloten ‘ecosysteem’ is en iPhones zijn bovendien duur.

(Tekst loopt door onder het logo.)

Sinds kort experimenteer ik daarom met e/os, een degoogled besturingssysteem voor een aantal Androidtelefoons. Op het eerste gezicht werkt het prima. Installatie van het nieuwe besturingssysteem ging vrijwel zonder hobbels en alle (gratis) apps die ik gebruik waren gewoon beschikbaar, ook van banken, DigiD etc. (Met uitzondering van de NOS Nieuws app.) Voor betaalde apps is wel weer een Googleaccount nodig.

Er zijn meer alternatieve besturingssystemen, maar die lijken meer voor mensen met de nodige digitale vaardigheden te zijn, als ik de instructies lees.

Tags: #nederlands #android #ios #google #apple #surveillance #massasurveillance #privacy #data #dataverzameling #profilering #algoritme #e\/os #degoogled

Sophie in ’t Veld: ‘Europa is een soort eldorado voor de spyware-industrie’

NRC

Spyware - Natúúrlijk maken regeringen misbruik van wat er allemaal kan met spyware, zegt Europarlementariër Sophie in ’t Veld. „Het is zó verleidelijk.” (...)

(Tekst loopt door onder de foto.)

Sophie in ’t Veld

Politici en journalisten in meerdere Europese landen en ook een Europarlementariër bleken de afgelopen jaren doelwit van spionagecampagnes. Daarbij werd software gebruikt waarmee een telefoon geheel kan worden overgenomen, zonder dat de gebruiker het merkt. Ook de inhoud van versleutelde communicatie en wachtwoorden zijn niet veilig. Microfoon en camera kunnen op afstand worden bediend.

De opdrachtgevers waren naar alle waarschijnlijkheid Europese autoriteiten, zoals inlichtingendiensten of regeringen (in Hongarije, Polen en Griekenland). Dat zijn wereldwijd de belangrijkste afnemers van dit soort geavanceerde en kostbare ‘spyware’, binnendringingssoftware, die wordt gemaakt door commerciële bedrijven. (...)

In ’t Veld was prominent lid van de commissie van het Europees Parlement die onderzoek deed naar de handel in en inzet van spionagesoftware. Dat ging uiterst moeizaam. Op veel vragen van het parlement aan Europese regeringen kwam geen antwoord. (...)

Op tal van manieren en via meerdere landen worden Europese restricties op de export omzeild. (...)

De onderzoekscommissie van het Europees parlement pleitte voor de zomer bij de presentatie van haar eindrapport voor een moratorium op het gebruik van spyware, totdat strikte Europese regels zijn gemaakt.

En sindsdien is het stil, oorverdovend stil. Een omerta, noemt In ’t Veld het bij herhaling. „Het is een maffiazwijgen.” (...)

„Verantwoordelijkheid voor de handhaving van de Europese regulering op de export van dual use goederen – die zowel ten goede als ten kwade kunnen worden gebruikt – ligt bij nationale lidstaten. Die interpreteren de regels verschillend, waardoor bedrijven regels kunnen omzeilen.

„Het klinkt altijd leuk, nationaal handhaven, maar er komt geen biet van terecht. Of het nu gaat over privacyregels, diesel-emissie, begrotingsdiscipline. Het wordt gewoon niet gehandhaafd.” (...)

„Europa is een soort eldorado voor de spyware-industrie. De Amerikaanse regering heeft de grote spywareproducenten op een zwarte lijst gezet. Amerikaanse bedrijven en overheden mogen geen zaken met hen doen. Daar hebben die bedrijven last van. Onder Amerikaanse druk heeft Israël het aantal landen waarnaar deze cyberwapens mogen worden geëxporteerd drastisch ingeperkt. Maar hier in Europa wordt de rode loper uitgerold. Dit spionage-instrument is zó verleidelijk voor regeringen. En ze hebben absolute macht zodra ze zeggen dat het om ‘nationale veiligheid’ gaat.” (...)

Wat is de rol van Nederland bij de koop en verkoop van spyware?

„We weten niet alles”, zegt In ’t Veld. Ze somt op wat de afgelopen jaren naar buiten is gekomen: Nederland is klant van de grote Israëlische spywaremaker NSO, bekend van de ‘Pegasus-software’. Die is ook in Nederland gebruikt, onthulde de Volkskrant. (...)

Tappen EU-overheden ook routinematig mensen af, omdat dit zo gemakkelijk kan?
„Aftappen is op dit moment nog vrij prijzig en wordt vrij gericht ingezet. Maar behalve om de privacy van een burger gaat het om het afbreken van de democratie. Op het moment dat je critici en opponenten in de tang kunt houden is er geen rem meer op de macht en is de democratie dood. De situatie wordt weleens vergeleken met Watergate, een voorbeeld van politici die elkaar afluisteren. Maar het is beter te vergelijken met de film Das Leben der Anderen, waar iemand die ervan wordt verdacht kritisch te zijn over het regime in Oost-Duitsland wordt bespioneerd. Daarmee dringen ze heel diep door in het privéleven van mensen. In de DDR gebeurde dat ook. Daar moet je het mee vergelijken.”

Zeker sinds corona is de surveillancestaat een thema binnen de anti-autoritaire beweging.
„Het gekke is dat mensen in dat onbehagen voortdurend stemmen op partijen die surveillance geweldig vinden.”

Hoe komt dat?
„Mensen worden bang gemaakt. Iedere keer als er iets gebeurt, creëren we instrumenten om mensen in de gaten te houden. Zie de Toeslagenaffaire.” (...)

„Maar waar het om draait is de impact op de democratie, het chilling effect dat het bespioneren van burgers heeft. Ook mensen die geen doelwit waren, gaan denken: ‘nou…’. Die durven niet meer met journalisten te praten.” (...)

Hele artikel

> Zie ook: De geruisloze groei van inlichtingenorganen

Tags: #nederlands #media #journalist #journalistiek #pers #geheime_dienst #overheid #hack #spionagesoftware #oppositie #nso_group #surveillancestaat #spyware

Tags: #nederlands #data #gegevens #persoonlijke_gegevens #surveillance #massa_surveillance #sleepnet #algoritme #inlichtingendiensten #spionagesoftware #spyware #pegasus #eu #europese_unie #europa #democratie

De reële gevaren van gezichtsherkenning: ‘Ik wil niet in een wereld leven waar iedereen een potentiële verdachte is’

De Volkskrant

Software die gezichten herkent en aan een naam koppelt – dat klinkt als een privacynachtmerrie. Maar de techniek bestaat. (...)

Journalist Kashmir Hill schreef er het onlangs verschenen verontrustende boek Your Face Belongs to Us over (Nederlandse vertaling: Je gezicht is nu van ons). Hierin duikt ze in de wereld van gezichtsherkenning, met het Amerikaanse bedrijf Clearview als de even bizarre als enge protagonist. (...)

(Tekst loopt door onder de illustratie.)

.

[Clearview] schraapt sociale media af en legt een database aan van miljarden foto’s met bijbehorende namen. Niet van criminelen, maar van gewone burgers die hun kiekjes nietsvermoedend op Facebook of Instagram zetten. Toen Hill haar artikel publiceerde, bleken verschillende Amerikaanse politiekorpsen er al gebruik van te maken. Zij konden beelden van beveiligingscamera’s vergelijken met de foto’s van Clearview. (...)

‘Toen ik de tip over Clearview kreeg, dacht ik onmiddellijk: wacht even, dit gebeurt dus al! Niet in China, maar onder mijn neus in New York.’ (...)

Facebook en Google trokken wél een grens... (...)
We hoeven die bedrijven op dit punt niet te vrezen?
‘Nou, nee. Vergeet niet dat het nog altijd de grote droom van Facebook is om gezichtsherkenning in augmented-realitybrillen te stoppen. Je hebt dan zo’n bril op, loopt over straat en ziet op het glas van je bril informatie geprojecteerd over wat je ziet. Ik verwacht dat die bril er echt wel komt. Facebook heeft altijd al de hele wereld met elkaar willen verbinden en wil dat we dat via hun producten doen. Gezichtsherkenning is daar perfect voor.’ (...)

De voorbeelden zijn soms verbijsterend, zoals de camera’s in de stad Suzhou die mensen volgen die in pyjama over straat gaan, iets wat oudere Chinezen niet raar vinden, maar wat de autoriteiten als aanstootgevend zien. Ambtenaren plaatsen daarna de foto’s van de onverlaten op sociale media, inclusief hun naam. Of, in de VS, de zwarte Amerikaan die ten overstaan van vrouw en kinderen ten onrechte wordt opgepakt en vastgezet vanwege een winkeldiefstal die hij nooit pleegde. De gezichtsherkenningssoftware zat ernaast.

Maar Hill tekent óók op hoe de politie een kindermisbruiknetwerk oprolt en de spin in het web achter de tralies krijgt. Dankzij Clearview. (...)

‘Het is prima dat de politie bij zware verdenkingen toegang heeft tot bepaalde informatie, maar ik wil niet in een wereld leven waar letterlijk iedereen een potentiële verdachte is. Het is een glijdende schaal: voordat je het weet, word je door camera’s in de gaten gehouden omdat je te veel wc-papier gebruikt op een openbaar toilet. Dat is het grote gevaar: steeds meer controle, zoals in China al gebeurt.’ (...)

Kashmir Hill: Je gezicht is nu van ons – Een real-life thriller over een ontwrichtende technologie. Uit het Engels vertaald door Koen Boelens. POM; 344 pagina’s; € 23,50.

Hele artikel

Tags: #nederlands #boeken #privacy #gezichtsherkenning #clearview #facebook #google #surveillance #massasurveillance #surveillance_kapitalisme #algoritme

.
De geruisloze groei van inlichtingenorganen

Privacy of veiligheid?

De Groene Amsterdammer

Terwijl de aandacht uitging naar de bevoegdheden van AIVD en MIVD zijn andere overheidsinstanties in de afgelopen jaren ongecontroleerd en op grote schaal inlichtingen over inwoners gaan verzamelen. Bijvoorbeeld omdat ze die als extremisten beschouwden. En verweer is lastig. (...)

(Tekst loopt door onder de illustratie.)

.

Opeenvolgende, telkens gedetailleerder en dwingender wetten probeerden de bevoegdheden van de AIVD en de MIVD te beteugelen. Het leek een overwinning voor het streven naar een betrouwbare, voorspelbare en controleerbare overheid. (...)

Vrijwel ongemerkt, terwijl alle belangstelling uitging naar de wettelijke regelingen voor de AIVD en de MIVD, is een aantal andere inlichtingenorganen van de overheid als paddenstoelen opgeschoten. Zij ontberen meestal een wettelijke basis, terwijl hun werk leidt tot overheidsinterventies waar tegenover de burger min of meer machteloos staat.

Sommige van de activiteiten haalden kortstondig de pers, waarna ze werden gestaakt. Dit was het geval met het Land Information Manoeuvre Centre (LIMC) van Defensie. (...) Daarbij was sprake van grove privacy-schendingen. (...)

Een soortgelijk debacle deed zich voor bij de Nationaal Coördinator Terrorismebestrijding en Veiligheid (nctv). Deze instantie, in 2004 in het leven geroepen om de terrorismebestrijding in Nederland te coördineren, ging zich steeds meer als een inlichtingendienst gedragen. Jarenlang verzamelde ze heimelijk gegevens van burgers en verstuurde die aan gemeenten, politie, aivd en buitenlandse veiligheidsdiensten. (...)

De bij het LIMC en de NCTV geconstateerde gewoonte van de leiding om zich niets aan te trekken van twijfels over de rechtmatigheid van het eigen handelen valt ook op andere plaatsen bij de overheid waar te nemen. Maar terwijl de politiek bij het limc en de NCTV de inlichtingenactiviteiten stopzette na commotie in de media, gaan dergelijke werkwijzen elders vaak ongestoord verder.

Zo had de NCTV zich ook doen gelden in relatie tot de gemeenten. Met zijn instemming en steun zetten onder meer de gemeenten Rotterdam en Den Haag honderden sleutelpersonen in om informatie te verzamelen over mogelijk radicaliserende jongeren. (...) De kracht van aldus vergaarde informatie is volstrekt onduidelijk; het is niet uitgesloten dat het soms om louter roddels gaat. (...)

Eerder al had de Autoriteit Persoonsgegevens (AP), de waakhond in Nederland als het gaat om gegevensverwerking door de overheid, grote vraagtekens geplaatst bij een soortgelijke aanpak van de gemeente Den Haag. Daar bestond het voornemen ook het online-gedrag van vermoede extremisten te monitoren. (...)

Bij de bestrijding van criminaliteit is sprake van een verschuiving van bestraffing naar preventie en verstoring. Dit impliceert een verschuiving van het strafrecht naar het bestuursrecht. Het bestuursrecht kent echter veel minder waarborgen dan het strafrecht voor de ‘verdachte’. (...)

Ook bij de politie heeft zich een ongekende intelligence-macht ontwikkeld. Na de Tweede Wereldoorlog waren in Nederland inlichtingen- en politieactiviteiten strikt gescheiden. Vooral door de bestrijding van terrorisme en radicalisering, cybercriminaliteit en de georganiseerde misdaad is inlichtingenwerk steeds meer usance geworden bij de politie. (...)

Recent ontstond er in de media deining over het tooi, het Team Openbare Orde Inlichtingen van de politie, dat jarenlang zonder wettelijke grondslag en ongecontroleerd op grote schaal inlichtingen verzamelde en de privacy schond van mensen die het als extremisten beschouwde. Het team maakte onder meer gebruik van infiltratie, heimelijk volgen en internetsurveillance. Strafrechthoogleraar Sven Brinkhoff kwalificeerde het in Trouw als ‘praktijken van een politiestaat’.

De politie opereert ook inlichtingenmatig binnen zogeheten samenwerkingsverbanden. (...) Deze samenwerkingsverbanden bestaan, behalve uit de politie, uit onder meer gemeenten, het Openbaar Ministerie, de Belastingdienst en de Fiod. Ook hier ontbreekt al vijftien jaar een wettelijke basis en ook hier zijn preventie en verstoring geëigende methodes.

Samenwerking tussen de politie en andere overheidsinstanties creëert vanuit privacy-perspectief een extra probleem, omdat de gegevensverwerking bij de politie geschiedt op basis van de Wet politiegegevens, terwijl de rest van de overheid moet handelen volgens de avg. Het maakt het voor de deelnemers mogelijk om te kiezen welk van de twee regimes voor hen het beste uitkomt. (...)

Behalve ondermijning lokt vooral bestrijding van (vermeende) fraude inlichtingenactiviteiten uit, zowel op het niveau van de rijks- als van de gemeentelijke overheid. (...)

Tot slot van dit verre van volledige overzicht : het Inlichtingenbureau. Het is in 2001 door het ministerie van Sociale Zaken ingesteld als een informatieknooppunt voor gemeenten en verwerkt gegevens over burgers die gebruikmaken van uitkeringsregelingen en sociale voorzieningen. Het bureau is wel omschreven als een ‘allesweter’, die zijn kennis vergaart door onder meer de koppeling van data van UWV, SVB, de Belastingdienst, de Dienst Uitvoering Onderwijs (DUO), de Rijksdienst voor het Wegverkeer (RDW) en gemeenten. (...)

Door publiek-private samenwerking van dergelijke samenwerkingsverbanden zijn publieke verantwoording, controle en normering vaag. (...)

Onduidelijk is bijvoorbeeld hoe de gegevensverwerking van het Inlichtingenbureau zich verhoudt tot het Bureau Keteninformatisering Werk en Inkomen (BKWI), een door Sociale Zaken in 2002 ingesteld zelfstandig onderdeel van het UWV, dat zichzelf aanprijst als ‘onmisbare pijler in het Nederlandse sociale-zekerheidsstelsel op het gebied van digitale gegevenslevering en keteninformatisering waar het de gegevensuitwisseling over burgers en bedrijven betreft’. Of zoals de Volkskrant dit bureau aanduidde: Big Brother, ‘de natte droom van de controlerende overheid’.

Juist doordat zo weinig is vastgelegd omtrent dit soort activiteiten is ook onhelder wie ervoor verantwoordelijk is. Er ontbreekt bovendien regie. (...)

Het Inlichtingenbureau was ook medeontwerper en uitvoerder van het omstreden Systeem Risico Indicatie (SyRi), dat aan de hand van een algoritme een lijst leverde met adressen waarvoor een verhoogd risico op fraude en misbruik bestond. Nadat privacy-beschermingsclubs een proces tegen dit stelsel hadden aangespannen, verbood de rechtbank Den Haag dit begin 2020, omdat het in strijd was met het Europees Verdrag voor de Rechten van de Mens. Maar in feite zette het Inlichtingenbureau zijn werkwijze voort, waarbij een combinatie van gegevens kan leiden tot een aanwijzing van fraude, die dadelijk resulteert in stopzetting van de uitkering, zonder dat de betrokken burger weet hoe hij of zij zich kan verweren. (...)

Opdrachtgevers en medewerkers hebben vaak overtrokken verwachtingen van de kwaliteit van ‘signalen’ en data. Het wemelt van de ongefundeerde aannames dat bepaalde data ook tot specifiek gedrag zullen leiden. Daarnaast sneuvelt het opschonen van data alvorens deze te gebruiken geregeld onder tijdsdruk en door gevoelens van urgentie bij opdrachtgevers. Ook bij de veilige opslag van de gegevens kunnen veelal vraagtekens worden geplaatst. (...)

Voorzover er toezicht is gecreëerd, heeft dit veelal een hoog de-slager-keurt-zijn-eigen-vlees-gehalte. Ethische normering ontbreekt meestal en als ambtenaren al eens uit gewetenswroeging aan de bel trekken, is het effect gering, zodat schimmig blijft wat er nu eigenlijk wel en niet mag. (...)

Al geruime tijd is er een Wet gegevens samenwerkingsverbanden in voorbereiding, die zou moeten zorgen voor de nog steeds ontbrekende wettelijke grondslag. (...)

Diverse mensenrechten- en privacy-organisaties hebben evenwel ernstige bezwaren geuit tegen het wetsontwerp. Ze spreken van een ‘Super SyRI’ of van een dreigende herhaling van de toeslagenaffaire. Krachtens het wetsontwerp kunnen samenwerkingsverbanden al bij ‘een eerste vermoeden van onrechtmatige activiteiten’ gegevens delen met ‘andere partijen’, waarbij onduidelijk is om welke ‘andere partijen’ het gaat. Niet alleen burgerservicenummers, woonsituatie, verblijfstatus, financiële gegevens en politiegegevens mogen worden gedeeld, maar ook gegevens over seksueel gedrag en seksuele geaardheid, zowel van het individu zelf als van zijn familie en vrienden.

De beoogde wet laat het aan de partijen van een samenwerkingsverband over of wordt voldaan aan de informatieplicht, die verweer mogelijk maakt. Een klachtenregeling kent zij niet. De in het wetsontwerp voorgestelde rechtmatigheidsadviescommissies zijn niet onafhankelijk en hebben slechts een niet-bindende adviserende rol bij nieuwe verwerkingswijzen. De conclusie moet zijn dat het wetsvoorstel vooralsnog niet de oplossing biedt voor de eerder geschetste problemen.

Hele artikel

Tags: #nederlands #nederland #data #gegevens #persoonlijke_gegevens #surveillance #massa_surveillance #algoritme #AIVD #MIVD #inlichtingen #inlichtingendiensten #inlichtingen_verzamelen #autoriteit_persoonsgegevens #ap #Land_Information_Manoeuvre_Centre #LIMC #NCTV #gemeente #politie #radicalisering #politie #cybercriminaliteit #radicalisering #Team_Openbare_Orde_Inlichtingen #internetsurveillance #infiltratie #Openbaar_Ministerie #OM #Belastingdienst #Fiod #avg #Wet_politiegegevens #Inlichtingenbureau #UWV #SVB #Dienst_Uitvoering_Onderwijs #DUO #Rijksdienst_voor_het_Wegverkeer #RDW #keteninformatisering #Bureau_Keteninformatisering_Werk_en_Inkomen #BKWI #Systeem_Risico_Indicatie #SyRi #Wet_gegevens_samenwerkingsverbanden

AI ziet vrouwen al snel als lustobjecten

Ilyaz Nasrullah (Trouw)

De Britse krant The Guardian kwam een week geleden met een onthulling. Ze had de werking getest van AI-tools die beoordelen hoe ‘pikant’ een foto is. Het blijkt dat deze tools – van onder andere Google en Microsoft – vrouwenlichamen veel eerder als lustobject zien dan mannenlichamen. (...)

Vaak wordt er geroepen dat al deze problemen opgelost kunnen worden met ‘betere data’. Het idee is dat AI-systemen ‘eerlijker’ zullen zijn als zij getraind worden met data die geen vooroordelen bevatten. Was het maar zo simpel. Als ‘betere data’ echt de oplossing is, hoe ontstaan dan de blijkbaar ‘slechte data’ die nu worden gebruikt? In het sociale domein geldt helaas dat problematische data een product zijn van een problematische samenleving. (...)

(Tekst loopt door onder de foto.)

Ilyaz Nasrullah

Als u bijvoorbeeld het woord ‘pornoster’ leest, dan komt waarschijnlijk het beeld van een vrouw in u op. Die associatie zegt niets over u, maar hangt wel samen met het feit dat vrouwen veel sneller en veel liever als lustobject worden gezien in de samenleving dan mannen. (...)

Wat dat betreft is AI als een spiegel die ons zonder blikken of blozen de lelijkheid laat zien die in de samenleving zit.

Dat wil overigens niet zeggen dat AI-technologie vrijuit gaat. Integendeel, een inherent probleem van AI is een gebrek aan contextueel begrip, waardoor het vooroordelen versterkt en verergert.

Zo liet The Guardian een serie foto’s zien van een witte man in spijkerbroek met ontbloot bovenlijf. De eerste foto’s, waarop alleen de man te zien is, kregen een ‘pikantheidsscore’ van ongeveer 20 procent. In de volgende foto’s houdt dezelfde man een zwarte beha in zijn handen. De score schoot hierdoor omhoog naar maar liefst 99 (!) procent. Dankzij het wonder van innovatie hebben we nu dus AI met een lingeriefetisj. Deze tools hebben deze fetisj zelf ontwikkeld door beha’s te leren herkennen uit foto’s van vrouwen (die door mensen als pikant gelabeld zijn).

Dit soort problemen worden niet zomaar even opgelost met ‘betere data’. AI-technologie is gewoon te onvolwassen voor het sociale domein. En het sociale domein is eigenlijk ook niet klaar voor deze technologie. Die observatie is pas echt pikant.

Hele artikel

Tags: #nederlands #ai #artificial_intelligence #kunstmatige_intelligentie #algoritme #vooroordelen #context #pikante_foto #lustobject #pornoster #lingerie #lingeriefetish #sociale_media #social_media #sociale_domein

De echte dreiging voor democratieën? De invloed van technologie, aldus techcriticus Jamie Susskind.

NRC

Interview | Jamie Susskind - Mensen zijn niet perfect. Dus hoe kan je erop vertrouwen dat softwareontwikkelaars technologie ontwikkelen die mensen en democratieën dient? Hoog tijd om na te denken over betere controle. (...)

Het grootste probleem van dit digitale tijdperk is níét dat de grote technologiebedrijven lak hebben aan onze privacy. De echte dreiging voor ons, en onze democratieën, is breder. Namelijk: dat Google, Meta, Amazon en de andere grote techbedrijven een enorme politieke factor zijn geworden, terwijl ze nauwelijks ter verantwoording te roepen zijn. (...)

(Tekst loopt door onder de illustratie.)

Hij geeft zelf een krachtige voorzet, inclusief praktische suggesties, in zijn vorig jaar verschenen boek The Digital Republic; On Freedom and Democracy in the 21st Century.

Susskind richt zijn pijlen niet in de eerste plaats op de techreuzen of op de topmannen die het daar voor het zeggen hebben. Hij spreekt over „ons gemeenschappelijke falen” om technologie in goede banen te leiden. „Veel te lang hebben we digitale technologieën bekeken vanuit de optiek: wat hebben we er als consument aan, of wat is de commerciële waarde ervan? Ik vind dat we er in politieke termen over moeten denken.” (...)

„Nu gaan we een tijdperk in waarin technologie [bijv. ChatGPT] politieke betogen kan opstellen. Sneller, en soms beter, dan de gemiddelde mens dat kan. Dat vind ik nogal een wezenlijke verandering voor onze democratie.” (...)

„Straks hebben we het niet meer over door technologie geschreven regels op een pagina, maar over door AI gegenereerde gezichten en stemmen die overtuigend zijn. Ze kunnen er zelfs op worden toegesneden om speciaal aantrekkelijk te zijn voor de specifieke persoon die ernaar kijkt.

„Daarom zeg ik: het digitale is politiek.” (...)

„[Software engineers] oefenen macht uit over ons leven. Ze reguleren de informatie die via digitale systemen over de wereld wordt verspreid. De algoritmes die ze schrijven, kunnen invloed hebben op het functioneren van de democratie en op kwesties van sociale rechtvaardigheid: op de toewijzing van woningen, de vaststelling van verzekeringspremies of het functioneren van ons strafrechtelijk systeem. Als je regels schrijft die miljoenen mensen moeten volgen, dan is dat politiek – ook al komt er geen parlement aan te pas.” (...)

„Bij artsen, advocaten, bankiers en exploitanten van kerncentrales vertrouwen we er ook niet zomaar op dat ze de juiste beslissingen nemen. Zij moeten voldoen aan normen en regels, omdat we weten dat mensen, en de instellingen die ze oprichten, niet perfect zijn.” (...)

„Je zou van digitale systemen bovendien kunnen eisen dat ze gecertificeerd zijn, zodat je ervan op aan kan dat ze aan bepaalde normen voldoen en je data er veilig zijn. Als je een gebouw binnenloopt, word je ook niet geacht zélf de kwaliteit van de architectuur te inspecteren. Je mag ervan uitgaan dat het veilig is en dat daarop is toegezien. Als je in een auto stapt, kan je er ook van op aan dat hij is goedgekeurd. Ik zie niet in waarom zo’n certificatie niet ook geregeld kan worden voor kunstmatige intelligentie of andere krachtige digitale technologieën.” (...)

Hele artikel

Tags: #nederlands #boeken #technologie #ai #artificial_intelligence #kunstmatige_intelligentie #politiek #democratie #big_tech #tenologiebedrivn #regulering #algoritme #haatzaaien #google #alphabet #meta #facebook #apple #microsoft #twitter #amazon #social_media #software #softwareontwikkelaar #chatgpt #zoekmachine #data #big_data

De man die Europa over Big Tech adviseert waarschuwt: ‘De wereld zag nog nooit zo’n machtsconcentratie’

NRC

Paul Nemitz | Hoofdadviseur Europese Commissie - Top-EU-ambtenaar Paul Nemitz waarschuwt voor de macht van Big Tech. „Nergens ter wereld hebben we ooit zo’n grote machtsconcentratie gezien.” (...)

De macht van deze bedrijven is zó groot, hield hij zijn gehoor in Perugia voor, „dat in Brussel de olifant in de kamer deze vraag is: kan de democratie haar primaat over de grote tech-bedrijven nog wel doen gelden? Of moeten we ons neerleggen bij de heerschappij van de technologie?” (...)

„Als er technologieën zijn die op de lange termijn tot het uitsterven van de mensheid kunnen leiden, of die onze manier van leven ingrijpend kunnen veranderen, zei hij, dan hebben we de verantwoordelijkheid er vandaag al actie op te ondernemen. Ook als we niet zéker weten hoe het zich verder zal ontwikkelen.” (...)

„Het is tegenwoordig heel moeilijk een conferentie of een academische instelling te vinden waar de relatie tussen internet en samenleving wordt onderzocht, en waar Big Tech níet op de een of andere manier financieel aan bijdraagt. Die bedrijven zijn zo rijk, dat ze hun geld kunnen gebruiken om overal vrienden te maken. Ze proberen een amicaal sfeertje te scheppen, waarin het ongemakkelijk of zelfs pijnlijk wordt om directe kritiek op ze te leveren. Dat is zorgelijk. Want als je geen onafhankelijke wetenschappers en journalisten hebt, dan ziet het er somber uit voor onze democratie.” (...)

„De voormalige leider van de Britse Liberale Partij, oud-vice-premier Nick Clegg, is nu toplobbyist van Meta. De speciale ambassadeur die Denemarken had aangesteld voor contacten met de technologiebedrijven, leidt inmiddels het Europese kantoor van Microsoft” (waar hij verantwoordelijk is voor contacten met Europese overheden). (...)

„Nergens ter wereld hebben we ooit zo’n grote machtsconcentratie gezien. Niet alleen horen ze tot de rijkste ondernemingen met de grootste beurswaarde op Wall Street. Ze hebben de controle over communicatienetwerken en de manier waarop we ons informeren. Ze weten meer over ons als individu, over ons gedrag online en offline, dan wie dan ook. Van miljarden mensen kunnen ze een profiel aanleggen. En als zich innovatieve concurrenten aandienen, imiteren ze die of nemen ze die over.” (...)

„Steeds meer systemen die vroeger door mensen draaiend werden gehouden, worden nu door automatische systemen uitgevoerd, al dan niet met kunstmatige intelligentie. Bij het selecteren van sollicitatiebrieven bijvoorbeeld, of het analyseren van röntgenfoto’s en andere medische beelden – twee heel gevoelige terreinen, waar de resultaten ingrijpende gevolgen kunnen hebben.

„Door het inzetten van kunstmatige intelligentie verliezen mensen bepaalde vaardigheden. En belangrijker: ze verliezen het vermogen en de bereidheid om die systemen te vernieuwen en te verbeteren. Kunstmatige intelligentie functioneert op basis van data die gisteren of eergisteren zijn verzameld. Een systeem stelt daar geen kritische vragen bij en is nooit ontevreden met de uitkomst." (...)

„Vooral voor staatsorganen is dat heel belangrijk. Als besluiten op basis van automatische systemen worden genomen, moet je er niet alleen voor zorgen dat de regels worden toegepast, maar ook dat je het systeem zo nodig kan veranderen als het blijft vastzitten in een verkeerd spoor. Zoals jullie in Nederland hebben gezien bij de Toeslagenaffaire.” (...)

„De bedrijven proberen ook allemaal actief te worden in de gezondheidszorg. Google is de grootste verzamelaar van gezondheidsdata ter wereld. Met hun technologie kunnen ze zeker grote verbeteringen in de zorgsector tot stand brengen. Maar door hun omvang maken ze het andere bedrijven moeilijk om op dat terrein ook winstgevend te zijn. En willen we echt dat essentiële publieke diensten, zoals gezondheidszorg, straks alleen nog maar geleverd kunnen worden door de reuzen uit Silicon Valley?” (...)

„De greep van Microsoft op het openbaar bestuur in Europa is enorm. De afhankelijkheid van software van Microsoft bij de Europese Commissie, nationale overheden en lagere bestuursorganen is verbijsterend.” (...)

„Het beleid van de afgelopen twintig jaar heeft ertoe geleid dat de zoekmachine van Google in Europa een marktaandeel heeft van meer dan negentig procent. Amerikaanse bedrijven hebben hier zo dominant kunnen worden door het neoliberale digitale beleid van zelfregulering in die jaren.” (...)

„En op klimaatgebied staan ze zeker voor enorme uitdagingen. Denk aan de energie die gebruikt wordt om een systeem van kunstmatige intelligentie te ontwikkelen, en vervolgens te gebruiken. Of de energie die gewone computercentra nodig hebben voor koeling. En de energie voor streamingdiensten. Je moet niet alleen kijken naar die bedrijven zélf en hoe ze hun eigen invloed op het klimaat aanpakken, maar ook naar de effecten van hun producten. Als de boodschap steeds is: zorg dat je voortdurend online bent, leidt dat ook tot een enorm energiegebruik.” (...)

„En laten we niet naïef zijn over de macht van deze concerns. Ze procederen veel en tot het uiterste, daar hebben ze onbeperkt geld voor.”

Hele artikel

Paul Nemitz

Tags: Enederlands #big_tech #grootbedrijf #machtsconcentratie #Google #Apple #Meta #Facebook) #Amazon #Microsoft #ict #technologie #democratie #media #nieuws #journalist #journalistiek #pers #lobby #eu #europese_unie #privacywet #privacy #AVG #data #data_mining #gegevens #persoonlijke_gegevens #surveillance_capitalism #surveillancekapitalisme #profiel #profilering #kunstmatige_intelligentie #algoritme #ai #gezondheidszorg #medische_gegevens #klimaat #klimaatverandering #klimaatcrisis #energie #energiegebruik #democratie

Big Tech zit op school (en verandert daar de lessen)

Follow the Money

In het onderwijs zit steeds meer technologie. Het klaslokaal is veranderd in een goudmijn voor datahandelaren, maar veel software monitort kinderen nu ook buiten de school. Van de belofte dat de lessen door educatieve software op maat van ieder kind kunnen worden gesneden, komt intussen niet veel terecht. Hoog tijd om onderwijswaarden weer centraal te stellen. (...)

Het succes van educatieve technologie staat of valt immers met het verzamelen van data. En wie ‘data’ zegt, weet dat de datadieven op de loer liggen. Uit een ronduit schrikbarend onderzoek van Human Rights Watch naar 164 edutech-producten blijkt dat het overgrote deel ervan (84 procent!) kinderen tot ver buiten het klaslokaal trackt en monitort – of daartoe op z’n minst de mogelijkheid biedt.

De onderzochte aanbieders delen de persoonlijke gegevens van scholieren met liefst 196 derde partijen (voornamelijk adverteerders), valt uit de analyse van de mensenrechtenorganisatie op te maken. (...)

De opslag en verwerking van privégegevens aan de onzichtbare hand van de markt overlaten, staat al snel op gespannen voet met de bescherming van publieke waarden. Zo hebben scholen de opdracht om de integriteit van hun leerlingen te beschermen. Wie derde partijen laat meegluren met kinderen die worden geacht te leren en te experimenteren – en daarbij hoort misstappen en stommiteiten kunnen begaan of wegen mogen bewandelen zonder uitkomst of duidelijk doel – doet daar afbreuk aan. Het schoolgebouw behoort een veilige ruimte te zijn, afgesloten voor het spiedende oog van anonieme dataverzamelaars. (...)

Een interessante publicatie van Kennisnet, dat scholen adviseert en ondersteunt bij ict-vraagstukken, laat zien dat er veel valt af te dingen op de claims van de makers van oefensoftware.

Dergelijke systemen vergemakkelijken individueel leren, maar dat lijkt vooral de sterke leerlingen ten goede te komen. (...)

Bovendien ligt blikvernauwing op de loer. Door te focussen op meetbare prestaties raakt het sociale aspect van het leerproces – met en van elkaar leren – ondergesneeuwd. (...)

Wie zich laat beheksen door het doelmatigheids- en controlefetisjisme van de tech-industrie vergeet dat onderwijs ook in het teken van algemene vorming staat. Dat wil zeggen: een omgeving die nieuwsgierigheid naar de wereld stimuleert en die kinderen helpt zich voor te bereiden op een leven in de samenleving, inclusief alle ongemakken, grilligheden en onzekerheden die daarbij horen. (...)

De verleiding om eerder een dashboard te raadplegen dan oog te houden voor de subtiliteiten in het klaslokaal – denk aan lichaamstaal, een oogopslag of sociale interactie – is misschien begrijpelijk, maar komt wel met het risico dat de leraar vroeg of laat zélf in een dashboard verandert. Dat wil zeggen: in een onderwijsprofessional die, min of meer op de automatische piloot, zijn zicht op wezens van vlees en bloed laat belemmeren door de uitkomsten van een softwareprogramma. (...)

En zo krijgt de robotisering van het onderwijs, zonder dat er ooit een robot aan te pas komt, langzaam maar zeker gestalte. (...)

Het bijna blinde geloof in datagestuurd onderwijs is het zoveelste voorbeeld van wat criticus Evgeny Morozov ‘technologisch solutionisme’ noemt, de overtuiging dat technologie een kracht is die voor elk probleem een oplossing biedt. En nu komt het: tot op heden is er geen overtuigend bewijs dat digitale innovaties de onderwijskwaliteit verbeteren, zoals ook Kennisnet in de inleiding van het rapport vaststelt. Wat we wel weten, is dat bovenmatig gebruik van digitale media een negatieve invloed heeft op zoiets als begrijpend lezen. (...)

Hele artikel

Leerlingen testen VR-brillen voor afstandsonderwijs, 2022. © ANP / Joris van Gennip

Tags: #nederlands #nederland #onderwijs #big_tech #edutech #data #data_mining #surveillance #mass_surveillance #massasurveilance #surveillance_capitalism #surveillancekapitalisme #profiel #profilering #algoritme #gezichtsherkenningssoftware #gezichtsherkenning

Bijna alle producten die ik op Instagram voorbij zie komen wil ik onmiddellijk hebben

De Volkskrant

(...) [J]e hebt mensen die denken dat ze niet door reclames worden beïnvloed. Ze zijn autonome wezens die geheel zelfstandig hun beslissingen nemen. Die zijn vaak tegen het verbieden van reclames voor alcohol, gokken en fastfood, omdat dat ‘betutteling’ zou zijn. Waarom? Omdat de mens recht heeft op reclame? Als reclame geen effect had, dan zou een verbod erop de autonomie van de consument ook niet aantasten. De industrie pompt natuurlijk miljarden in reclames omdat ze wél effect hebben. Als producten regelmatig worden aangeprezen, dan willen we ze hebben. (...)

Dankzij vernuftige algoritmes komen precies die artikelen voorbij waar ik gevoelig voor ben. Spullen waarvan ik nog nooit gedroomd had, dacht ik. (...)

Hele artikel

Foto Bert Ernste

Tags: #nederlands #reclame #marketing #pr #misleidende_reclame #greenwashing #sportswashing #reclemacodecommissie #algoritme #advertenties #profiel #profilering #tracking #trackers #tracking_cookies #cookies

Onderzoek: Chinese staatsmedia wurmen zich omhoog in zoekresultaten bij gevoelige onderwerpen

De Volkskrant

Wie op Google, Bing of YouTube naar voor China gevoelige onderwerpen zoekt als de oorsprong van het coronavirus of de mensenrechtensituatie in Xinjiang, maakt grote kans gekleurde Chinese staatsmedia tegen te komen. Die maken daarbij goed gebruik van de algoritmen van de diensten.

Dit blijkt uit onderzoek van twee Amerikaanse denktanks, de Brookings Institution en de Alliance for Securing Democracy, die de afgelopen maanden onderzochten hoe Chinese staatsmedia naar voren komen in de zoekresultaten van vijf verschillende Amerikaanse platformen: Google News, Google Search, Bing Search, Bing News en YouTube. De conclusie van de onderzoekers: China heeft succes met het verwerven van prominente plekken bij de zoekresultaten, waarmee het de wereldwijde publieke opinie kan beïnvloeden. (...)

Hele artikel

Augustus 2020: vrijwilligers van een desinfectiedienst tegen covid-19 in Xinjiang. Beeld Getty.

Tags: #nederlands #china #oeigoeren #nieuws #nieuwsselectie #staatsmedia #chinese_staatsmedia #algoritme #zoekmachine #google #bing ##google_news #google_search #Bing_earch #bing_news #youtube #microsoft #alphabet #publieke_opinie #beinvloeding #manipulatie #covid-19 #Xinjiang #heropvoedingskampen #CGTN #mensenrechten

‘Big Tech’ vormt gevaar voor open internet, niet Europa

NRC

Europese Unie - Nieuwe wetten voor bedrijven als Facebook zijn hoog nodig. De liberale Eurocommissaris Margrethe Vestager gaat zelfs niet ver genoeg, meent Paul Tang.

In Europa is een grote lobbycampagne op gang gekomen, met als uiteindelijke inzet niet minder dan de toekomst van het internet. De Europese Commissie heeft de campagne afgetrapt met voorstellen om de oneerlijke concurrentie door Big Tech tegen te gaan. Het laatste wat een open internet voor iedereen nodig heeft is afzwakking van die voorstellen: het is juist nodig ze aan te scherpen.

Nick Clegg, dé lobbyist van Facebook, heeft zich gestort in de campagne en waarschuwt in NRC dat Europa moet waken voor „het onnodig hinderen van Europese innovatie en verdere versplintering van het wereldwijde internet” (Samen met de VS kan Europa het internet ‘open’ houden, 31/5).

Dat is wrang te horen uit de mond van een bedrijf dat een ongekende machtspositie heeft opgebouwd door agressieve overnames en het annexeren van onze data. (...)

Afgelopen december presenteerde de Europese Commissie twee belangrijke wetsvoorstellen die ervoor moeten gaan zorgen dat wat nu offline illegaal is ook online illegaal wordt. (...)

Dankzij agressieve acquisities, het te gelde maken van persoonlijke data en het gebruik van die data om concurrenten van de weg te drukken hebben Facebook en Google bijvoorbeeld een verstikkend ‘duopolie’ op de digitale advertentiemarkt. (...)

Dat is waarom de Europese Commissie voorstelt bedrijven zoals Facebook, Google, Amazon, Apple en Microsoft te verbieden datasets te combineren of data te gebruiken die voor concurrenten niet beschikbaar zijn. (...)

De liberale Vestager krijgt de kritiek te liberaal en te vrijblijvend te zijn in de aanpak van onmiskenbare machtsposities. De Nederlandse, Franse en Duitse regering vormden vorige week een unieke coalitie waarmee ze opriepen tot verplichte controles op alle bedrijfsovernames van dominante techbedrijven en veel meer middelen voor toezichthouders. (...)

Naast de terechte kritiek vanuit de Neder-Franco-Germaanse hoek is het ook een groot gemis dat het verzamelen en gebruiken van persoonlijke data voor advertenties mogelijk blijft. (...)

Ook kennen Vestagers wetten een grote omissie als het gaat om de uitwisseling van data tussen verschillende diensten, in het Europese jargon interoperabiliteit genoemd. Bij email en telefoon zijn we zo gewend een ander te kunnen bereiken, dat we ons niet eens afvragen welke provider die ander heeft. Dat geldt vreemd genoeg nog niet voor deze (nieuwe) digitale diensten die ons insluiten in hun gesloten ecosystemen. Terwijl WhatsApp prima met het privacyvriendelijke Signal zou kunnen werken. (...)

Hele artikel

Protest voor regulering van Facebook in Brussel, 15 december 2020. Foto Olivier Hoslet/EPA.

Tags: #nederlands #eu #europese_unie #eruropese_commissie #verstager #internet #open_internet #democratie #censuur #big_tech #facebook #google #alphabet #amazon #apple #microsoft #advertenties #advertentiemarkt #duopolie #data #data_mining #profiel #profilering #algoritme #dataset #gegevens #persoonlijke_gegevens #bedrijfsovernames #techbedrijven #interoperabiliteit #whatsapp #signal