Al jaren schieten zogeheten nudify-apps en websites als paddenstoelen uit de grond.
Ze stellen gebruikers in staat om zonder toestemming schadelijke beelden van vrouwen en meisjes te creëren, waaronder materiaal dat onder kindermisbruik valt. Ondanks pogingen van wetgevers en technologiebedrijven om deze diensten in te perken, bezoeken miljoenen mensen nog altijd maandelijks de sites. Volgens nieuw onderzoek verdienen de beheerders van de sites mogelijk miljoenen dollars per jaar.
Een analyse van 85 nudify- en undress-websites, waarmee mensen foto’s kunnen uploaden en via AI in enkele klikken ‘naaktfoto’s’ kunnen genereren, wijst uit dat de meeste sites gebruikmaken van technologie van Google, Amazon en Cloudflare. Uit het onderzoek, gepubliceerd door Indicator, een platform dat digitale misleiding onderzoekt, blijkt dat de websites de afgelopen zes maanden samen gemiddeld zo’n 18,5 miljoen bezoekers per maand trokken, en mogelijk gezamenlijk tot 36 miljoen dollar per jaar opleveren.
‘Ze hadden per direct moeten stoppen toen duidelijk werd dat seksuele intimidatie het enige doel was’
Alexios Mantzarlis, medeoprichter van Indicator en onderzoeker op het gebied van online veiligheid, beaamt dat het ondoorzichtige nudify-ecosysteem is uitgegroeid tot een ‘winstgevende industrie’ die wordt ondersteund door ‘Silicon Valleys tolerante houding ten opzichte van generatieve AI’. ‘Ze hadden per direct moeten stoppen met het leveren van diensten aan AI-nudifiers toen duidelijk werd dat seksuele intimidatie het enige doel was.’ Het maken en verspreiden van expliciete deepfakes is bovendien in toenemende mate strafbaar.
Uit het onderzoek blijkt dat Amazon en Cloudflare webhosting en content delivery-diensten leveren aan 62 van de 85 onderzochte websites, terwijl Googles systemen op 54 van de websites worden gebruikt. Daarnaast maken de nudifysites gebruik van allerlei andere diensten, zoals betaalsystemen van reguliere bedrijven.
Ryan Walsh, woordvoerder van Amazon Web Services (AWS), zegt dat AWS duidelijke gebruiksvoorwaarden heeft die klanten verplichten om zich aan de ‘geldende’ wetgeving te houden. ‘Wanneer we meldingen ontvangen van mogelijke schendingen van onze voorwaarden, beoordelen we deze snel en nemen we maatregelen om verboden inhoud uit te schakelen,’ aldus Walsh. Hij voegt daaraan toe dat mensen incidenten kunnen melden bij hun veiligheidsteams.
In opmars
‘Sommige van deze sites overtreden onze voorwaarden, en onze teams nemen maatregelen om deze overtredingen aan te pakken en langetermijnoplossingen te ontwikkelen,’ zegt Google-woordvoerder Karl Ryan. Hij wijst erop dat ontwikkelaars akkoord moeten gaan met het beleid van Google, waarin illegale en intimiderende inhoud expliciet verboden wordt. Cloudflare had bij het ter perse gaan van dit artikel nog niet gereageerd op vragen van WIRED. WIRED noemt in dit artikel bewust geen specifieke nudifywebsites, om deze niet extra onder de aandacht te brengen.
Nudify- en undress-websites en -bots zijn sinds 2019 in opmars en komen voort uit de technieken die werden gebruikt om de eerste expliciete deepfakes te creëren. Netwerken van onderling verbonden bedrijven – eerder door Bellingcat in kaart gebracht – bieden deze technologie online aan en verdienen er geld mee.
In grote lijnen gebruiken deze diensten AI om foto’s om te zetten in niet-consensuele, expliciete beelden. Vaak verdienen ze geld door ‘credits’ of abonnementen te verkopen waarmee foto’s kunnen worden gegenereerd. De explosie van generatieve AI-beeldgeneratoren in de afgelopen jaren heeft hun impact aanzienlijk vergroot. Foto’s worden van sociale media gestolen en gebruikt om schadelijke beelden te maken: als nieuwe vorm van cyberpesten en -misbruik maken tienerjongens wereldwijd beelden van hun vrouwelijke klasgenoten. Dit is traumatiserend voor de slachtoffers en de beelden zijn vaak moeilijk van het internet te verwijderen.
Russische hackers hebben er valse, met malware geïnfecteerde versies van gemaakt
Op basis van berekeningen van abonnementskosten, conversieratio’s en webverkeer richting betaalproviders, schatten de onderzoekers van de 85 websites dat 18 daarvan in de afgelopen zes maanden tussen de $2,6 miljoen en $18,4 miljoen opleverden. Dat komt uit op zo’n $36 miljoen per jaar. (Ze merken op dat dit een voorzichtige schatting is, omdat hierbij geen rekening wordt gehouden met websites of transacties die buiten de platforms plaatsvinden, zoals Telegram.) Een rapportage van het Duitse blad Der Spiegel wijst erop dat één prominente site over een miljoenenbudget beschikt. Een andere website claimt al miljoenen te hebben verdiend.
Volgens het onderzoek komen de meeste bezoekers van de tien populairste sites uit de Verenigde Staten. India, Brazilië, Mexico en Duitsland vormen de rest van de top vijf. Hoewel zoekmachines bezoekers naar de nudifywebsites sturen, komt een groeiend deel van het webverkeer tegenwoordig via andere bronnen. Nudifywebsites zijn zó populair geworden dat Russische hackers valse, met malware geïnfecteerde versies ervan hebben gemaakt. In het afgelopen jaar rapporteerde 404 Media dat een van de sites gesponsorde video’s met pornoacteurs produceerde. De websites maken ook steeds meer gebruik van betaalde affiliate- en doorverwijzingsprogramma’s.
‘Uit onze analyse van het gedrag van nudifywebsites blijkt duidelijk dat ze zich willen nestelen in een niche van de adultindustrie,’ zegt Lakatos. ‘Ze zullen waarschijnlijk blijven proberen hun activiteiten daarmee te verweven – een ontwikkeling die zowel door techbedrijven als de sector zelf actief moet worden tegengegaan.’
‘Ze zijn geëvolueerd van enkele amateurprojecten tot een semiprofessionele industrie met miljoenen gebruikers’
Veel van de problemen rondom de techbedrijven die deze platforms draaiende houden, zijn al jaren bekend. Techjournalisten hebben herhaaldelijk aangetoond hoe de deepfake-economie gebruikmaakt van reguliere betaalmethodes, socialemedia-advertenties, zoekmachineverkeer en technologie van grote bedrijven. Toch is er nauwelijks structurele actie ondernomen.
‘Sinds 2019 zijn nudify-apps geëvolueerd van enkele amateurprojecten tot een semiprofessionele ondergrondse industrie met miljoenen gebruikers,’ zegt Henry Ajder, expert op het gebied van AI en deepfakes, die het nudify-ecosysteem in 2020 voor het eerst in kaart bracht. ‘Pas als de bedrijven die deze perverse klantreis faciliteren daadwerkelijk ingrijpen, zullen we enige vooruitgang boeken in het bemoeilijken van toegang tot deze apps en het terugbrengen van hun omzet.’
Er zijn bovendien signalen dat de nudifywebsites hun tactieken aanpassen om repressie of verbod te voorkomen. Vorig jaar meldde WIRED dat de sites gebruikmaakten van single sign-on-diensten van Google, Apple en Discord om gebruikers snel accounts te kunnen laten aanmaken. Veel van deze accounts zijn inmiddels gesloten. Volgens Indicator gebruiken 54 van de 85 onderzochte websites nog altijd het eenvoudige inlogsysteem van Google. Bovendien proberen de makers detectie te ontwijken door tijdens het registratieproces via tussenliggende websites andere URL’s voor te spiegelen.
Giftig
Hoewel techbedrijven en toezichthouders traag hebben gereageerd op misbruik van deepfakes sinds deze meer dan tien jaar geleden voor het eerst verschenen, is er recent enige beweging gekomen in de aanpak ervan. De stadsadvocaat van San Francisco heeft zestien diensten aangeklaagd die zonder toestemming afbeeldingen genereren. Microsoft heeft ontwikkelaars achter deepfakes van beroemdheden geïdentificeerd. Meta heeft een rechtszaak aangespannen tegen een bedrijf dat achter een nudify-app zou zitten dat herhaaldelijk advertenties op hun platform plaatste. Intussen heeft president Donald Trump in de VS de controversiële Take It Down Act ondertekend. Deze wet verplicht techbedrijven om schadelijk beeldmateriaal zo snel mogelijk te verwijderen. Ook de Britse overheid werkt aan wetgeving die het genereren van expliciete deepfakes illegaal maakt.
Deze stappen kunnen nudify- en undressdiensten raken. Maar er is een structurelere aanpak nodig om deze snel groeiende, schadelijke industrie af te remmen. Mantzarlis stelt dat als techbedrijven proactiever en strikter optreden, de ruimte voor nudifywebsites kleiner wordt. ‘Ja, dit soort zaken zullen verhuizen naar minder gereguleerde delen van het internet – niks aan te doen,’ zegt hij. ‘Als websites moeilijker te vinden, te openen en te gebruiken zijn, zullen hun publiek en hun inkomsten afnemen. Helaas is dit een giftig product uit het generatieve AI-tijdperk dat we niet meer kunnen uitwissen. Maar we kunnen het wel aanzienlijk inperken.’