Une nouvelle IA de synthèse vocale a été détournée par des trolls dans le but de créer des deepfakes de célébrités.
Vent de panique chez ElevenLabs, alors que son laboratoire de synthèse vocale, VoiceLab, fait les frais d’utilisateurs du forum 4chan. Forte d’une intelligence artificielle de qualité, l’entreprise n’a pu empêcher le détournement abusif de ses outils dans le mais de générer des contenus haineux.
Startup fondée par deux anciens de Google et Palantir, la société londonienne est à l’origine d’une nouvelle IA vocale permettant de créer des voix de synthèse ultraréalistes à partir de texte, ou de cloner des voix existantes à partir d’extraits audio.
La semaine dernière, ces technologies prometteuses ont été déployées en bêta publique gratuite pour offrir aux internautes un aperçu des performances de cette IA. Il n’aura pas fallu plus d’un week-end pour que des internautes malintentionnés s’en apparentent et la détournent. Lundi, ElevenLabs confirmait sur son compte Twitter avoir détecté un nombre croissant d’utilisations abusives de sa technologie, sans plus de précisions.
Week-end fou – merci à tous d’avoir essayé notre plateforme bêta. Alors que nous voyons notre technologie être massivement appliquée à une utilisation positive, nous constatons également un nombre croissant de cas d’utilisation abusive du clonage de la voix. Nous voulons tendre la main à la communauté Twitter pour des réflexions et des commentaires !
– ElevenLabs (@elevenlabsio) 30 janvier 2023
C’est finalement Motherboard qui révèle avoir trouvé plusieurs deepfakes, générés à l’aide du module de clonage de voix d’ElevenLabs. Les échantillons sonores, diffusés sur 4chan, représentaient les voix de nombreuses célébrités anglophones pour leur faire proférer des propos violents, racistes, homophobes et transphobes. Toujours d’après Motherboard, on pouvait notamment y entendre l’actrice Emma Watson lire des extraits de Mein Kampf, ou encore l’animateur ultra-conservateur Ben Shapiro formuler des remarques racistes au sujet d’Alexandria Ocasio-Cortez.
Contenus marqués et identification requis
À la suite de cette affaire, ElevenLabs avait annoncé suspendre l’accès gratuit à sa plate-forme, le temps de mettre en place des garde-fous pour empêcher que de tels détournements puissent se reproduire en toute impunité.
Depuis mardi, la plateforme est à nouveau accessible à tous, sous conditions. ElevenLabs a confirmé sur son compte Twitter que les extraits audio générés par ses outils de synthèse vocale et de clonage seraient dorénavant marqués. En complément, la société compte dans les jours à venir un outil d’identification des contenus générés avec son IA.
Merci à tous pour vos conseils. Nous aimons ce que vous créez, mais un groupe d’acteurs utilise notre technologie à des fins malveillantes. Nous avons décidé de prendre les mesures suivantes pour résoudre les problèmes :
– ElevenLabs (@elevenlabsio) 31 janvier 2023
La plupart des contenus défectueux retrouvés sur 4chan ayant été générés par des comptes gratuits, et donc anonymes, ElevenLabs a également décidé de circonscrire son VoiceLab aux utilisateurs Premium. Les internautes souhaitant tester gratuitement l’IA vocale de la société le peuvent toujours grâce à la mise en place d’une version de démonstration nécessitant de renseigner ses informations de paiement. Ces données pourraient ainsi permettre à ElevenLab d’identifier les auteurs de contenus abusifs et illégaux générés à partir de son IA.
Source :
Carte mère
