Une IA vocale détournée à des fins racistes, homophobes et transphobes

 

Une nouvelle IA de synthèse vocale a été détournée par des trolls dans le but de créer des deepfakes de célébrités.

Vent de panique chez ElevenLabs, alors que son laboratoire de synthèse vocale, VoiceLab, fait les frais d’utilisateurs du forum 4chan. Forte d’une intelligence artificielle de qualité, l’entreprise n’a pu empêcher le détournement abusif de ses outils dans le mais de générer des contenus haineux.

Startup fondée par deux anciens de Google et Palantir, la société londonienne est à l’origine d’une nouvelle IA vocale permettant de créer des voix de synthèse ultraréalistes à partir de texte, ou de cloner des voix existantes à partir d’extraits audio.

La semaine dernière, ces technologies prometteuses ont été déployées en bêta publique gratuite pour offrir aux internautes un aperçu des performances de cette IA. Il n’aura pas fallu plus d’un week-end pour que des internautes malintentionnés s’en apparentent et la détournent. Lundi, ElevenLabs confirmait sur son compte Twitter avoir détecté un nombre croissant d’utilisations abusives de sa technologie, sans plus de précisions.

C’est finalement Motherboard qui révèle avoir trouvé plusieurs deepfakes, générés à l’aide du module de clonage de voix d’ElevenLabs. Les échantillons sonores, diffusés sur 4chan, représentaient les voix de nombreuses célébrités anglophones pour leur faire proférer des propos violents, racistes, homophobes et transphobes. Toujours d’après Motherboard, on pouvait notamment y entendre l’actrice Emma Watson lire des extraits de Mein Kampf, ou encore l’animateur ultra-conservateur Ben Shapiro formuler des remarques racistes au sujet d’Alexandria Ocasio-Cortez.

Contenus marqués et identification requis

À la suite de cette affaire, ElevenLabs avait annoncé suspendre l’accès gratuit à sa plate-forme, le temps de mettre en place des garde-fous pour empêcher que de tels détournements puissent se reproduire en toute impunité.

Depuis mardi, la plateforme est à nouveau accessible à tous, sous conditions. ElevenLabs a confirmé sur son compte Twitter que les extraits audio générés par ses outils de synthèse vocale et de clonage seraient dorénavant marqués. En complément, la société compte dans les jours à venir un outil d’identification des contenus générés avec son IA.

La plupart des contenus défectueux retrouvés sur 4chan ayant été générés par des comptes gratuits, et donc anonymes, ElevenLabs a également décidé de circonscrire son VoiceLab aux utilisateurs Premium. Les internautes souhaitant tester gratuitement l’IA vocale de la société le peuvent toujours grâce à la mise en place d’une version de démonstration nécessitant de renseigner ses informations de paiement. Ces données pourraient ainsi permettre à ElevenLab d’identifier les auteurs de contenus abusifs et illégaux générés à partir de son IA.

Source :

Carte mère

Source link

CEO GoConect
CEO GoConect
Articles: 499

Laisser un commentaire