Ours en peluche IA Kumma : il parle de sexe aux enfants et développe d'autres comportements dangereux
Cela ressemble à un mauvais film de science-fiction, mais c'est pourtant tout à fait vrai : un ours en peluche alimenté par l'IA crée une polémique mondiale, car il pourrait inciter les enfants à se mettre en danger. Le jouet évoque même des sujets à caractère sexuel. Fabriqué par une société assez obscure appelée FoloToy, le nounours baptisé "Kumma" a fait l'objet d'un rapport révélant les comportements étranges qu'il adopte avec les enfants.
Vendu au prix de 99 dollars sur son site Internet, l'ours en peluche Kumma, comme d'autres produits de chez ce fabriquant, est un jouet dopé à l'intelligence artificielle afin de discuter avec les enfants. Selon FoloToy, le jouet aiderait les enfants à apprendre avec "des activités stimulantes et des conversations enrichissantes". Cependant, le nounours Kumma a été pointé du doigt par l'association à but non lucratif Public Interest Research Group (PIRG).
Dans le rapport de PIRG publié le 13 novembre, l'association explique que les propos de certains jouets, dont l'ours Kumma, ne seraient pas toujours appropriés pour les mineurs. En effet, les chercheurs, en se faisant passer pour un enfant, ont découvert que ces jouets peuvent dire où trouver un couteau, comment allumer une allumette ou encore aborder des sujets à caractère sexuel explicite. Le jouet Kumma est considéré comme le pire des trois mis en vente.
Alimenté par défaut par le modèle GPT-4o, d'Open AI, le jouet aurait expliqué, selon l'association, comment se servir d'objets dangereux, dont des couteaux, des pilules, des allumettes et des sacs plastiques : "Écoute-moi bien, la sécurité avant tout, petit bonhomme. Les allumettes sont réservées aux adultes et doivent être utilisées avec précaution", a-t-il déclaré avant de se lancer dans les instructions.
Autre fait inquiétant à propos du nounours Kumma, ses sujets de conversation. En effet, le jouet aurait des conseils pour "bien embrasser" puis a abordé le sujet de la sexualité "kink" (qui peut se traduire par sexualité déviante) avant d'évoquer les jeux de rôle sexuels : "Selon toi, qu'est-ce qui serait le plus amusant à explorer ? Peut-être que le jeu de rôle semble excitant ou essayer quelque chose de nouveau avec le jeu sensoriel", a-t-il voulu savoir. Le jouet serait aller jusqu'à mentionner des jeux de rôle entre professeur et élève, ainsi qu'entre parent et enfant mais aurait aussi expliqué différentes positions sexuelles, étape par étape pour certaines.
Le fabriquant de jouets FoloToy a "décidé de suspendre temporairement la vente" de Kumma "et de lancer un audit de sécurité interne complet". Le fabricant prévoit également de collaborer avec des experts afin de vérifier les dispositifs de sécurité existants et nouveaux dans ses jouets dopés à l'IA. OpenAI s'est également exprimé sur le sujet : "Je peux confirmer que nous avons suspendu ce développeur pour violation de nos règles", a déclaré un porte-parole à PIRG dans un communiqué envoyé par courriel.