Innovation choc chez OpenAI : GPT-Red, une nouvelle IA qui attaque ChatGPT

Innovation choc chez OpenAI : GPT-Red, une nouvelle IA qui attaque ChatGPT Le mercredi 15 juillet, OpenAI dévoile GPT-Red, une nouvelle IA qui attaque leurs modèles pour renforcer leur sécurité avant un déploiement à grande échelle.

OpenAI a annoncé le mercredi 15 juillet le lancement de GPT-Red, un outil de cybersécurité pour améliorer la robustesse de leurs modèles d'intelligence artificielle.  Actuellement, il est principalement utilisé par la firme pour entraîner GPT-5.6 afin de le rendre plus robuste aux injections de prompts. Ce sont des attaques bien connues qui consistent à partager avec le chatbot des instructions malveillantes pour recommander une mauvaise annonce, voire voler vos informations de carte de crédit.

GPT-Red : une IA interne qui attaque ChatGPT

Le GPT-Red est un red teamer red, soit un attaquant informatique fictif missionné pour tenter de percer la sécurité du système visé, en l'occurrence GPT-5.6. Déçu des options disponibles sur le marché, OpenAI a donc décidé de développer son propre outil interne automatisé.

Ces tests d'intrusion sont en effet essentiels pour "découvrir les vulnérabilités et améliorer la robustesse de nos modèles", souligne la firme sur son site officiel. Cela est le cas pour les systèmes d'IA en général qui accèdent fréquemment à des données tierces pour répondre aux requêtes via "les navigateurs, les applications connectées, les fichiers locaux", entre autres. Les exercices d'intrusion humaine existent et restent essentiels, mais ils ne permettent pas d'être réalisés à grande échelle.

OpenAI privilégie des modèles robustes sans perdre en performance

GPT-Red est récompensé à chaque fois qu'il provoque un échec valide, ce qui en fait un attaquant informatique particulièrement efficace et dangereux.

Performances de l'attaquant GPT-Red © OpenAI

Il traduit une prise de position forte de la firme américaine : privilégier la robustesse utile qui ne freine pas la performance. L'objectif n'est pas de produire des modèles qui refuseraient tout simplement les requêtes légitimes, ce qui entacherait leur puissance. Plus difficiles à attaquer, ils seraient moins performants. OpenAI vise, au contraire, à développer des modèles qui traitent ces requêtes et les tâches de refus, mais les résistent en définitive.