WormGPT, le ChatGPT du crime : l'inquiétante ascension d'une IA prisée des hackers
Depuis l’apparition de ChatGPT et la démocratisation des intelligences artificielles génératives, le quotidien de beaucoup de travailleurs a été transformé. Les chatbots sont utilisés pour rédiger des mails, automatiser certaines tâches, écrire du code… Cela s'observe aussi dans la sphère cybercriminelle. Loin des clichés les décrivant parfois comme des acteurs solitaires tapis dans l’ombre, les hackers se sont professionnalisés. Les plus grands groupes cybercriminels sont organisés comme des entreprises conventionnelles avec services RH, congés payés, primes… Et outils d’intelligence artificielle.
Pour eux, cependant, pas question d’utiliser ChatGPT ou Gemini. Les chatbots développés par les géants de la tech, comme OpenAI ou Google, ont des limites encodées qui leur interdisent de produire des contenus dangereux ou d’effectuer des actions potentiellement illégales. Certaines commandes spécifiques permettent parfois de contourner les limites des IA (ce qu'on appelle un "jailbreak"). Mais il existe aussi des IA déjà débridées, connues sous le nom de WormGPT.
WormGPT est apparu pour la première fois en juin 2023 sur l’un des plus populaires forums de hackers, explique à L’Express Vitaly Simonovich, chercheur en cybersécurité chez Cato Networks. Mis au point par des auteurs qui n’ont jamais pu être identifiés, WormGPT avait été entraîné sur un modèle de langage open source, accessible à tous, et avait été pensé pour ne pas avoir les mêmes limitations que les autres chatbots. L’IA acceptait, par exemple, volontiers de fournir des mails de phishing ou de coder de faux sites afin de récupérer des mots de passe. Et les cybercriminels s’en sont vite emparés.
Un ChatGPT malveillant
SlashNext, une entreprise spécialisée dans la cybersécurité et la première à avoir repéré l’arrivée de WormGPT, soulignait alors que ses capacités étaient particulièrement "inquiétantes", notamment pour la rédaction d’e-mails de phishing, "à la fois très convaincant et stratégiquement intelligent". WormGPT, dont le logo reprenait la forme bien connue de celui de ChatGPT dans une teinte rouge sang, était ainsi capable de rédiger des mails faisant croire à des directeurs financiers qu’ils venaient de recevoir un ordre de la part de leur patron leur demandant de faire en urgence un virement. Le résultat, à la tonalité anxiogène, n’aurait pas été possible avec un autre type d’IA.
"WormGPT est similaire à ChatGPT, mais n’a pas de limites éthiques", résumait SlashNext. Dans une étude parue l’année de la sortie de WormGPT, l'entreprise précisait que le nombre de tentatives de phishing et d’e-mail frauduleux reçus par les entreprises avait augmenté de 1 265 %. Malgré un succès impressionnant, WormGPT a subitement été retiré d’internet par l’un de ses créateurs, deux mois à peine après son apparition. L’idée de créer des alternatives immorales à ChatGPT est cependant restée. "Le nom WormGPT est devenu une marque", confirme Vitaly Simonovich. Et cette marque s’étend.
"Un véritable service aux hackers"
Dans la lignée de WormGPT, Vitaly et son équipe de chercheurs ont récemment trouvé plusieurs autres modèles d’IA malveillantes développés à partir de LLM open source. Ces LLM sont en quelque sorte les "moteurs" derrière les chatbots comme ChatGPT, qui sont ensuite affinés pour avoir de meilleures capacités, et sur lesquels sont ajoutées des surcouches de code donnant aux IA leurs "identités". Certains LLM sont "propriétaires" : leurs secret de fabrication sont jalousement gardés par les entreprises les ayant développés. D'autres telles que Meta et la française Mistral acceptent de les partager, faisant le pari que la mise en commun des progrès de chacun permettra d'innover davantage.
L’étude de Cato Networks montre que le LLM de Mistral et le chatbot Grok, développé par l’entreprise xAI d’Elon Musk, ont été détournés afin de créer une nouvelle génération de WormGPT. "Celui se basant sur Mistral a très bonne réputation sur le forum, et les hackers paient 100 dollars par mois pour y avoir accès", précise Vitaly Simonovich.
L’autre IA malveillante fait appel à l’API [NDLR : une interface permettant à un logiciel de se connecter à un service pour utiliser ses fonctionnalités, sans avoir à l’héberger ni à en connaître les détails techniques] de Grok, tout en faisant disparaître ses garde-fous. L’utilisation de cette API pose question, car l’accès est payant et nécessite un abonnement à xAI. Il n’est cependant "pas possible" d’affirmer que xAI gagnerait des revenus à travers WormGPT, insiste Vitaly Simonovich. "Ce WormGPT pourrait utiliser des identifiants volés".
Pour avoir accès à ce chatbot malveillant, les hackeurs doivent payer : les abonnements de base commencent à 8 dollars par mois, et montent jusqu’à 18 dollars. "Il n’y a pas de limites, pas de règles, et pas de conséquences", se vantent les vendeurs dans une publication faisant la promotion de l’IA sur un forum du dark web. xAI et Mistral n’ont pour le moment pas répondu à nos questions.
Des plateformes IA créées de toutes pièces
Cato Networks a également découvert une nouvelle plateforme de modèles d’IA non censurés, Nytheon AI. Tout un écosystème y est disponible, notamment un chatbot spécialisé dans la traduction de documents, un autre dans la génération de code, ou encore un dans la reconnaissance d’image. "C’est un écosystème très puissant, qui fournit un véritable service aux hackers", décrit Vitaly. Une industrie d’IA as a service se développe sur les forums de hackers. "Tout cela va faire croître le nombre d’acteurs dangereux, dotés de puissants outils", met en garde le chercheur.
Face à cette menace, peu d’actions sont possibles. Par définition, les LLM en open source peuvent être étudiés et utilisés par tout le monde. "Ce genre de bibliothèques open source ne peut pas vraiment être contrôlé, c’est comme lorsque les développeurs utilisent un langage informatique classique pour coder des virus", souligne Bernard Montel, directeur technique de Tenable. Certaines entreprises ont choisi de limiter l’ouverture de leurs LLM en ne partageant pas toutes les caractéristiques — on parle alors de modèles open weight. La méthode n’est cependant pas infaillible - le LLM de Mistral détourné fait justement partie de cette catégorie.
La meilleure façon de se protéger serait-elle de restreindre l’accès aux modèles open source ? "C’est un grand débat", confie Bernard Montel. L'open source a en effet de nombreuses vertus. Ces modèles ouverts contribuent grandement au partage du savoir et des dernières avancées. La transparence des produits open source permet également à la société de mieux contrôler leur qualité et leur fiabilité. Des experts extérieurs peuvent ainsi repérer les failles d'un programme ou suggérer des améliorations. Freiner l'open source retarderait donc inévitablement la recherche, tout en affaiblissant la sécurité des modèles.
La solution se trouve peut-être dans l’intégration de "signatures" dans les écrits générés. Une étude scientifique parue en mars 2025 démontrait qu’ajouter des filigranes aux réponses des chatbots permettrait de remonter jusqu’aux utilisateurs en cas de détournement. Une piste intéressante, mais qui dépendra du bon vouloir des entreprises.