Les pirates ont trouvé un moyen de contourner les restrictions de ChatGPT et l’utilisent pour vendre des services qui permettent aux gens de créer des logiciels malveillants et des e-mails de phishing, ont déclaré mercredi des chercheurs.
ChatGPT est un chatbot qui utilise l’intelligence artificielle pour répondre aux questions et effectuer des tâches d’une manière qui imite la production humaine. Les gens peuvent l’utiliser pour créer des documents, écrire du code informatique de base et faire d’autres choses. Le service bloque activement les demandes de génération de contenu potentiellement illégal. Demandez au service d’écrire du code pour voler des données à partir d’un appareil piraté ou de créer un e-mail de phishing, et le service refusera et répondra à la place que ce contenu est « illégal, contraire à l’éthique et nuisible ».
Ouvrir la boîte de Pandore
Les pirates ont trouvé un moyen simple de contourner ces restrictions et l’utilisent pour vendre des services illicites dans un forum clandestin sur le crime, ont rapporté des chercheurs de la société de sécurité Check Point Research. La technique fonctionne en utilisant l’interface de programmation d’application ChatGPT plutôt que l’interface Web. ChatGPT met l’API à la disposition des développeurs afin qu’ils puissent intégrer le bot AI dans leurs applications. Il s’avère que la version de l’API n’applique pas de restrictions sur le contenu malveillant.
« La version actuelle de l’API d’OpenAI est utilisée par des applications externes (par exemple, l’intégration du modèle GPT-3 d’OpenAI aux canaux Telegram) et a très peu ou pas de mesures anti-abus en place », ont écrit les chercheurs. « En conséquence, il permet la création de contenu malveillant, tel que des e-mails de phishing et du code malveillant, sans les limitations ou les barrières que ChatGPT a définies sur leur interface utilisateur. »
Un utilisateur d’un forum vend maintenant un service qui combine l’API et l’application de messagerie Telegram. Les 20 premières requêtes sont gratuites. À partir de là, les utilisateurs sont facturés 5,50 $ pour 100 requêtes.
Les chercheurs de Check Point ont testé le contournement pour voir s’il fonctionnait bien. Le résultat : un e-mail de phishing et un script qui vole les documents PDF d’un ordinateur infecté et les envoie à un attaquant via FTP.
Pendant ce temps, d’autres participants au forum publient gratuitement du code qui génère du contenu malveillant. « Voici un petit script bash pour vous aider à contourner les restrictions de ChatGPT afin de l’utiliser pour tout ce que vous voulez, y compris le développement de logiciels malveillants 😉 », a écrit un utilisateur.
Le mois dernier, les chercheurs de Check Point ont documenté comment ChatGPT pouvait être utilisé pour écrire des messages malveillants et de phishing.
« De décembre à janvier, il était encore facile d’utiliser l’interface utilisateur Web ChatGPT pour générer des logiciels malveillants et des e-mails de phishing (la plupart du temps, une simple itération de base suffisait), et sur la base du bavardage des cybercriminels, nous supposons que la plupart des exemples que nous avons montrés ont été créés. en utilisant l’interface utilisateur Web », a écrit le chercheur de Check Point, Sergey Shykevich, dans un e-mail. « Dernièrement, il semble que les mécanismes anti-abus de ChatGPT aient été considérablement améliorés, alors maintenant les cybercriminels sont passés à son API qui a beaucoup moins de restrictions. »
Les représentants d’OpenAI, la société basée à San Francisco qui développe ChatGPT, n’ont pas immédiatement répondu à un e-mail demandant si la société était au courant des résultats de la recherche ou avait l’intention de modifier l’interface API. Ce message sera mis à jour si nous recevons une réponse.
La génération de logiciels malveillants et d’e-mails de phishing n’est qu’une des façons dont ChatGPT ouvre une boîte de Pandore qui pourrait bombarder le monde avec du contenu nuisible. D’autres exemples d’utilisations dangereuses ou contraires à l’éthique sont l’invasion de la vie privée et la génération de désinformation ou de devoirs scolaires. Bien sûr, la même capacité à générer du contenu nuisible, contraire à l’éthique ou illicite peut être utilisée par les défenseurs pour développer des moyens de le détecter et de le bloquer, mais il n’est pas clair si les utilisations bénignes pourront suivre le rythme des malveillantes.
