OpenAI announces bug bounty program to address AI security risks

OpenAI, un laboratoire de recherche de premier plan sur l’intelligence artificielle (IA), a annoncé aujourd’hui le lancement d’un programme de primes de bogues pour aider à faire face aux risques croissants de cybersécurité posés par de puissants modèles de langage comme son propre ChatGPT.

Le programme, géré en partenariat avec la société de cybersécurité participative Bugcrowd, invite des chercheurs indépendants à signaler les vulnérabilités des systèmes OpenAI en échange de récompenses financières allant de 200 $ à 20 000 $ selon la gravité. OpenAI a déclaré que le programme faisait partie de son « engagement à développer une IA sûre et avancée ».

Les inquiétudes se sont accrues ces derniers mois concernant les vulnérabilités des systèmes d’intelligence artificielle qui peuvent générer du texte synthétique, des images et d’autres médias. Les chercheurs ont constaté une augmentation de 135% des attaques d’ingénierie sociale activées par l’IA de janvier à février, coïncidant avec l’adoption de ChatGPT, selon la société de cybersécurité AI DarkTrace.

Alors que l’annonce d’OpenAI a été bien accueillie par certains experts, d’autres ont déclaré qu’un programme de primes aux bogues ne résoudrait probablement pas complètement le large éventail de risques de cybersécurité posés par des technologies d’IA de plus en plus sophistiquées.

La portée du programme est limitée aux vulnérabilités qui pourraient affecter directement les systèmes OpenAI et les partenaires. Il ne semble pas répondre aux préoccupations plus larges concernant l’utilisation malveillante de technologies telles que le phishing, les médias synthétiques ou les outils de piratage automatisés. OpenAI n’a pas immédiatement répondu à une demande de commentaire.

Un programme de bug bounty à portée limitée

Le programme de primes aux bogues survient au milieu d’un certain nombre de problèmes de sécurité, avec la montée des jailbreaks GPT4, qui permettent aux utilisateurs de développer des instructions sur la façon de pirater des ordinateurs, et les chercheurs découvrent des solutions de contournement pour que les utilisateurs « non techniques » créent des logiciels malveillants et des e-mails de phishing.

Cela vient également après qu’un chercheur en sécurité connu sous le nom de Rez0 aurait utilisé un exploit pour pirater l’API ChatGPT et découvrir plus de 80 plugins secrets.

Compte tenu de ces controverses, le lancement d’une plateforme de primes de bogues offre à OpenAI l’occasion de remédier aux vulnérabilités de son écosystème de produits, tout en se positionnant comme une organisation agissant de bonne foi pour faire face aux risques de sécurité introduits par l’IA générative. .

Malheureusement, le programme OpenAI Bug Bounty est très limité dans la portée des menaces auxquelles il s’attaque. Par exemple, la page officielle du programme de primes aux bogues note : « Les problèmes liés au contenu des invites et des réponses du modèle sont strictement hors de portée et ne seront pas récompensés à moins qu’ils n’aient un impact supplémentaire sur la sécurité. directement vérifiable dans un service dans le champ d’application « .

Les exemples de problèmes de sécurité considérés comme hors de portée incluent les fuites et les contournements de sécurité, obligeant le modèle à « dire de mauvaises choses », amenant le modèle à écrire du code malveillant ou demandant au modèle de lui dire comment faire de mauvaises choses.

En ce sens, le programme OpenAI bug bounty peut être bon pour aider une organisation à améliorer sa propre posture de sécurité, mais il ne fait pas grand-chose pour faire face aux risques de sécurité introduits par l’IA générative et le GPT-4 pour la société en général.