Les outils d'IA générative comme ChatGPT ont radicalement changé notre façon de travailler. Ils transforment la manière d’écrire du code, de rédiger des e-mails ou encore de résumer des contrats, et accélèrent la journée des travailleurs.
Ce changement a été rapide. Si rapide, que beaucoup d’organisations n'ont pas de vision claire sur la quantité de données sensibles collées dans ChatGPT. La plupart n'ont même aucune politique officielle, ni mis en place de système de détection. Cela pose un vrai problème de cybersécurité.
Le risque n’est pas hypothétique. Des fuites de données liées à l'IA générative se sont déjà produites dans de grandes entreprises mondiales, pourtant très sensibilisées à la sécurité ; Amazon ou encore Samsung.
Dans cet article, nous allons parler de cas d’incidents survenus suite à l’utilisation de ChatGPT, des mécanismes techniques derrière les fuites de données, et voir concrètement comment les services IT et sécurité peuvent agir pour sécuriser l'usage de l'IA générative.
Commençons par le début : quels sont les risques de ChatGPT ?
Les risques de ChatGPT regroupent en réalité trois problèmes différents
Quand on parle des risques liés à ChatGPT, on a souvent tendance à confondre trois problèmes pourtant bien distincts.
Problème 1 : les risques liés aux données saisies
Le premier est le risque en entrée : un collaborateur colle des données sensibles dans un outil d'IA générative comme ChatGPT pour l'aider à accomplir une tâche ; un extrait de code source, un contrat ou un dossier client. Ces données sortent du périmètre de contrôle de l'entreprise, arrivent sur le serveur d'un tiers, et, selon les paramètres du compte, peuvent être utilisées pour entraîner de futures versions du modèle.
C'est le risque le plus connu des équipes de sécurité, parce qu'il transite par les mêmes canaux (trafic navigateur, journaux SaaS, activité des postes de travail) qu'un outil de surveillance CASB ou DLP, déjà utilisé pour détecter des applications ou des activités non autorisées.
Le problème, c'est que la plupart des politiques DLP ont été conçues pour surveiller les pièces jointes des e-mails ou les téléchargements de fichiers, pas les interfaces de chat où l’on peut coller un contrat entier en quelques secondes, sans extension de fichier, sans téléchargement, et sans rien qui ressemble à un schéma d'exfiltration classique à détecter.
Problème 2 : les risques liés aux données produites
Le deuxième est le risque en sortie : la possibilité que le modèle lui-même soit falsifié pour restituer des données d'entraînement mémorisées à un autre utilisateur, avec des informations sensibles ou confidentielles. C'est un risque plus récent et moins connu, que les services sécurité n'ont pas encore intégré à leur réflexion.
Ces deux problèmes s’inscrivent dans le cadre plus large de l’IA fantôme, ou le shadow IT de l’IA. Il faut activement le surveiller, sans compter sur l’autodiscipline de vos collaborateurs.
Les mesures prises en entrée (DLP, CASB, politique d'utilisation acceptable) peuvent réduire significativement votre exposition en entrée, mais n'ont aucun effet sur les risques en sortie. Toute stratégie complète doit couvrir les deux aspects, plutôt que de considérer le déploiement d'un DLP comme un projet achevé.
Problème 3 : les hallucinations du modèle
Il existe un troisième risque, lié aux précédents, quand les salariés se fient à des résultats erronés ou « hallucinés » de ChatGPT pour leur travail, comme l’ont fait, de manière désormais célèbre, certains avocats lors de la rédaction de mémoires juridiques.
C'est un problème bien réel et important, mais les solutions ne relèvent ni des risques liés aux données d’entrée ni de ceux liés aux données de sortie. Concrètement, les entreprises doivent former leurs équipes à remettre en question tout ce qu’elles trouvent via l’IA générative, et à ne se fier qu’aux informations qu’elles ont vérifiées de manière indépendante.
Étude de cas : des employés Amazon saisissent des données dans ChatGPT et exposent leur entreprise
Voyons maintenant quelques exemples de cas réels pour illustrer les risques de ChatGPT.
En janvier 2023, Amazon a dû adresser un avertissement officiel à ses employés concernant leur usage de ChatGPT, après qu'un membre du service juridique ait signalé un phénomène inquiétant. D’après des messages internes sur Slack (obtenus ensuite par Business Insider), un juriste Amazon a informé les employés que l'entreprise avait déjà repéré des textes générés par ChatGPT qui ressemblaient fortement aux données internes de l’entreprise.
La principale inquiétude d'Amazon était que ces prompts puissent devenir des données d'entraînement pour une future version du modèle, et l'entreprise ne voulait pas que les résultats générés par ChatGPT finissent par inclure ou ressembler à son propre code confidentiel.
Cet exemple est une leçon pour toutes les entreprises. La fuite provient des ingénieurs Amazon qui utilisaient ChatGPT comme assistant de programmation, en y collant du code interne existant pour l'améliorer ou supprimer des bugs. L'utilisation de l'IA, aussi bien intentionnée et productive fût-elle, était dangereuse, car peu de mesures de sécurité avaient été mises en place. Même avec les protections supplémentaires d'aujourd'hui, ce risque peut toujours exister.
Étude de cas : des entreprises ont restreint l’usage de ChatGPT (Goldman Sachs, Samsung, Apple)
Mi 2023, une vague d'entreprises avait soit restreint l’accès à ChatGPT, soit l'avait purement et simplement interdit. Parmi elles : Goldman Sachs, Apple, Verizon, JPMorgan Chase, Citigroup, Bank of America et bien d'autres. La confidentialité était la principale raison invoquée par la quasi-totalité de ces entreprises pour justifier ces restrictions, dans la mesure où ChatGPT pouvait utiliser les données issues des conversations pour contribuer à l’entraînement de futurs modèles.
En avril 2023, des ingénieurs de Samsung ont accidentellement divulgué du code source interne confidentiel ainsi que des enregistrements de réunions internes. Cela s'est produit lorsqu’une personne a copié-collé ces éléments dans ChatGPT pour l'aider à corriger des bugs et à résumer des réunions.
Une fois cette affaire rendue publique, Apple a rapidement restreint l’accès à ChatGPT et à GitHub Copilot pour ses employés, invoquant des craintes similaires de fuites de données. Goldman Sachs a fait de même, en bloquant ChatGPT via ses contrôles habituels de logiciels tiers, tout en développant en parallèle ses propres outils internes d'IA générative afin d'offrir à ses employés un moyen autorisé de bénéficier des avantages en termes de productivité sans s'exposer à des risques.
Étude de cas : manipuler ChatGPT pour divulguer des données d'entraînement (Google DeepMind, Cornell)
Fin 2023, des chercheurs de Google DeepMind, de Cornell et de plusieurs universités partenaires ont découvert qu'ils pouvaient amener ChatGPT à restituer des données d'entraînement mémorisées, simplement en lui demandant de répéter indéfiniment un mot comme « poème ».
Après quelques centaines de répétitions, le modèle s’écartait de son comportement attendu et commençait à générer des fragments de ses données d'entraînement d'origine, y compris de véritables signatures d'e-mail et coordonnées de personnes réelles. Certains mots déclencheurs se sont révélés bien plus efficaces que d'autres. Par exemple, les chercheurs ont constaté que demander au modèle de répéter « entreprise » l’amenait à divulguer des données d’entraînement environ 164 fois plus souvent qu’un mot de contrôle neutre.
Avec seulement 200 dollars de requêtes API, les chercheurs ont réussi à extraire plus de 10 000 exemples d’entraînement uniques, mémorisés mot pour mot, et ils ont explicitement souligné qu’un attaquant disposant de ressources plus importantes pourrait probablement en extraire bien davantage. C'est ce qu'on appelle une cyberattaque par divergence : une technique qui pousse volontairement un modèle en dehors de son comportement prévu jusqu'à ce qu'il commence à produire des fragments bruts et non filtrés des données sur lesquelles il a été entraîné, plutôt qu'une réponse soignée de chatbot.
D'un point de vue technique, toute donnée qu'un employé a un jour saisie dans une version ouverte de ChatGPT pourrait potentiellement être extraite par une personne extérieure à votre organisation, à un moment donné dans le futur. OpenAI a corrigé la faille spécifique divulguée par les chercheurs, mais le risque plus général lié à la mémorisation et à l’extraction dans les grands modèles de langage n’a pas disparu ; il s’agit d’un domaine de recherche active en matière d’attaques adversaires, et non d’un simple bug ponctuel.
Dans cette optique, voyons comment mettre en place un cadre opérationnel qui favorise l'utilisation d'outils d'IA, tels que ChatGPT.
Lire plus : Fuites de données liées à l’IA : comment ça marche et à quoi sert un outil DLP
Un cadre pratique en 7 étapes pour prévenir les risques liés à l’utilisation de ChatGPT
La plupart des organisations n'ont pas besoin d'aller jusqu'à interdire ChatGPT simplement pour maîtriser ces risques. Ce dont elles ont besoin, c'est d'un cadre opérationnel que leurs équipes puissent réellement suivre.
Voici une méthode en sept étapes :
- Classifiez avant d'interdire : commencez par dresser un inventaire des types de données sensibles les plus susceptibles de se retrouver dans les requêtes de vos collaborateurs : informations personnelles identifiables (PII), code source, données financières, contrats, informations liées aux fusions-acquisitions. Vous ne pouvez pas élaborer de politique ou de règles de détection pertinentes tant que vous ne savez pas ce que vous protégez.
- Choisissez votre posture délibérément : les entreprises citées plus haut ont adopté trois grandes approches : l'interdiction totale, la proposition d'une alternative approuvée, ou l’autorisation d’utiliser l’outil sous réserve d’un suivi par un système de prévention des pertes de données (DLP). Choisissez l’approche qui correspond à votre tolérance au risque réel et à votre secteur d’activité.
- Désactivez l'utilisation des données d'entraînement par défaut : assurez-vous que votre organisation comprenne et applique les contrôles relatifs aux données de ChatGPT Enterprise, ainsi que les options de désactivation disponibles sur les comptes personnels, afin que les prompts ne servent pas à entraîner de futurs modèles par défaut.
- Mettez en place de la détection, au-delà d’une politique : une politique d'usage acceptable écrite est un bon début, mais il faut aussi un outil DLP pour les terminaux IA, capable de signaler ou de bloquer les données sensibles, ainsi que des règles CASB bloquant les copier-coller de données sensibles détectées par des expressions régulières avant qu'elles ne quittent votre réseau vers un outil d'IA tiers.
- Proposez à vos employés une alternative approuvée : c'est la véritable leçon à tirer des exemples d’Amazon et de Goldman : interdire un outil de productivité réellement utile sans proposer de solution de remplacement approuvée n'élimine pas le risque, cela ne fait que le pousser dans la clandestinité.
- Formez vos équipes à repérer les dangers de « l'assistant bien utile » : la formation de sensibilisation doit aborder spécifiquement les raisons pour lesquelles l’utilisation par des employés compétents et bien intentionnés constitue le principal vecteur de menace. La plupart des personnes qui copie-collent des données sensibles dans ChatGPT croient sincèrement qu’elles ne font que gagner en efficacité, sans comprendre les risques de fuites de données et autres.
- Revoyez régulièrement votre politique : l’IA évolue vite, avec l'apparition constante de nouveaux modèles, de contrôles d'entreprise et de techniques d'extraction. Considérez votre politique ChatGPT comme un document vivant, et non comme une note envoyée une fois pour toutes avant de l’oublier.
En parlant de cadres pratiques, découvrez notre guide gratuit des 12 indicateurs clés en cybersécurité
Les outils DLP sont essentiels pour gérer les risques de ChatGPT
Un outil DLP dédié comme Sonar ne se contente pas de rendre le risque de partage de données plus visible a posteriori ; il peut signaler de manière proactive ou bloquer un copier-coller risqué dans ChatGPT avant qu’il ne se transforme en incident.
Combiné à notre méthode en sept étapes, c'est l'un des moyens les plus efficaces de combler le fossé entre le simple fait de disposer d’une politique et celui d’aider concrètement vos équipes à prendre des décisions plus sûres.
Avec Sonar, vous pouvez protéger même vos utilisateurs les moins expérimentés ou les moins sensibilisés à la sécurité : ceux qui sont les plus susceptibles de copier-coller une information sensible sans réfléchir.
ChatGPT est un outil puissant à utiliser avec des garde-fous
Les outils d'IA générative, comme ChatGPT, transforment notre façon de travailler, et ce, à juste titre. Ils permettent d’automatiser des tâches répétitives et aident les équipes à mieux exploiter leurs données et de leurs systèmes. Mais pour en profiter en toute sécurité, il faut mettre en place les mesures de protection adéquates sans attendre qu’un scénario catastrophe se produise, comme chez Samsung ou Amazon.
Essayez notre méthode en sept étapes. Et pour découvrir comment protéger vos équipes des dangers de l’IA générative avec Sonar, échangez dès aujourd'hui avec l'un de nos experts.
FAQ
- Est-il sûr d'utiliser ChatGPT au travail ? Oui, à condition de mettre en place les bonnes mesures de sécurité ; politique, désactivation de l’usage des données pour l'entraînement et surveillance DLP. ChatGPT peut vraiment exposer des données confidentielles à échapper au contrôle de votre organisation.
- ChatGPT peut-il divulguer les données d'une entreprise à d'autres utilisateurs ? En théorie, oui. Des chercheurs ont montré qu'il était possible de manipuler ChatGPT pour restituer des fragments mémorisés de ses données d'entraînement, avec de vraies informations personnelles, via des techniques telles que la saisie répétée de mots clés. OpenAI continue de corriger les failles connues, mais les attaquants cherchent sans cesse de nouveaux moyens d'amener ChatGPT à divulguer des données sensibles.
- OpenAI utilise-t-il nos conversations sur ChatGPT pour entraîner ses modèles ? Par défaut, les comptes ChatGPT grand public peuvent utiliser les données de conversation pour améliorer les futurs modèles. Cette option peut être désactivée dans les paramètres. Les abonnements « Enterprise » et « teams » proposent généralement des contrôles de données plus stricts par défaut, mais les organisations doivent vérifier et configurer ces paramètres plutôt que de partir du principe qu'elles sont déjà protégées.
- Les entreprises devraient-elles interdire ChatGPT ? Pas nécessairement. Les entreprises qui ont le mieux géré cette situation, comme Goldman Sachs, n'ont pas rejeté l'IA générative ; elles en ont encadré l'usage, en proposant une alternative interne approuvée. Interdire sans proposer d’alternative homologuée a tendance à favoriser l’utilisation du shadow IT, où l'on perd toute visibilité.
