Qu'est-ce que l'IA générative en cybersécurité ?

L'intelligence artificielle générative crée de nouveaux contenus, notamment du texte, du code, des images, de l'audio et de la vidéo, en apprenant les schémas présents dans des données existantes. En cybersécurité, elle agit des deux côtés de la lutte. Les attaquants l'utilisent pour produire des messages de phishing convaincants, des voix et visages synthétiques, ainsi que du code fonctionnel à une vitesse et avec un niveau de qualité qui exigeaient auparavant davantage de compétences et de temps. Les défenseurs l'utilisent pour réduire le travail analytique qui remplit les journées des équipes de sécurité, de la synthèse d'un incident à la traduction d'une question en requête. L'IA générative est souvent présentée comme si elle couvrait toute l'intelligence artificielle utilisée en sécurité. Ce n'est pas le cas. Les équipes de sécurité utilisent le machine learning depuis des années pour classer et détecter les menaces. La différence fondamentale est que l'IA générative crée de nouveaux contenus. Cette page explique cette distinction, la façon dont les attaquants et les défenseurs utilisent l'IA générative, les risques de sécurité qu'elle introduit et comment l'adopter sans créer de nouvelles expositions.

Ce qu'il faut retenir

L'IA générative crée, l'IA analytique classe. Cette distinction compte, car les outils de sécurité utilisent le machine learning pour la détection depuis longtemps.
Elle abaisse les barrières pour les attaquants. Le phishing fluide dans de nombreuses langues, les voix clonées, les vidéos synthétiques et l'assistance au développement sont désormais accessibles à des acteurs qui n'avaient pas auparavant les compétences ou les ressources nécessaires.
Sa valeur défensive est analytique. Résumer les incidents, répondre à des questions en langage courant et rédiger une logique de détection font gagner du temps aux analystes, l'une des ressources les plus rares dans un SOC.
Elle introduit de nouveaux risques. L'injection de prompt, la fuite de données sensibles vers des modèles externes et les réponses assurées mais incorrectes exigent des contrôles que les programmes de sécurité traditionnels n'avaient pas conçus pour ces usages.
L'autonomie a ses limites. Un assistant qui rédige et accélère le travail est utile. Une opération de sécurité qui agit sans jugement humain présente un profil de risque différent et nécessite des garde-fous bien plus solides.

En quoi l'IA générative diffère-t-elle de l'IA déjà utilisée dans les outils de sécurité ?

L'intelligence artificielle fait partie des outils de sécurité depuis des années. La détection des anomalies, la classification des malwares et l'analyse comportementale des utilisateurs reposent sur des modèles de machine learning qui portent un jugement sur des données. Cette activité est-elle normale ? Ce fichier ressemble-t-il à un malware connu ? Cette connexion correspond-elle au comportement habituel ? Il s'agit de modèles discriminatifs. Ils trient, évaluent et signalent.

Les modèles génératifs produisent de nouveaux contenus. Ils peuvent rédiger une explication, générer du code, résumer des éléments de preuve ou transformer une question en langage naturel en requête. Cette distinction permet de comprendre concrètement ce que l'IA générative apporte à un programme de sécurité.

	IA analytique en sécurité	IA générative
Fonction	Classe, évalue et signale les données.	Produit du texte, du code, des images, de l'audio ou de la vidéo.
Usage courant en sécurité	Détection des anomalies, classification des malwares et analyse comportementale.	Synthèse d'incidents, requêtes en langage courant, explications et rédaction de contenus de détection.
Résultat	Un jugement, comme un score, un libellé ou une alerte.	Un nouveau contenu qui doit être vérifié avant d'être considéré comme fiable.
Principal mode d'échec	Faux positifs et faux négatifs.	Résultat plausible mais incorrect et sensibilité aux entrées manipulées.

Les deux approches sont utiles et fonctionnent de plus en plus ensemble. La différence pratique concerne la forme des erreurs. Un classifieur produit une alerte correcte ou incorrecte sur un signal précis. Un modèle génératif peut produire un paragraphe fluide et assuré qui semble correct tout en contenant une erreur grave. Cette différence détermine les situations dans lesquelles une vérification humaine est nécessaire.

D'où vient l'IA générative

Le domaine est plus ancien que l'attention actuelle ne le laisse penser. Les approches génératives ont pris de l'ampleur en 2014 avec les réseaux antagonistes génératifs (GAN), une architecture dans laquelle deux modèles s'opposent. L'un produit des données candidates, tandis que l'autre évalue si elles semblent réelles. Les GAN ont produit des images synthétiques suffisamment convaincantes pour devenir pertinentes et ont contribué aux fondations techniques des deepfakes.

Le changement majeur est ensuite venu du langage. L'architecture Transformer, publiée en 2017, s'est révélée très efficace pour le traitement du texte, et les grands modèles de langage (LLM) ont été construits sur cette base. La mise à disposition publique d'un modèle conversationnel fin 2022 a transformé l'IA générative, passée d'un sujet de recherche à un outil accessible à tous. Les implications pour la sécurité ont grandi avec cette accessibilité.

Comment les attaquants utilisent l'IA générative

L'IA générative ne donne pas aux attaquants toutes les capacités à partir de rien. Elle supprime surtout les contraintes qui limitaient auparavant les personnes capables d'utiliser des techniques existantes et l'ampleur de leurs opérations.

Phishing et ingénierie sociale à grande échelle : Les attaquants peuvent produire des messages fluides et adaptés au contexte dans de nombreuses langues, puis les diffuser en volume. Cela élimine les formulations maladroites que les utilisateurs avaient appris à repérer et réduit le désavantage des acteurs qui travaillent dans une langue autre que la leur.
Voix et vidéos synthétiques : Des voix clonées peuvent rendre crédible une demande frauduleuse par téléphone, tandis qu'une vidéo synthétique peut faire apparaître un participant fictif dans une réunion. Ces techniques facilitent la fraude au paiement, l'usurpation de dirigeants et d'autres formes d'ingénierie sociale.
Assistance au développement de code et de malware : Les outils génératifs peuvent aider à écrire, adapter et obfusquer du code malveillant. Ils réduisent le niveau de compétence nécessaire pour produire un outil fonctionnel et accélèrent les modifications qui peuvent contourner la détection par signatures.
Reconnaissance et prétextes : Les attaquants peuvent transformer rapidement des informations publiques sur une organisation et ses collaborateurs en détails précis qui rendent un scénario crédible.
Désinformation et contenus frauduleux : Des articles, avis et profils fictifs peuvent être produits à un coût suffisamment faible pour fonctionner à une échelle inaccessible au travail manuel.

Les recherches de Sekoia sur les menaces ont suivi cette évolution jusque dans les malwares, en documentant des implants qui utilisent un LLM dans le cadre de leur fonctionnement. Le modèle devient alors un composant de l'attaque qui s'exécute sur la cible, plutôt qu'un simple outil de préparation utilisé par l'attaquant.

Comment les défenseurs utilisent l'IA générative

L'IA générative est particulièrement adaptée au travail analytique et de communication qui entoure les décisions de sécurité. Les usages les plus utiles gardent un humain responsable de la vérification des résultats et de la décision.

Support à l'investigation : Résumer ce qui s'est passé lors d'un incident, reconstituer une chronologie à partir d'éléments dispersés et expliquer une technique inconnue à l'analyste qui la traite.
Requêtes en langage courant : Transformer une question en syntaxe de requête attendue par une plateforme, ce qui facilite le travail des analystes moins expérimentés et accélère celui des analystes confirmés.
Aide au triage des alertes : Ajouter du contexte à une alerte et proposer une première évaluation, afin que les analystes consacrent leur attention au jugement plutôt qu'à la reconstitution du contexte initial.
Support à l'ingénierie de détection : Rédiger et affiner des règles de détection, et traduire un comportement décrit en logique testable.
Reporting et communication : Produire les comptes rendus d'incident, synthèses pour les dirigeants et documents qui consomment des heures d'analystes et sont souvent difficiles à finaliser sous pression.
Données synthétiques et simulation d'adversaire : Générer des données de test réalistes et des variantes d'attaque pour évaluer la couverture de détection sans exposer d'informations réelles.

Ces usages peuvent améliorer la vitesse et la régularité du travail de sécurité. Ils ne suppriment ni le besoin d'investigation, ni la validation, ni la responsabilité humaine.

Les risques de sécurité introduits par l'IA générative

L'adoption de l'IA générative crée des expositions que les contrôles existants ne couvrent pas toujours. Ces risques s'appliquent aussi bien lorsqu'une organisation déploie ses propres modèles que lorsque ses collaborateurs utilisent des outils publics.

Injection de prompt : Des instructions cachées dans le contenu traité par un modèle peuvent l'amener à ignorer sa tâche initiale et à suivre les instructions d'un attaquant. Le risque est particulièrement sérieux dans les systèmes où un modèle peut agir, car une entrée manipulée peut entraîner une activité non autorisée.
Sortie de données sensibles de l'organisation : Des collaborateurs peuvent copier du code source, des contrats, des informations clients ou des données de sécurité dans des outils publics. Cette pratique est souvent appelée shadow AI et peut faire sortir des informations sensibles du périmètre de contrôle de l'organisation.
Erreurs formulées avec assurance : Les modèles produisent des réponses fluides, qu'elles soient correctes ou non. En sécurité, un indicateur inventé ou une conclusion incorrecte peut orienter une investigation dans la mauvaise direction.
Agents disposant de permissions : Un agent IA capable d'agir, et pas seulement de répondre, dispose d'un accès à des systèmes et à des données. Il doit être examiné comme toute application privilégiée et attire les attaquants en raison de ce qu'il peut atteindre.
Chaîne d'approvisionnement de l'IA : Les frameworks, packages, jeux de données et modèles sont des dépendances. La compromission d'un composant d'IA largement utilisé peut affecter toutes les organisations qui en dépendent.
Systèmes d'IA comme cibles : Les modèles intégrés aux workflows et connectés à des données sensibles deviennent eux-mêmes des cibles intéressantes. Les attaquants peuvent viser leurs données d'entraînement, leurs prompts, les systèmes connectés ou les contrôles d'accès.

Comment adopter l'IA générative en sécurité

Les organisations qui tirent de la valeur de l'IA générative sans ajouter d'exposition inutile maîtrisent généralement quelques contrôles fondamentaux :

Décider ce qui peut entrer dans un modèle. Créer une politique claire indiquant quelles données peuvent être partagées avec quels outils. Des consignes vagues encouragent le shadow AI.
Garder un humain responsable des décisions de sécurité. Utiliser les sorties génératives comme brouillon, synthèse ou suggestion. Conserver la décision et la responsabilité du côté humain.
Traiter les composants d'IA comme une partie de la surface d'attaque. Les inventorier, contrôler leurs accès, appliquer le principe du moindre privilège aux agents et surveiller leur activité.
Tester l'injection de prompt et les abus. Évaluer les applications intégrant de l'IA comme toute application qui traite des entrées non fiables, car c'est bien ce qu'elles font.
Mettre à jour la sensibilisation aux contenus synthétiques. Enseigner les habitudes de vérification plutôt que compter sur la capacité à reconnaître chaque voix ou visage convaincant. Une vérification hors bande via un canal connu reste efficace.
Journaliser et surveiller les usages de l'IA. Si une organisation ne voit pas quels outils sont utilisés ni ce qui leur est demandé, elle ne peut ni les gouverner ni enquêter après coup.

L'approche de Sekoia pour l'IA générative

Sekoia est un éditeur européen de cybersécurité, et l'IA générative intervient dans ses activités des deux côtés de la menace. Côté menaces, l'équipe Threat Detection & Research (TDR) interne suit la façon dont les acteurs de la menace adoptent ces outils, notamment au travers de recherches documentant des malwares qui intègrent un LLM dans leur fonctionnement. Comprendre comment les attaquants utilisent l'IA générative en pratique permet de garder la détection ancrée dans les comportements observés.

Côté plateforme, Sekoia Elevate fournit des agents IA qui travaillent aux côtés des analystes SOC sur une partie des tâches d'investigation et de triage. Le principe est direct : rendre du temps aux analystes sans les retirer de la boucle de décision. La détection reste fondée sur des règles comportementales mappées au référentiel MITRE ATT&CK et sur du renseignement sur les cybermenaces (CTI) produit par la TDR. Les capacités génératives se superposent à cette fondation pour accélérer le travail humain plutôt que remplacer la base analytique d'une détection.

Pourquoi le SOC autonome mérite d'être questionné

La pression commerciale est forte pour promettre une opération de sécurité qui fonctionnerait seule. Cette proposition séduit les équipes submergées par les alertes, mais elle demande aux responsables de sécurité de faire confiance, pour des décisions lourdes de conséquences et avec peu ou pas de supervision, à un système capable de produire des réponses fluides et assurées mais incorrectes. Donner à un agent IA l'autorité d'isoler des hôtes ou de clore des investigations sans garde-fous définis transfère le risque au lieu de le réduire.

Une position plus solide se concentre sur les tâches que l'IA générative accomplit bien : collecter du contexte, résumer, expliquer, rédiger et transformer des questions en requêtes. Ce travail représente une grande partie de la journée d'un analyste, et une large part peut être accélérée sans supprimer le jugement humain. La détection doit continuer à reposer sur le comportement et le renseignement, car ces fondations peuvent être testées, investiguées et expliquées.

Les attaquants utilisent déjà l'IA générative. Les organisations ont donc besoin d'une position claire sur sa place dans leur programme de sécurité. La réponse pratique consiste à l'utiliser pour accélérer les analystes et à la gouverner comme tout composant qui traite des données sensibles ou détient des permissions.

‍