Qu'est-ce que le machine learning en cybersécurité ?

Le machine learning, ou apprentissage automatique, est une branche de l'intelligence artificielle dans laquelle un système apprend son comportement à partir de données plutôt que de règles écrites par une personne. Un modèle reçoit de nombreux exemples, identifie lui-même les caractéristiques qui les distinguent, puis peut évaluer des données qu'il n'a jamais vues. En cybersécurité, cette capacité est intégrée à de nombreux outils : elle classe les fichiers comme malveillants ou légitimes, filtre les e-mails de hameçonnage, établit une référence du comportement normal d'un utilisateur ou d'un appareil, regroupe les événements liés en un seul incident et aide à déterminer les alertes qu'un analyste doit examiner en priorité. Le machine learning est aussi l'un des concepts les plus survendus du secteur. Ces deux faits sont liés. Il résout réellement certains problèmes de sécurité, apporte une aide partielle pour d'autres et est régulièrement présenté comme capable de faire des choses qu'il ne sait pas faire. Un responsable de la sécurité qui évalue un produit, ou un analyste qui doit décider du poids à accorder à la sortie d'un modèle au milieu de la nuit, doit savoir faire la différence. Cette page explique comment fonctionne le machine learning, dans quels domaines il est réellement utile en sécurité, là où les promesses dépassent ses capacités et quelles limites comptent une fois le modèle mis en production.

Ce qu'il faut retenir

Le machine learning déduit un comportement à partir de données, et non de règles écrites. Un modèle est entraîné sur des exemples, en déduit des régularités, puis les applique à de nouvelles données.
Il est plus performant lorsque les exemples étiquetés sont nombreux. La classification des malwares et le filtrage du hameçonnage fonctionnent bien parce que des millions d'exemples légitimes et malveillants sont disponibles.
Il est moins fiable lorsque l'intention compte. Un modèle reconnaît des schémas dans les données, mais ne détermine pas à lui seul si une action est hostile, ce qui est pourtant la question centrale de la sécurité.
Une anomalie n'est pas forcément malveillante. La plupart des activités inhabituelles dans une organisation sont légitimes. Cette distinction explique une grande partie des déceptions liées à la détection fondée sur les modèles.
La sortie d'un modèle est une probabilité, pas un verdict. La façon dont elle est présentée à l'analyste et la possibilité de l'expliquer déterminent si la détection est exploitable.

Comment fonctionne le machine learning

Un modèle est entraîné sur un jeu de données. Il ajuste ses paramètres internes jusqu'à ce que ses sorties correspondent aux réponses attendues ou, lorsqu'aucune réponse n'est fournie, jusqu'à ce qu'il identifie une structure dans les données. Ce qu'il analyse réellement, ce sont des caractéristiques mesurables extraites des données brutes : la taille d'un fichier, la fréquence d'une connexion ou l'entropie d'une chaîne de caractères, par exemple. Le choix de ces caractéristiques est déterminant, car un modèle ne peut prendre en compte que ce qu'on lui a montré.

Une fois entraîné, le modèle effectue une inférence. À partir de nouvelles données, il produit généralement une classification ou un score. Cette sortie correspond à une probabilité et non à un fait. Le seuil de décision détermine ensuite le nombre de faux positifs et de faux négatifs générés par le système. Le deep learning, ou apprentissage profond, est une sous-catégorie du machine learning qui utilise des réseaux neuronaux à plusieurs couches. Il traite efficacement des données complexes comme des fichiers binaires bruts, mais nécessite davantage de données et produit des décisions plus difficiles à expliquer.

Les types de machine learning utilisés en sécurité

Les approches sont regroupées selon la nature des données d'entraînement et la manière dont le modèle reçoit un retour. Cette distinction détermine les problèmes de sécurité que chaque approche peut traiter.

Types de machine learning en cybersécurité
Type	Mode d'apprentissage	Application en sécurité
Apprentissage supervisé	À partir d'exemples étiquetés, chaque élément étant associé à la bonne réponse.	Classification des malwares et détection du hameçonnage, lorsque de grands ensembles d'exemples légitimes et malveillants confirmés sont disponibles.
Apprentissage non supervisé	À partir de données non étiquetées, en identifiant une structure sans indication préalable sur ce qu'il faut chercher.	Détection d'anomalies et regroupement d'alertes liées, lorsqu'aucune étiquette n'est disponible pour le phénomène recherché.
Apprentissage semi-supervisé	À partir d'un petit ensemble de données étiquetées associé à un grand ensemble de données non étiquetées.	Courant en pratique, car les exemples confirmés sont coûteux à produire en sécurité alors que la télémétrie brute est abondante.
Apprentissage par renforcement	Par essais et retours, en ajustant le comportement selon que les résultats sont récompensés ou non.	Optimisation et automatisation de la réponse, bien que cette approche soit moins établie en production que les autres.

Le problème de l'étiquetage détermine ce qui est réellement applicable. L'apprentissage supervisé nécessite des exemples confirmés. En sécurité, un exemple confirmé correspond généralement à un incident qu'une personne a analysé et documenté, ce qui demande du temps et des ressources. C'est pourquoi la détection d'anomalies non supervisée est aussi répandue malgré ses difficultés : elle n'a pas besoin d'étiquettes.

Ce que le machine learning fait réellement bien en sécurité

Les contenus des éditeurs présentent souvent une liste d'applications supposées fonctionner de manière uniforme. Ce n'est pas le cas. Le tableau ci-dessous distingue les domaines où le machine learning dépasse clairement les approches précédentes, ceux où il apporte une aide mais nécessite un accompagnement et ceux où les promesses dépassent les capacités réelles.

Domaines où le machine learning est réellement efficace en sécurité
Application	Performance réelle du machine learning
Classification des malwares	Forte. Des millions d'échantillons étiquetés sont disponibles, le problème est bien défini et les modèles se généralisent à des variantes que les signatures ne reconnaissent pas. C'est le cas de réussite le plus évident.
Filtrage du hameçonnage et du spam	Forte. Les données sont nombreuses et matures, et le coût d'un faux positif occasionnel reste acceptable. C'est l'une des applications les plus efficaces en sécurité.
Regroupement et déduplication des alertes	Forte. Le regroupement d'événements liés en un seul incident réduit le volume sans demander au modèle de déterminer si une activité est malveillante.
Priorisation et attribution de scores	Utile. Classer un ensemble connu d'alertes selon leur importance probable aide les analystes à mieux utiliser leur temps, sans chercher nécessairement une nouvelle menace.
Analyse comportementale des identités	Partielle. Elle devient réellement utile lorsqu'elle est associée au contexte du déroulement des attaques, mais produit un bruit persistant lorsqu'elle génère seule des alertes.
Détection de techniques d'attaque inédites	Faible et souvent surestimée. Les modèles détectent les écarts par rapport à ce qu'ils ont appris, et non une intention hostile. Une technique sans précédent dans les données d'entraînement n'est pas reconnue de manière fiable.
Réponse autonome sans revue humaine	Faible. Une sortie probabiliste qui déclenche une action lourde de conséquences sans jugement humain transfère le risque au lieu de le réduire, notamment compte tenu du taux de faux positifs.

Le schéma est cohérent. Le machine learning fonctionne bien lorsque la question est une classification appuyée sur de nombreux exemples et moins bien lorsque la question demande de raisonner sur l'intention. La sécurité pose les deux types de questions. Les modèles ont donc leur place dans une chaîne de détection, mais ne peuvent pas constituer cette chaîne à eux seuls.

Pourquoi une anomalie n'est pas forcément malveillante

Le mécanisme qui explique les résultats partiels ou faibles mérite d'être explicité. Il représente une grande partie de l'écart entre les promesses des produits fondés sur des modèles et l'expérience des équipes de sécurité.

Un modèle de détection d'anomalies apprend à quoi ressemble un comportement normal, puis signale ce qui s'en écarte. La logique semble solide, puisque les attaques sont inhabituelles. Le problème vient du raisonnement inverse. Les attaques sont inhabituelles, mais l'immense majorité des activités inhabituelles ne sont pas des attaques. Un développeur qui travaille à un horaire différent, un processus financier exécuté quatre fois par an, une application déployée la semaine dernière ou un collaborateur en déplacement sont autant de situations réellement inhabituelles et parfaitement légitimes. Un modèle qui signale fidèlement les anomalies remontera donc beaucoup plus d'activités bénignes que d'activités malveillantes. Le ratio se dégrade encore dans les environnements dynamiques qui ont le plus besoin d'une bonne détection.

Deux conclusions en découlent. La détection d'anomalies produit de la valeur lorsqu'elle alimente une fonction qui ajoute du contexte, et non lorsqu'elle génère directement des alertes. La question importante n'est pas de savoir si un comportement est inhabituel, mais s'il est inhabituel d'une manière compatible avec le déroulement d'une attaque. Lorsqu'un produit est évalué, il faut donc demander ce qu'il fait d'une anomalie après l'avoir trouvée. C'est le problème le plus facile, et celui que chaque éditeur prétend avoir résolu.

Les limites à connaître avant de faire confiance à un modèle

Quatre difficultés reviennent régulièrement lorsque les modèles sont utilisés en production :

Une référence comportementale peut apprendre une compromission. Si un modèle construit sa vision de la normalité dans un environnement qui contient déjà une intrusion, cette intrusion devient une partie de la référence et ne sera pas signalée. L'activité antérieure à l'entraînement devient invisible, ce qui compte lorsque la durée de présence d'un attaquant se mesure en mois.
L'explicabilité détermine si une alerte est exploitable. Un analyste doit savoir pourquoi une détection s'est déclenchée pour décider de la suite. Un modèle qui produit un score sans explication le laisse reconstruire lui-même la logique. Les détections impossibles à expliquer finissent par être ignorées, ce qui est le pire résultat possible.
Les modèles se dégradent lorsque les environnements changent. Leur précision évolue avec l'infrastructure, les applications et les habitudes de travail. Une détection fondée sur un modèle nécessite donc une maintenance continue, et non un déploiement unique.
Les modèles peuvent être manipulés. L'apprentissage automatique adversarial consiste à concevoir des entrées qui poussent un modèle à mal classer une donnée ou à empoisonner les données d'entraînement afin de lui faire apprendre un comportement erroné. Un attaquant qui comprend ce que le modèle examine peut souvent trouver comment paraître normal à ses yeux.

Aucune de ces limites ne justifie l'abandon du machine learning en sécurité. Elles imposent de savoir sur quelles données le modèle a été entraîné, ce qu'il peut expliquer, à quelle date il a été réentraîné et ce qui se passe après sa sortie. Ces quatre questions permettent de distinguer une capacité réelle d'une nouvelle source de bruit.

Pourquoi la détection a besoin de plus que du machine learning

Les produits de sécurité se présentent de plus en plus comme pilotés par l'intelligence artificielle, avec l'idée qu'un modèle suffisamment performant rend tout le reste inutile. L'analyse précédente montre pourquoi ce raisonnement ne tient pas. Les modèles reconnaissent bien les schémas illustrés par de nombreux exemples, mais sont moins à l'aise lorsqu'il faut raisonner sur une intention, repérer une technique sans précédent ou s'expliquer à un analyste qui dispose de quinze minutes pour décider si une alerte compte.

Sekoia est un éditeur européen de cybersécurité. Sa plateforme AI SOC s'appuie principalement sur des règles comportementales explicites mappées sur le framework MITRE ATT&CK et sur le renseignement sur les cybermenaces produit par une équipe interne Threat Detection & Research (TDR). Le machine learning est utilisé lorsqu'il dépasse réellement une règle, plutôt que comme fondement de toute la détection.

Ce choix tient à la question de l'explicabilité. Une règle mappée sur une technique documentée indique à l'analyste ce qui a été détecté et pourquoi, ce qui transforme une alerte en élément exploitable. Le renseignement sur les cybermenaces décrivant le mode opératoire d'un acteur lui indique ce qui peut arriver ensuite. Un score de probabilité ne fournit ni l'une ni l'autre de ces informations, quelle que soit sa précision.

Pour une équipe de sécurité qui évalue les promesses liées au machine learning, les questions utiles sont concrètes. Sur quelles données le modèle a-t-il été entraîné et ressemblent-elles à l'environnement de l'organisation ? Lorsqu'une alerte se déclenche, l'analyste saura-t-il pourquoi ? À quelle fréquence le modèle est-il réentraîné et par qui ? Que devient une anomalie après sa détection ? Un éditeur qui répond clairement décrit une capacité. Un éditeur qui décrit surtout le caractère avancé de ses algorithmes décrit une position marketing.