Avec l’IA et les deepfakes, « les criminels ont à leur disposition énormément de choses », reconnaît le Général Perrot

En l’espace d’un an, les intelligences artificielles génératives ont montré de quoi elles étaient capables. ChatGPT peut écrire une thèse de philosophie en quelques minutes, Dall-E et Midjourney génèrent des fausses images ultra-réalistes plus vite que leur ombre. On a vu des images d’Emmanuel Macron en éboueur, dans une manifestation des Gilets Jaunes ou en mannequin couture déferler sur le Web. Cette nouvelle génération d’IA change aussi le visage de la criminalité et c’est encore plus flippant qu’un épisode de Black Mirror. Le Général Patrick Perrot, coordinateur pour l’IA de la Gendarmerie nationale, est intervenu à la quatrième édition du Forum Intelligence artificielle en décembre dernier. Il revient pour 20 Minutes sur la criminalité à l’ère des IA génératives.

Pendant votre intervention au Forum IA vous avez pointé du doigt les difficultés de garder le cap par rapport aux usages des criminels. Dans quel sens ?

Il est essentiel de garder le cap par rapport aux usages des criminels et par rapport à la célérité du développement de l’IA chez les Big Tech. En réalité, pour les forces de sécurité intérieure (FSI), il y a un sujet de lutte contre la criminalité et un sujet de souveraineté. A la vitesse où avancent les Big Tech, nombre d’applications pourraient être développées par ces groupes et mis à disposition sur des smartphones mais le risque d’atteintes aux libertés individuelles est réel. Aujourd’hui, les Big Tech ont un temps d’avance sur les capacités de calcul, de collecte et de stockage des données. Pour les forces de sécurité intérieure, l’enjeu est de pouvoir aller vers l’open source plutôt que vers des solutions privées comme celle d’OpenAI. Sinon, on pourrait être dépendants des Big Tech considérant que chaque citoyen leur donne énormément d’informations qui enrichissent leur souveraineté potentielle.

Qu’en est-il des criminels ?

L’open source est aussi à la portée des criminels. Ils trouvent aujourd’hui à leur disposition énormément de choses : du code informatique sur de nombreux sujets, comme la retranscription automatique de la parole et la création de deepfakes, par exemple. Ils trouvent aussi des applications toutes faites. Le criminel sophistiqué travaillera sur le code informatique. Le délinquant d’opportunité peut utiliser une application de deepfake toute simple pour générer une vidéo pédopornographique avec le visage de son voisin. Et demain, des gendarmes viendront sonner à 6 heures à sa porte. Notre rôle est d’être capable de dire, non ce n’est pas le visage de telle personne dans la vidéo. On travaille aussi à décharge pour innocenter la personne qui est mise en accusation.

Comment vous y prenez-vous ?

On a développé un outil exploratoire, Authentik IA, qui a reçu en juin 2023 le prix du projet ayant le plus gros impact sociétal potentiel aux Datacraft Awards. Sur les deepfakes images, on a généré 20.000 images fakes avec différents modèles de réseaux antagonistes génératifs (GAN). Quand un deepfake a été généré par l’une de ces méthodes, on atteint jusqu’à 95 % de bonne détection. Si on a un deepfake qui n’a pas été généré par l’une de ces méthodes, on tombe à 70 %. Il faut absolument qu’on se tienne au courant de tout ce qui sort. Dès qu’il y a des nouvelles méthodes, on doit enrichir nos modèles d’apprentissage pour être plus performants. Mais, derrière, il y a toujours l’humain. Si on détecte un fake, il y a une très forte probabilité pour qu’il le soit. Par contre si on ne détecte pas un fake, cela ne veut pas dire qu’il n’en est pas un. La présence d’un humain derrière est essentielle pour faire converger différents éléments d’indices.

« Avec les deepfakes, on peut envoyer la vidéo du président d’une entreprise qui demande un transfert de compte de 800.000 euros avec sa propre voix » »

L’outil travaille-t-il également sur le texte et l’audio ?

Pour l’audio, on a constitué une base de données de 10.000 enregistrements, fakes et réels. On utilise des méthodes de classification qui délimitent une frontière entre les paramètres audio qui ont été générés de façon falsifiée et des paramètres qui sont de vrais audios. Cette frontière permet, dès lors qu’on est face à un nouvel audio, de dire celui-ci est fake et celui-ci est bon. On atteint de très bons niveaux de détection. On a fait pareil sur le texte. On a généré des textes avec ChatGPT et Llama 2 et d’autres qui proviennent de l’humain, tirés du Web… On a essayé de déterminer les passages générés par une IA et ceux générés par un humain. Les scores sont intéressants dès lors qu’on a un échantillon significatif. Quand on a un texte, on est capable de voir des structures de phrases, assez redondantes sur ChatGPT ou Llama 2. On observe des structures de phrases assez similaires. Le vocabulaire est plus limité que chez l’humain.

A quoi la criminalité va-t-elle ressembler à l’ère de l’IA ?

Sur les deepfakes, notre problématique, ce sont les faux ordres de virement. Le taux de performance est faible mais comme les criminels attaquent énormément d’entreprises, dans le lot, certaines vont se faire avoir. Avec les deepfakes, on peut envoyer la vidéo du président d’une entreprise qui demande un transfert de compte de 800.000 euros avec sa propre voix. Ce sera difficile au comptable ou au secrétaire de ne pas réaliser le transfert en se disant que c’est un fake parce qu’il verra son président parler. Aujourd’hui, ces fraudes marchent avec de simples coups de fil alors que la voix utilisée est celle du criminel. Imaginez quand ils utiliseront le visage et la voix du président d’une entreprise.

Va-t-on voir arriver d’autres types de crimes qui ne sont pas liés aux deepfakes ?

Avec les IA génératives du type GPT, il existe des applications qui permettent de créer des campagnes de phishing, des malwares, pour réaliser des attaques cyber. Nous sommes en veille sur ces sujets. On peut faire des campagnes de phishing, créer des nouveaux malwares qui détourneraient les systèmes actuels. Les malwares infestent votre ordinateur, vous n’avez plus accès à vos données. Il peut y avoir du chantage, comme on a vu avec les ransomwares [rançongiciels] dans les hôpitaux. Les théories complotistes risquent aussi de croître considérablement avec les IA génératives. Elles peuvent générer ce qui est souhaité très facilement.

« L’un des dangers de l’intelligence artificielle, c’est la fin de la capacité humaine à théoriser » »

Vous voulez dire qu’on pourra inventer des nouveaux complots grâce à l’IA ?

Avec l’IA générative, on peut générer des données en vue de déstabiliser les Etats. C’est un vrai sujet. On sait déjà qu’il y aura ce genre de problématiques pour les élections américaines de 2024. A partir des bases de données complotistes, vous dites à l’IA de générer un complot sur l’industrie pharmaceutique, par exemple. Elle va vous générer une théorie qu’on n’aura jamais vue auparavant, argumentée et solide.

Revenons aux nouveaux types de crimes, en voyez-vous d’autres ?

Nous pouvons envisager ce qui relève des attaques adverses. L’objectif est d’injecter dans le système un bruit indétectable par l’humain qui fausse l’interprétation du système d’intelligence artificielle. Ce bruit est optimisé. C’est ce qu’on appelle des attaques adverses. Devant une photo de zèbre, par exemple, le système voit un gorille. Dans le domaine du développement des véhicules autonomes demain, vous êtes capables de faire passer un panneau Stop pour un panneau à 110 km/h.

Il faut garder son libre arbitre d’humain…

Plus que jamais. Le risque de l’intelligence artificielle réside autour de sujet d’éducation plus que de sécurité autour de la capacité à conserver son libre arbitre, sa capacité à construire des modèles mathématiques indépendamment de l’observation. Albert Einstein a théorisé les ondes gravitationnelles en 1916, on les a observées en 2016. L’IA fait l’inverse, elle observe et, de l’observation, elle donne non pas une théorie mais un résultat. Si on ne travaille que sur l’IA, on va finir par ne plus être capables de théoriser.