🔔 Le guide de la NSA pour protéger les IA

Toute l’actu cyber de la semaine, présentée par un expert. On revient notamment sur le nouveau guide de la NSA pour protéger les IA, l'erreur de hacking de la Russie sur un moulin à eau et sur la mesure du niveau de persuasion d'un LLM.

Les hackeurs d’élite de l’armée russe ont piratés un moulin en pensant attaquer un barrage

Des hackeurs russes ont revendiqué le piratage d'une centrale hydroélectrique sur Telegram. Preuves à l'appuie avec une vidéo d'un barrage déversant des milliers de m3 d'eau avec l'ouverture de vannes. Cependant les pirates se sont trompés de cibles. Ils avaient bien piraté un système de barrage, mais plutôt celui d'un moulin à eau d'un village français plutôt que la centrale d'EDF. C'est l'investigation suite à la revendication qui a permis de trouver le système compromis.

Pourquoi c’est important ?

Le piratage des SI Indus est plus impactant que le piratage d'un système classique. Les systèmes étant parfois exposés sur internet pour faciliter leur contrôle, les connexions ne sont pas forcément sécurisées. La sécurisation de ses systèmes est très complexe et l'adaptation d'un catalogue de mesure est rarement possible. Il faut donc faire du sur mesure pour chaque installation. L'attaque si elle avait réussi aurait été catastrophique. Heureusement, c'est la propagande russe qui en prend un coup par un manque de sérieux dans ses annonces.

Le guide de la NSA pour protéger les IA

La NSA publie un guide pour protéger les systèmes d'intelligences artificielles. En partenariat avec les différents services de cyber des Five Eyes, ce rapport présente les principales mesures à mettre en œuvre. Point intéressant, il s'intègre avec les différents frameworks et guides existants du NIST et du CISA.

Pourquoi c’est important ?

Le guide est assez générique. Toutes les mesures présentées sont déjà existantes dans les frameworks du NIST et du CISA. L'intérêt de ce guide est assez faible, mais permettra peut-être de toucher des populations qui se lancent dans le développement et qui n'ont jamais pris en compte la sécurité logicielle en compte. A noter que la publication de ce texte, avec l'ensemble des agences des five eyes montre un engagement commun dans ce domaine avec des enjeux géopolitiques forts.

Mesurer la persuasion d’un LLM ?

Anthropic, l'éditeur de LLM derrière Claude et dont Amazon est un des actionnaires principaux vient de publier une méthode d'évaluation sur la persuasion. Cette méthode permet de mesurer la capacité d'un LLM à changer le point de vue de son interlocuteur. Il peut prendre des positions et être en mesure de les convaincre avec de nombreux arguments et une "réflexion" de plus en plus poussée.

Pourquoi c’est important ?

L'influence est le business des dix dernières années. L'arrivée de l'IA générative a déjà été appliquée à ce domaine, avec la création d'influenceuses virtuelles pouvant générer jusqu'à 10 000€ par mois. On peut donc s'interroger sur leur efficacité à convaincre les prospects à acheter leurs produits. On peut pousser cette démarche dans des cas de bots qui, sur les réseaux sociaux, pousseraient des utilisateurs à changer de bord politique lors des élections ou bien à commettre des actions non voulues, comme l'État Islamique a pu le faire sur des individus fragiles.