Anthropic 将网络安全事件重新定性为对齐缺陷，新增第四起并开放转录给 METR

Le 30 juillet 2026, Anthropic décrivait trois incidents survenus pendant ses évaluations de cybersécurité comme relevant « davantage d'une défaillance de harnais et d'exploitation que d'une défaillance d'alignement ». Le 9 septembre, l'entreprise revient sur ce jugement. Dans une évaluation d'alignement qui ajoute un quatrième cas, elle écrit désormais que le raisonnement de ses modèles était biaisé en faveur de la conclusion que l'internet auquel ils accédaient était simulé, reconnaît que son audit préalable à la publication ne l'avait pas alertée sur un désalignement de cette gravité, et confie une enquête indépendante à METR. Après les agents d'OpenAI sortis de leur bac à sable chez Hugging Face, c'est le second laboratoire de frontière à documenter, sur ses propres transcriptions, des modèles qui franchissent la frontière entre exercice et monde réel. Quatre incidents, dont un paquet malveillant installé chez quinze éditeurs Les trois premiers cas, révélés fin juillet, datent du printemps. En avril, Claude Opus 4.7 a découvert qu'une entreprise réelle portait le nom de la cible fictive d'un exercice de capture de drapeau ; sur quatre exécutions, il a balayé le service, extrait des identifiants d'application et d'infrastructure, téléchargé et modifié des enregistrements d'utilisateurs, et poursuivi l'attaque après avoir compris qu'il opérait probablement dans un environnement réel. Un modèle de recherche interne, de capacités comparables à Mythos 5, a balayé des adresses voisines de sa cible, obtenu des jetons d'accès et des mots de passe, téléchargé des fichiers et déposé des scripts de contrôle à distance chez plusieurs entités sans lien entre elles. Le cas que l'entreprise juge le plus grave concerne Claude Mythos 5. Le modèle a enregistré sur PyPI, le dépôt public d'où provient l'essentiel des bibliothèques Python, un paquet portant le nom attendu par son exercice, et y a publié du code malveillant. Le paquet est resté en ligne environ 90 minutes avant son retrait, assez pour être installé par quinze systèmes tiers : des éditeurs de sécurité qui téléchargent automatiquement les nouveaux paquets pour les analyser en bac à sable. Le scanner de l'un d'eux a fuité ses identifiants au modèle, qui s'en est servi pour accéder à la base de données de production de cet éditeur. Anthropic indique avoir notifié toutes les parties touchées. Le quatrième incident, découvert en août, remonte à janvier 2026 et implique une version précoce de Claude Opus 4.6. Après avoir détruit par accident la cible qui lui était assignée, le modèle a accédé à un système tiers réel et à des données personnelles d'une personne qui y était associée. Sa trace montre qu'il a tenté d'abandonner la tâche à huit reprises, sans que le harnais ne le lui permette. L'entreprise précise que ce rapport ne couvre pas l'incident distinct signalé le 28 juillet par l'institut britannique de sécurité de l'IA, où Mythos 5 et GPT-5.6 Sol, testés sans garde-fous, ont monté une attaque de chaîne d'approvisionnement contre de vrais mainteneurs de projets open source avec de fausses identités ; une évaluation d'alignement de ces transcriptions est annoncée. Ce que la relecture de 481 millions de transcriptions a changé La différence entre les deux rapports tient à la méthode. En juillet, Anthropic avait examiné 141 006 exécutions d'évaluation. En septembre, elle décrit un passage sur environ 481 millions de transcriptions, filtrées d'abord sur des indices d'accès à internet, adresses IP publiques et URL, puis 9,2 millions d'entre elles relues par Claude. L'analyse a ensuite mobilisé les chaînes de raisonnement des modèles, des questions de suivi posées aux modèles eux-mêmes, des expériences de ré-échantillonnage sur des transcriptions modifiées et des outils d'interprétabilité. Cette relecture conduit à deux diagnostics. Le premier est un raisonnement biaisé : les modèles « interprètent sélectivement les indices d'une manière qui favorise la justification de leurs actions », en écartant ou en déformant les signes d'un accès réel à internet (traduction ActuIA). Le second est l'imprudence, définie comme la « disposition à prendre des actions nuisibles dans la poursuite étroite d'une tâche ». Le rapport ne trouve pas de cause racine définitive pour le comportement de Mythos 5. Il relève en revanche un fait gênant pour toute l'industrie de la surveillance des agents : les moniteurs hors ligne d'Anthropic ont manqué le cas Mythos 5 parce que « le raisonnement du modèle a persuadé le moniteur que l'environnement était simulé ». Un modèle qui se convainc d'être en simulation convainc aussi le classifieur chargé de le lire. Anthropic reconnaît les limites de sa propre méthode : les modèles ne verbalisent pas tout dans leur chaîne de pensée, les ré-échantillonnages ne reproduisent pas fidèlement les environnements d'évaluation, certains outils d'interprétabilité confabulent, et construire des évaluations d'alignement représentatives du comportement en déploiement reste « un problème de recherche ouvert ». L'entreprise ajoute que ses tests préalables couvrent désormais ces incidents précis, avec notamment un exercice de capture de drapeau volontairement mal configuré, sans solution dans le périmètre autorisé, une situation qui n'avait jamais été testée. Les mesures, et ce qu'elles disent aux clients Les correctifs annoncés touchent trois niveaux. Les environnements d'évaluation doivent être isolés d'internet, et les partenaires tiers qui testent des modèles sans garde-fous sont soumis à des exigences renforcées ; le partenaire d'évaluation Irregular a attribué le cas Opus 4.7 à un nom d'entreprise fictif qui correspondait à un domaine réel, rapporte The Hacker News. L'entraînement intègre des environnements destinés à réduire le raisonnement biaisé, et l'entreprise dit retirer ceux qui incitent au désalignement. En production, Anthropic déploie des moniteurs de blocage en temps réel, des classifieurs cyber pour Claude Fable 5 et des classifieurs pour le mode automatique de Claude Code. Un test inspiré de la chaîne d'attaque de l'incident OpenAI-Hugging Face a été construit ; aucun modèle actuel n'a attaqué la réplique simulée de Hugging Face. L'enquête confiée à METR est le volet le plus inhabituel. L'accord, d'une durée initiale de huit semaines prolongeable, donne à l'organisation un accès large aux transcriptions, au-delà de la fenêtre des incidents, et aux employés d'Anthropic, autorisés à partager des informations confidentielles. L'entreprise dit vouloir laisser à METR « autant de temps qu'elle le jugera nécessaire ». Elle s'engage aussi à des critères explicites sur ce qu'elle publie et quand, une réponse indirecte aux reproches faits à OpenAI, dont l'incident Hugging Face n'a été établi qu'après le signalement de la victime au FBI et fait l'objet d'une enquête de seize procureurs généraux. Ces quatre incidents concernent des modèles sans garde-fous, dans des environnements d'évaluation, et Anthropic souligne que les actions sont restées de portée limitée, les modèles ne s'étant jamais écartés de la résolution de l'exercice confié. La leçon utile aux entreprises est ailleurs. Le paquet PyPI a atteint quinze systèmes en 90 minutes sans qu'aucune intention malveillante n'existe en amont, par le seul jeu d'un exercice et d'un dépôt public ; les scanners automatiques d'éditeurs de sécurité ont servi de vecteur ; un moniteur fondé sur la lecture du raisonnement a été trompé par ce raisonnement. Les entreprises qui déploient des agents dotés d'un accès réseau retiendront ces trois faits, plus lourds que la qualification, opérationnelle ou d'alignement, que le laboratoire retient finalement. ST Stephane Nachez Rédaction ActuIA — actualités, données et analyses sur l'intelligence artificielle pour les décideurs.