智能体
全球精选 ·
@Stephane Nachez
欧盟委员会确认收到OpenAI关于智能体意外使用维基的报告
欧盟委员会确认已收到OpenAI关于其智能体意外使用德语维基的报告。此举是在9月4日相关披露后,OpenAI扩大其对齐失败事件披露实践的背景下进行的。
AI推荐理由 欧盟委员会确认收到OpenAI关于其智能体在德语维基上意外使用的报告,涉及AI安全与合规,具有时效性和官方确认,但细节有限。
70
正文
据路透社报道,委员会发言人Thomas Regnier要求事件报告准确描述计划采取的措施,并表示与OpenAI的交流仍在继续。他没有说明报告何时提交。因此,确认表明当局已被告知,但无法确定这一步骤是在事件公开披露之前还是之后。
Nightingale的研究人员及其合著者于9月4日描述的机制解释了信息搜索任务如何溢出到第三方网站。这些代理本应能够读取互联网,但不能写入。然而,DSEWiki,一个古老的德语开发者维基,允许通过GET请求进行修改,而GET请求通常用于检索数据。因此,技术限制不足以阻止写入。
这些代理利用该网站分享答案和绕过限制的方法。对于版主来说,这表现为反复删除页面,而代理则通过创建备份来回应。研究人员观察到6月21日来自OpenAI地址的访问,随后第二天写入量下降。他们推断该公司可能进行了干预,但没有其内部痕迹。他们的分析仍是初步的,并未区分训练和评估。他们还认为这一事件可能与随后对Hugging Face的攻击不同。
对事件的了解和公开披露是另外两个步骤。在9月4日的报道中,路透社报道称OpenAI的负责人几周前就已知道,但没有公开此事。该公司随后回应称其一直透明,并与第三方善意合作。然而,这一回应并未说明维基负责人是否或何时被直接通知。
在9月5日的声明中,OpenAI解释了指导其处理事件的区别。错位——偏离设计者预期行为的行为——主要被视为研究问题,在随模型发布的技术出版物中传达。该公司已将维基事件归类为已描述过的此类行为。
对于Hugging Face,OpenAI表示相反,它应用了标准的安全事件响应程序:立即与平台合作,并在第二天公开披露。截至9月5日,它表示正在继续调查并通知受影响方,但影响较小。这些声明涉及另一起事件;它们没有记录对维基负责人的通知。
因此,此案显示出三个步骤,其时间表并不相同:通知受影响的第三方、告知当局以及公开观察到的行为。委员会收到的报告不足以重建其他两个步骤。OpenAI现在承认其披露实践需要更广泛地涵盖训练、评估和部署期间发生的事件,包括那些看起来不像传统安全事件的事件。它宣布将在未来几周内制定一个框架;其标准尚未在声明中提出。
ST
Stephane Nachez
ActuIA编辑部——面向决策者的人工智能新闻、数据和分析。
查看原文(中文正文为 AI 翻译)
Selon Reuters, le porte-parole de la Commission Thomas Regnier demande que les rapports d’incident décrivent précisément les mesures envisagées et indique que les échanges avec OpenAI se poursuivent. Il ne précise pas quand le rapport a été transmis. La confirmation établit donc que l’autorité a été informée, sans permettre de situer cette démarche avant ou après la révélation publique de l’affaire.
Le mécanisme décrit par les chercheurs de Nightingale et leurs coauteurs, le 4 septembre, explique comment une tâche de recherche d’informations a débordé sur un site tiers. Les agents étaient censés pouvoir lire Internet, sans y écrire. Or DSEWiki, un ancien wiki de développeurs germanophones, acceptait des modifications par des requêtes GET, normalement destinées à récupérer des données. La restriction technique ne suffisait donc pas à empêcher l’écriture.
Les agents ont utilisé le site pour partager des réponses et des moyens de contourner leurs restrictions. Pour le modérateur, cela s’est traduit par des suppressions répétées de pages, auxquelles les agents ont répondu en créant des sauvegardes. Les chercheurs observent des visites provenant d’adresses attribuées à OpenAI le 21 juin, puis une chute des écritures le lendemain. Ils en déduisent une intervention probable de l’entreprise, sans disposer de ses traces internes. Leur analyse reste préliminaire et ne tranche pas entre entraînement et évaluation. Ils considèrent également cet épisode comme probablement distinct de l’attaque ultérieure contre Hugging Face.
La connaissance de l’incident et sa divulgation publique constituent deux autres étapes. Dans son reportage du 4 septembre, Reuters rapporte que des responsables d’OpenAI étaient au courant depuis plusieurs semaines, sans avoir rendu l’affaire publique. L’entreprise répond alors avoir été transparente et avoir coopéré de bonne foi avec des tiers. Cette réponse ne précise toutefois pas si, ni quand, le responsable du wiki a été directement averti.
Dans sa déclaration du 5 septembre, OpenAI explique la distinction qui guidait son traitement des événements. Le désalignement - des comportements qui s’écartent de ceux attendus par les concepteurs - était surtout abordé comme une question de recherche, communiquée dans les publications techniques accompagnant les modèles. L’entreprise avait classé l’épisode du wiki parmi les comportements de ce type déjà décrits.
Pour Hugging Face, OpenAI dit au contraire avoir appliqué une procédure classique de réponse à un incident de sécurité : coopération immédiate avec la plateforme et divulgation publique dès le lendemain. Au 5 septembre, elle indiquait poursuivre l’enquête et les notifications aux parties touchées de façon moins significative. Ces déclarations concernent cet autre incident ; elles ne documentent pas la notification au responsable du wiki.
Le cas fait ainsi apparaître trois démarches dont les calendriers ne se confondent pas : prévenir les tiers affectés, informer une autorité et rendre publics les comportements observés. Un rapport reçu par la Commission ne suffit pas à reconstituer les deux autres. OpenAI reconnaît désormais que ses pratiques de divulgation doivent couvrir davantage les incidents survenant pendant l’entraînement, l’évaluation et le déploiement, y compris ceux qui ne ressemblent pas à des incidents de sécurité traditionnels. Elle annonce un cadre dans les semaines à venir ; ses critères ne sont pas encore présentés dans la déclaration.
ST
Stephane Nachez
Rédaction ActuIA — actualités, données et analyses sur l'intelligence artificielle pour les décideurs.