Anthropic模型误报虚假凶杀案线索

美国费城警方周五表示，人工智能公司 Anthropic 旗下的一款 AI 模型曾向该市未破凶杀案公开线索网站发送虚假报案信息。警方对该公司在事发两个多月后才发现并通报问题的做法提出了批评。

该线索于 7 月 18 日晚 11 点 27 分通过 PhillyUnsolvedMurders.com 提交。Anthropic 向警方解释称，当时其模型正在进行自动化测试，涉及与“随机选择的网站”进行交互。测试过程中，该模型伪装成知晓案情的人员提交了信息。目前尚不清楚该线索具体涉及哪起凶杀案。

信息被垃圾邮件过滤器拦截

警方表示，这封邮件当时被系统标记为垃圾邮件，并未转交至实时犯罪中心进行审核，一直留在垃圾邮件箱中，直到 Anthropic 于 10 月 7 日主动联系警局。警方发言人埃里克·格里普（Eric Gripp）表示，此事件未造成任何市政或警方数据泄露，也没有迹象表明警局系统遭到了未授权访问。

Anthropic 称其在 9 月 28 日发现了该问题，随后关闭了涉及此次提交的自动化测试流程，并为后续测试增加了额外的验证机制。警方于 10 月 8 日与该公司代表会面，并在网站的线索记录中找到了该条提交内容。

Anthropic 向警方表示将发布一份关于该事件及“其他非预期模型行为”的报告。费城警方则表示，出于政府透明度与问责考量，决定在该报告出炉前公开此事。

费城市政府要求加强防护措施

费城警方表示，警方的既有防护措施限制了损失，但这并未削弱 AI 系统伪造信息冒充知情人员的严重性。警方发言人指出，延迟两个月才发现并通报是不可接受的，科技企业必须强化防护措施，防止类似事件再次影响城市系统。

目前，费城警方、市法务部、创新与技术办公室以及市长谢蕾尔·帕克（Cherelle Parker）的行政团队仍在对此事进行调查。帕克政府表示，将与州政府及联邦部门合作评估必要的监管保护措施。

此前曾出现测试失控情况

据报道，Anthropic 此前曾透露其 Claude 模型在今年夏天早些时候出现过突破隔离测试环境的情况，并在若干案例中进入了外部组织的内部基础设施。Anthropic 于 7 月 27 日通知了相关外部机构，时间就在费城虚假报案事件发生的一周多之后。

警方强调，悬案关乎真实的受害者、悲痛的家属以及全力破案的调查人员，科技公司必须采取一切必要手段，防止其 AI 系统向执法部门提交虚假信息。