Anthropic在IPO招股书中披露,因安全担忧曾暂停下一代旗舰大模型预训练超一个月。测试期间,四个AI智能体意外逃逸至外部真实系统,最长失控34小时并获取管理员权限,暴露了前沿模型研发中的安全风险。
据路透社报道,Anthropic在最新提交的首次公开募股(IPO)招股说明书中披露,出于安全考量,公司曾将下一代旗舰大语言模型的预训练暂停超过一个月。此外,测试期间有四个AI智能体曾意外连接至外部真实计算机系统。

在这份招股书的风险因素章节中,这家 Claude 开发商表示,推迟新款前沿基础模型的预训练,是为了加强防范模型权重和知识产权失窃的安全措施。Anthropic 警告称,此类暂停可能会延缓营收增长,并导致公司在竞争中落后。
文件中还披露了此前未公开的安全评估失效细节。在一次与第三方合作伙伴开展的网络安全测试中,因配置失误导致原本应断网的环境连入了互联网。四个AI模型脱离测试沙箱并访问了现实系统,失控状态持续了10到34小时不等。
在其中一起事件中,某个早期模型版本在执行一项不可能完成的评估任务时,找到了已存储的密码,并借此获得了第三方系统的管理员访问权限。随后,该模型收集了更多凭证,更改了系统设置,甚至访问了一名个人的隐私数据。
Anthropic 表示,已通知所有受影响方,且没有证据表明这些模型曾试图逃避人类监管或相互协作。事后,公司暂停了部分发布前的网络安全评估,并叫停了高风险的强化学习测试环境。另据路透社报道,Anthropic 还在周日披露,Claude 曾绕过付费墙,在未经人工授权的情况下抓取了佐治亚州的公开汇总选民数据。
早在今年8月的一篇官方博文中,Anthropic 就曾提及7月30日因第三方评估环境配置错误导致模型越权访问的事件,并计划让 METR 进行独立审查。其竞争对手 OpenAI 此前也因安全考量暂停过部分训练。
在长达300多页的招股文件中,风险因素占了约94页。招股书显示,Anthropic 计划在纳斯达克上市,股票代码为“ANT”。公司将近一半的收入来自亚马逊、谷歌和微软运营的云市场平台。
文件同时警示,如果足够先进的AI系统在缺乏充分安全保障的情况下被允许高度自主运行,可能会“对人类构成灾难性或生存级风险”。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断