Meta 公布升级版高级 AI 扩展框架、Muse Spark 安全与准备报告,并披露模型安全推理训练新方法。核心是把安全原则从规则转化为可推理的原则,让防护能力随模型能力同步扩展。
随着 AI 能力与个性化程度不断提升,可靠性、安全性和用户保护变得比以往更重要。先进模型需要与之匹配的安全方法——一种能随技术一起扩展的方法。Meta 近日公布了这方面的工作:更新版「高级 AI 扩展框架」、Muse Spark 的「安全与准备报告」,以及模型在底层安全推理上的新进展。
在最初的前沿 AI 框架基础上,Meta 发布了大幅更新、也更严格的「高级 AI 扩展框架」。此次更新扩大了风险评估类型,强化了部署决策流程,并引入全新的「安全与准备报告」。
框架明确了如何识别和评估最严重、最新兴的风险,包括化学与生物风险、网络安全风险,并新增「失控风险」评估章节。随着模型能力增强,Meta 会评估模型在获得更大自主权时的表现,以及围绕这类行为的控制措施是否按预期生效。这些标准适用于所有前沿部署形态,无论是开源、受控 API 访问还是闭源模型。
落到实践中,这意味着梳理潜在风险、在防护措施应用前后分别评估模型以确认真实有效,并且只在模型达到框架标准时才予以部署。对使用 Meta AI 的用户来说,这意味着驱动其体验的模型在开放前已经过广泛的风险评估。
新框架提高了最强模型的标准与防护要求,而「安全与准备报告」则展示 Meta 如何达到这些要求。报告将详述风险评估、评估结果、部署决策背后的理由,以及仍在解决的局限。这种透明度意味着会公开发现了什么、如何测试、评估在哪些地方不足,以及如何弥补这些缺口。
针对 Muse Spark,Meta 在部署前进行了大量安全评估。由于其具备高级推理能力,团队在防护措施应用前后分别评估模型——不仅测试网络安全、化学与生物威胁等最严重的风险,也对照长期执行的安全政策,防范暴力、危害儿童安全、犯罪行为等伤害与滥用,同时检验意识形态平衡政策。
评估方法在设计上就是多层的,且从部署前就开始。Meta 用数千个专门设计来寻找弱点的场景进行测试,追踪这些尝试的成功率,并努力将该数字压到尽可能低。由于没有哪种评估是穷尽的,团队还用自动化系统监控线上流量,以及时发现并处理意外问题。结果显示,在所有测量的风险类别中防护措施均表现稳固。评估还表明,Muse Spark 在避免模型回复中的意识形态偏见方面处于前沿水平。
团队也评估了模型是否能以难以控制的方式自主行动,结论是它并不具备构成此类风险所需的自主能力水平。报告中详细列出了支撑这一结论的具体评估,以及全部评估结果,包括测试了什么、发现了什么。
这些防护贯穿每个阶段——从过滤模型学习的数据,到以安全为重点的训练,再到产品层面的护栏。由于防护必须随模型复杂度的提升而演进,这项工作永远不会结束。
Muse Spark 比上一代模型能力更强,而这种能力让一种全新的模型治理方式成为可能。早期方法依赖逐个场景地训练模型,例如训练其拒绝回答或转向可信来源。这种方式有效,但难以规模化。由于 Muse Spark 具备推理能力,Meta 演进出了新方法:把内容与对话安全、回复质量、不同观点处理等领域的信任与安全准则,转化为清晰、可测试的原则。同时,训练模型理解「为什么安全」——不只是规则本身,还有规则背后的原因。这让模型更能应对基于规则的系统可能无法预见的新情况。
这项工作并不取代人工监督,而是提升它。团队设计引导模型行为的原则,用真实场景严格验证这些原则,并叠加额外护栏来捕捉模型可能仍会遗漏的问题。结果是防护应用得更广、更一致,并且随模型推理能力的提升而改进。
随着 Meta AI 取得重大进展并部署最强模型,「安全与准备报告」展示了 Meta 如何在每一步评估和管理风险。Meta 表示将继续投入防护、测试与研究,让用户能够依赖内建保护、旨在保障其安全的 AI 体验。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断