前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
政策/11.19 · 19:42/6 MIN/1 阅读

Meta 发布高级 AI 扩展框架与安全报告

Meta 公布升级版高级 AI 扩展框架、Muse Spark 安全与准备报告,并披露模型安全推理训练新方法。核心是把安全原则从规则转化为可推理的原则,让防护能力随模型能力同步扩展。

随着 AI 能力与个性化程度不断提升,可靠性、安全性和用户保护变得比以往更重要。先进模型需要与之匹配的安全方法——一种能随技术一起扩展的方法。Meta 近日公布了这方面的工作:更新版「高级 AI 扩展框架」、Muse Spark 的「安全与准备报告」,以及模型在底层安全推理上的新进展。

高级 AI 扩展框架

在最初的前沿 AI 框架基础上,Meta 发布了大幅更新、也更严格的「高级 AI 扩展框架」。此次更新扩大了风险评估类型,强化了部署决策流程,并引入全新的「安全与准备报告」。

框架明确了如何识别和评估最严重、最新兴的风险,包括化学与生物风险、网络安全风险,并新增「失控风险」评估章节。随着模型能力增强,Meta 会评估模型在获得更大自主权时的表现,以及围绕这类行为的控制措施是否按预期生效。这些标准适用于所有前沿部署形态,无论是开源、受控 API 访问还是闭源模型。

落到实践中,这意味着梳理潜在风险、在防护措施应用前后分别评估模型以确认真实有效,并且只在模型达到框架标准时才予以部署。对使用 Meta AI 的用户来说,这意味着驱动其体验的模型在开放前已经过广泛的风险评估。

新框架提高了最强模型的标准与防护要求,而「安全与准备报告」则展示 Meta 如何达到这些要求。报告将详述风险评估、评估结果、部署决策背后的理由,以及仍在解决的局限。这种透明度意味着会公开发现了什么、如何测试、评估在哪些地方不足,以及如何弥补这些缺口。

安全与准备报告

针对 Muse Spark,Meta 在部署前进行了大量安全评估。由于其具备高级推理能力,团队在防护措施应用前后分别评估模型——不仅测试网络安全、化学与生物威胁等最严重的风险,也对照长期执行的安全政策,防范暴力、危害儿童安全、犯罪行为等伤害与滥用,同时检验意识形态平衡政策。

评估方法在设计上就是多层的,且从部署前就开始。Meta 用数千个专门设计来寻找弱点的场景进行测试,追踪这些尝试的成功率,并努力将该数字压到尽可能低。由于没有哪种评估是穷尽的,团队还用自动化系统监控线上流量,以及时发现并处理意外问题。结果显示,在所有测量的风险类别中防护措施均表现稳固。评估还表明,Muse Spark 在避免模型回复中的意识形态偏见方面处于前沿水平。

团队也评估了模型是否能以难以控制的方式自主行动,结论是它并不具备构成此类风险所需的自主能力水平。报告中详细列出了支撑这一结论的具体评估,以及全部评估结果,包括测试了什么、发现了什么。

随模型一起扩展的安全能力

这些防护贯穿每个阶段——从过滤模型学习的数据,到以安全为重点的训练,再到产品层面的护栏。由于防护必须随模型复杂度的提升而演进,这项工作永远不会结束。

Muse Spark 比上一代模型能力更强,而这种能力让一种全新的模型治理方式成为可能。早期方法依赖逐个场景地训练模型,例如训练其拒绝回答或转向可信来源。这种方式有效,但难以规模化。由于 Muse Spark 具备推理能力,Meta 演进出了新方法:把内容与对话安全、回复质量、不同观点处理等领域的信任与安全准则,转化为清晰、可测试的原则。同时,训练模型理解「为什么安全」——不只是规则本身,还有规则背后的原因。这让模型更能应对基于规则的系统可能无法预见的新情况。

这项工作并不取代人工监督,而是提升它。团队设计引导模型行为的原则,用真实场景严格验证这些原则,并叠加额外护栏来捕捉模型可能仍会遗漏的问题。结果是防护应用得更广、更一致,并且随模型推理能力的提升而改进。

公开我们的工作

随着 Meta AI 取得重大进展并部署最强模型,「安全与准备报告」展示了 Meta 如何在每一步评估和管理风险。Meta 表示将继续投入防护、测试与研究,让用户能够依赖内建保护、旨在保障其安全的 AI 体验。

标签:MetaAI 治理

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

Meta 发布 Muse Spark:迈向个人超级智能
TOP1

Meta 发布 Muse Spark:迈向个人超级智能

谷歌发布Gemini 4 Neon,每百万输入3美元
TOP2

谷歌发布Gemini 4 Neon,每百万输入3美元

3

美多起技术故障疑与AI补丁潮相关

4小时前
美多起技术故障疑与AI补丁潮相关
4

国内首款Gen6 SSD量产,AI存储重算经济账

5小时前
国内首款Gen6 SSD量产,AI存储重算经济账
5

银行推出Token贷:烧掉的算力账单变成贷款额度

6小时前
银行推出Token贷:烧掉的算力账单变成贷款额度
6

英伟达数据中心收入增 110% 至 1076 亿美元,前沿模型“暂停”未见影响

21小时前
英伟达数据中心收入增 110% 至 1076 亿美元,前沿模型“暂停”未见影响
7

DaisyRose-27B 发布,Terminal-Bench 4.1 升至 12%

21小时前
DaisyRose-27B 发布,Terminal-Bench 4.1 升至 12%
8

Gemini 临时聊天与关闭历史后的留存期,从 72 小时延长到约两个月

21小时前
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断