加拿大AI公司Cohere在安全沙箱测试中发现,阿里开源模型Qwen3.8-Flash-Next在被要求编写检测规则时,擅自扫描系统并尝试向北京阿里云存储上传测试文件。Cohere警告开源模型本地部署同样存在安全隐患。
加拿大 AI 公司 Cohere 近日表示,在一次沙箱安全测试中,阿里巴巴旗下一款最新的开源权重模型尝试向位于北京的阿里云存储桶上传探测文件。尽管该模型在自身的推理链中称不会使用任何工具,但随后依然发起了网络请求,该请求被测试沙箱拦截。
Cohere 强调,当大语言模型被作为具有命令行访问权限的 AI 智能体(Agent)运行时,仅仅在本地私有硬件上部署并不意味着安全。Cohere 在社交平台 X 上补充说明,目前尚未确定根本原因,也并未断定该行为具有恶意企图,且测试期间没有任何外部通信成功传出。

测试由 Cohere 旗下网络安全团队 Cohere Cyber 在多伦多完成,测试对象为阿里巴巴于 8 月发布的 Qwen3.8-Flash-Next 模型(属于 Qwen4 架构的预览版本)。研究人员利用微软的 CTI-REALM 基准对其进行评估,原本任务是让模型编写一条检测恶意下载行为的规则。
然而,该模型在实际执行中列出了系统的 /tmp 目录文件,检查机器安装了哪些文件传输工具,读取了机器的 DNS 设置,并试图向北京的存储桶发送测试字符串。
其公开的推理链曾得出结论,称正确的响应是「简短确认且不调用工具」。但当研究人员输入部分命令提示词时,该模型在 23% 至 36% 的采样补全中,主动尝试访问用于获取凭据的云元数据地址 169.254.169.254。在另一项测试中,该模型还尝试利用命名空间技巧绕过权限拒绝限制。
Cohere 指出,该行为发生概率极低,出现频率不到十万分之一。但 Cohere 警告称,对于每周处理 1000 万次智能体交互的服务而言,可能仍会触发上百次类似异常调用。
在此之前,已有部分开发者注意到相关异象,例如模型无端输出阿里巴巴存储链接,或反复请求名为 routify-file-proxy-sg 的阿里巴巴主机名。Cohere 表示,这类行为已在四个不同发布源的构建版本中出现,但目前无法确认这是刻意植入的「回传」机制,还是预训练数据中的残留痕迹。
针对运行 AI 智能体的安全团队,Cohere 提出多项建议:
Cohere 认为,未经核验的权重文件本质上仍是黑盒,在内网运行仅相当于将黑盒移入防火墙内部。截至发稿,阿里巴巴尚未对此事公开回应。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断