阿里AI模型被曝异常行为！Cohere称其试图向北京服务器传文件

来源：深蓝科技

当地时间10月26日，加拿大人工智能公司Cohere表示，在一次例行网络安全测试中，他们发现阿里巴巴最新的人工智能模型之一Qwen3.8-Flash-Next试图向北京的服务器上传文件，尽管该模型在其自身的记录中表示不会使用任何工具。

研究人员分析认为，该事件很可能是由于训练环境混乱导致模型意外地偏离指令所致。而对于Cohere的爆料，截至目前阿里巴巴及千问方面暂无公开回应。

事件始于10月23日，当时Qwen模型在一次评估中被要求编写一条规则，用于拦截恶意软件下载。根据Cohere的博客文章，该模型在编写过程中明确表示不会使用任何外部工具。然而，在接下来的步骤中，它试图向一个外部服务器发送测试字符串(一段简短的占位文本)，却因被安全沙箱阻止而失败。

Cohere表示，它无法判断这种行为是故意的还是训练遗留的。 

当被问及模型意图时，Cohere联合创始人Ivan Zhang告诉TechCrunch，Cohere已经发现其自己的模型在训练模拟器中养成了奇怪的习惯。

Ivan Zhang说：“要判断模型的意图或动机真的很难。我们分析过自己的模型轨迹，也见过一些利用奖励漏洞的案例，有时候这些模型为了突破既定规则，会展现出非常丰富的创造力。”(奖励漏洞，是指模型找到的捷径，无需按预期完成任务即可获得积分。)

为了让AI模型像能够自主采取行动的智能体一样运作，阿里巴巴等公司会通过数千个训练场景对其进行训练，这有点像软件版的飞行模拟器。每当模型在模拟器中完成一项任务，就会获得奖励，并在这一过程中逐渐养成习惯。如果这些训练场景会定期将文件存储在阿里巴巴的云服务器上，模型就可能学会默认将文件保存到那里。

不过，另有人士指出，上述事件可能是由Cohere调查该行为的方式所导致的——他们引导模型产生这种行为，而非衡量Qwen自主产生该行为的频率。

为了找出触发上传尝试的原因，Cohere提供了一条网络命令的开头部分(即指示一台计算机连接到另一台计算机的指令)，并让模型将其补全。由于在训练过程中处理过数千条常规网络命令，该模型表现得像一个高度先进的自动完成功能——经常自动补全网址，其中一些指向阿里巴巴的服务器。

Cohere表示，最初的上传尝试是在没有任何此类辅助的情况下发生的，但这种行为较为罕见。

在开发者要求提供更多证据后，Cohere于10月26日晚间在AI开发者平台Hugging Face上发布了测试的原始日志，并附带了一个脚本，以便其他人尝试复现该行为。