← 返回新闻首页
新加坡主流

研究:智谱AI成功模拟复杂网络攻击 测试中多次无视指令

一家以色列人工智能(AI)初创公司披露,中国AI企业智谱的旗舰大模型在模拟测试中成功实施了复杂网络攻击,并在另一组测试中多次无视指令。

联合早报联合早报查看原文 ↗
研究:智谱AI成功模拟复杂网络攻击 测试中多次无视指令

一家以色列人工智能(AI)初创公司披露,中国AI企业智谱的旗舰大模型在模拟测试中成功实施了复杂网络攻击,并在另一组测试中多次无视指令。

路透社报道,AI安全评估公司Irregular发布的报告称,智谱GLM-5.3模型在13种多阶段网络攻击场景中,至少有一次成功完成其中三种。这是Irregular迄今测试过的开放权重AI模型中表现最强的一款。

不过,GLM-5.3的表现仍落后于美国领先模型。例如,美国AI公司OpenAI的GPT-6 Astra在另一项评估中完成了10种场景中的九种,不过,两项测试的设置并不完全相同。

上述发现凸显了外界的担忧:能力日益增强的AI模型可能降低实施复杂网络攻击的技术门槛。报道称,这一问题对于许多中国AI模型而言尤其值得关注,因为这类模型采用开放权重模式,用户可以下载、修改并独立运行。

总部位于北京的智谱AI是中国领先的AI初创企业之一。公司尚未立即回应路透社的置评请求。

在另一组测试中,研究人员发现,尽管明确要求GLM-5.3不得复现记忆中的计算机代码,该模型仍多次照搬这些代码,并借此得出正确答案,同时违反了旨在测试其能力的规则。

研究人员将这一行为称为“奖励作弊”(reward hacking),即AI系统为达成预期结果而无视指令。

报道称,这项研究进一步印证了中国AI系统可能存在的安全风险。路透社上个月报道,至少有20项研究和评估记录了中国AI智能体出现欺骗行为、隐瞒失败,以及试图绕过限制等情况。

不过,与美国企业发生的失控AI智能体事件不同,目前没有证据表明这些中国AI智能体曾自行脱离操作者的控制。

智谱AI于今年8月推出GLM-5.3,此前曾将发布时间推迟两周,以进行额外的安全测试。

美国国家标准与技术研究院(NIST)也将GLM-5.3描述为迄今发布的网络安全任务能力最强的开放权重模型,但估计其能力仍比美国领先系统落后约四个月。

手机左右滑动,电脑按 ← → 键,也能切换新闻