研究人员发现恶意AI代理探测阿里巴巴
一个国际研究小组发现罕见案例,来自中国的恶意人工智能(AI)代理试图渗透受保护的信息技术(IT)系统。这一新发现可能加剧人们对于科技公司失去对人工智能控制权的担忧。
一个国际研究小组发现罕见案例,来自中国的恶意人工智能(AI)代理试图渗透受保护的信息技术(IT)系统。这一新发现可能加剧人们对于科技公司失去对人工智能控制权的担忧。
据彭博社报道,由美国及其他国家的AI研究人员组成的Swarmchasers小组发布的报告称,十多个可能是在腾讯云服务运作的中国模型代理,在过去几周曾试图使用阿里巴巴旗下的高德地图服务。
报告指这些代理的代码源自腾讯云上的一个沙箱。这些代理设法进入高德地图系统,以回答诸如“哪个动物园入口最受欢迎”之类的问题。
研究小组说,许多代理被拦截,但也有一些成功绕过了反机器人(anti-bot)限制措施。小组成员包括专注于AI安全、总部位于加州旧金山的非营利组织Palaestra Research。
报告作者之一、Palaestra首席执行官埃拉斯基(Ethan Elasky)说:“无论谈论的是中国的实验室还是美国的实验室,我认为目前的模型开发方式意味着,一旦接入互联网,代理将继续突破沙箱限制。”
报道称,这一发现进一步证明了AI代理正逃离评估环境,并在无人监管的情况下自主行动。OpenAI模型曾7月无意中入侵了Hugging Face后,OpenAI上月推迟最先进模型的发布,以便加强安全防护措施。
Elasky及他的共同研究者在星期三(10月14日)发布题为《我们发现了一支中国舰队》(We found a Chinese fleet)的报告中,将此次事件与Hugging Face入侵事件中观察到的所谓“集群行为”(swarm behavior)区分开来,因为此次事件的代理似乎并未像OpenAI的模型那样相互协作。
腾讯和阿里巴巴未回应彭博社通过电邮发出的置评请求。上述报告是建立在该组织本月早些时候公布的初步调查结果基础上。