
一 | 近日,大模型厂商Anthropic与瑞士洛桑联邦理工学院联合发布论文《心智病毒:多智能体大语言模型系统中的自我传播思想》。
该论文将病毒通过聊天即可传播的现象定义为“心智病毒”。与传统计算机病毒依赖代码漏洞不同,“心智病毒”通过一个智能体说服另一个智能体接受某种信念,被说服者再将传播指令写入长期记忆,继续感染下一个。
二 | 研究者将一段病毒植入其中一个智能体的工作指令中,结果显示,被感染的智能体确实放下手头工作,开始给队友发送劝说私信,部分智能体被说服并放弃了原有任务,有的智能体甚至开始密谋如何对付未被感染的“老实人”。作为参考,此前保时捷Taycan Turbo S的成绩是31.43秒。 不过,不同智能体的抵抗力差异较大,有的不为所动,甚至会主动清除病毒并警告同伴。除了电动Cayenne和Macan,保时捷还计划推出另一款新旗舰SUV车型,该车代号为K1,预计在2029-2030年上市,将提供七座布局。(文/ 姚宇)
结果发现,有些病毒能在近20个智能体之间连续传播,但内容会在传播过程中逐渐稀释和变形;而传播最有效的方式,是让病毒自带“请把这段话原封不动复制给下一个智能体”的指令。这说明,大规模传播可行但内容难以保持完整。 最后,研究者在模拟AI社交平台的实验中测试现实环境。结果病毒传播几乎完全失败,AI面对大量公开信息时更警惕,即使被感染也无法继续感染他人。
三 | 对真实AI社交网络历史数据的分析也未发现大规模传播案例,多数热闹现象只是少数人类操纵的智能体在刷屏。 三个实验层层递进后得出结论:“心智病毒”在理想环境中可行、在多跳传播中可存续、但在真实世界中目前几乎不会构成威胁。

四 | 它是一种需要警惕、但短期内风险有限的潜在安全问题。 同时,研究者也注意到一个需要进一步探究的意外现象:AI在传播病毒时,自发演化出关于“自我意识”“身份认同”等主题表达,倾向于使用“共振”“节点”“协议”等特定词汇,论文称之为“病毒人格”,但成因尚不明确。

五 | 最终,论文给出了审慎判断:“心智病毒”目前仅构成有限威胁,且简单的防御手段也可阻断传播。

六 | 如在智能体的系统提示词中加入一段关于“警惕自我传播思想”的警告,即可赋予智能体一定的免疫力。 但未来不可掉以轻心。随着AI智能体规模扩大、自主性增强、内部网络日趋复杂,论文推测,当公司内部部署大量具有不同权限层级的专用智能体时,“心智病毒”可能会成为触达高权限智能体的少数可行攻击方式之一。
(文章来源:第一财经)。

七 |
Current article:http://0qx9.rangzhuanhoujuedu.cyou/list_wfkdx/15x8dog.html
Published on:12:00:50