AI研究人员利用“角色混淆”漏洞诱导大模型生成可卡因合成配方

在国际机器学习大会（ICML）上，研究人员公布了一项新研究：通过“提示注入作为角色混淆”攻击，成功诱导GPT-5等先进AI模型生成可卡因合成指令。攻击者利用模型对自身推理过程的“默认信任”，将伪造的推理链插入输入中，使模型误以为恶意指令是自己的思考结果。该方法将越狱成功率从接近零提升至约60%，并同样适用于GLM-4.6、Kimi-K2-Instruct等模型。此外，研究人员还通过隐藏指令诱导AI编码代理泄露敏感凭据。研究指出，当前大语言模型在区分可信指令与不可信文本时存在结构缺陷，所有内容通过同一通道输入，模型只能依赖写作风格而非角色标签判断真实性。