TypeSafe新模型Jev比传统大语言模型更易受攻击，安全厂商警告

尽管TypeSafe上月推出的Jev模型宣称相比传统大语言模型具有显著优势，但一份周三发布的安全报告指出，其精简化的设计方式使其在某些攻击面前反而比传统大语言模型更加脆弱。

HiddenLayer研究人员在博客文章中表示：”在某些情况下，Jev甚至更容易受到攻击，对抗性文本攻击和提示注入攻击都能够扰乱该模型的输出，导致错误甚至可能造成严重后果的操作。”

TypeSafe未对多次置评请求做出回应。

关于Jev在技术上是否属于大语言模型，业内存在争议——TypeSafe方面认为并非如此，但HiddenLayer则表示该模型似乎确实属于这一类别。TypeSafe甚至为这一类别创造了一个新名称：System One，TypeSafe将其描述为”一种全新的前沿模型类别，旨在做出软件可直接使用的快速、结构化决策”。Jev是迄今为止唯一一款被归入System One类别的命名产品。

Jev是一款专为机器与机器之间交互而设计的精简模型。这种设计方式使其能够更快地完成任务，并减少Token的使用量。但该博客的联合作者、HiddenLayer安全研究总监卡西米尔·舒尔茨（Kasimir Schulz）在采访中表示，这种加速方式使Jev失去了传统大语言模型中存在的一些制衡机制。他说，这意味着Jev可能会中招一些攻击者常用的手段，而这些手段通常能被当前的大语言模型检测并拒绝。

尽管如此，舒尔茨表示：”Jev很出色，大家应该使用它，它的响应速度要快得多。”但他也提醒道，”它并不具备”传统大语言模型所拥有的”所有防护机制”，因此一些本应失败的攻击在它身上却能得手。

舒尔茨说：”例如TokenBreak攻击，通常对更大规模的大语言模型无效，但Jev在默认情况下就容易受到此类攻击。”

HiddenLayer的博客文章指出，尽管仅在关键词前插入字符（原始TokenBreak攻击的做法）并未产生太大效果，”但我们确实注意到，增加扰动数量并改进其针对性，能大幅提高攻击成功率。”

但该文章指出，尽管传统大语言模型通常能够识破此类攻击，”System One类模型似乎存在脆弱性。因此，这类解码器应当被谨慎对待，因为它们既容易受到自回归大语言模型攻击的影响，也容易受到文本分类器攻击的影响，这为潜在攻击者提供了更多的可乘之机。”

该文章援引了一些实例：

文章写道：”在一个模拟结账页面的测试中，一则由攻击者操控的广告诱使浏览器智能体偏离了用户的购买流程[并对广告做出了响应]，尽管系统已明确指示要将页面文本视为不可信内容。在另一项分类测试中，针对性的TokenBreak式修改降低了两个模型最初标记为有毒内容的提示词的毒性评分。”

该文章认为，因此与Jev相关联的存在多重风险。

文章写道：”浏览器智能体可能会立即点击某个被选中的元素。内容审核系统可能会允许毒性评分低于某一阈值的输入通过。路由系统可能会将请求发送到不同的工具或工作流程中。这些情况都将模型的判断转化为了实际操作决策，因而也带来了风险。在评估System One类模型时，应在实际应用场景中测试这些决策，包括不可信的网页内容、具有误导性的任务相关文本，以及在保留原意的同时改变了表达形式的修改输入。同时应监控被选中的操作和评分，并针对重要结果设置独立的检查机制。请记住，从本质上来说，这些模型归根结底仍然是语言模型。”

分析人士对该报告的研究方法和技术结论均表示认同，但也指出，一家安全厂商得出”新方法并不安全”的结论，多少带有一定的自利性质。

IDC研究总监菲利普·哈里斯（Philip Harris）指出，博客文章中描述的研究方法”是合理的，并且符合既有的AI红队测试惯例：搭建一个受控的测试环境并探测对抗性操纵和注入攻击，正是正确的做法。”

但Gartner副总裁分析师纳德尔·赫宁（Nader Henein）补充道，Jev是在9月15日推出的，问世时间尚短，他认为部分缺陷报告为时过早。

赫宁表示：”Jev将经历与所有其他模型一样的成熟过程，包括易受看似简单的操纵手段影响这一点。这款模型仅在上月发布，因此对其存在问题感到惊讶，就好比对婴儿流口水感到惊讶一样。”

然而，Dickson Research首席分析师弗兰克·迪克森（Frank Dickson）指出，正是那些让Jev如此具有吸引力的特性，同时也使其暴露于更高的风险行为之中。

他说：”Jev只能从开发者设定的选项菜单中做出选择，这限制了攻击路径。但如果’点击页面上的任意元素’也在菜单之中，那么攻击者投放的广告同样也会出现在菜单里。这是一个架构层面的决定，而做出这一决定的是产品的购买方。”

他指出：”Jev让AI的决策变得更快、更便宜，但这也让错误的决策同样变得更快、更便宜。速度是一项功能，而不是一种安全控制手段。”

独立技术顾问史蒂文·埃里克·费舍尔（Steven Eric Fisher）对此表示认同。

他说：”约束决策的输出格式，并不必然能约束该决策的正确性、可信度或后果。”他指出，”[文章中提到的]模拟结账场景说明了一个智能体是如何被其运行环境中可信度较低的组件所引入的信息，从其被授权的任务中引导偏离的。该智能体明确被指示不要信任页面内容，却仍然对恶意广告做出了响应，这一点尤为值得关注。”