MIT研究发现：AI智能体快速发展但缺乏控制

智能体技术正全面进入人工智能主流领域。本周OpenAI宣布聘请开源软件框架OpenClaw的创建者Peter Steinberg，这进一步证实了这一趋势。

OpenClaw软件上个月引起了广泛关注，不仅因为其强大的功能（例如智能体可以代表用户发送和接收电子邮件），还因为其严重的安全漏洞，包括完全劫持个人计算机的能力。

考虑到人们对智能体的关注以及对其优缺点的了解仍然有限，麻省理工学院和合作机构的研究人员刚刚发布了一项针对30个最常见智能体AI系统的大规模调查，这一点很重要。

研究结果表明，智能体AI目前在安全方面存在严重问题，这一领域缺乏披露、缺乏透明度，并且在智能体如何运作方面缺乏基本协议。

缺乏披露透明度成为最大问题

报告最大的发现是识别智能体AI可能出现的所有问题有多困难。这主要是由于开发者缺乏披露造成的。

剑桥大学首席作者Leon Staufer及其在麻省理工学院、华盛顿大学、哈佛大学、斯坦福大学、宾夕法尼亚大学和耶路撒冷希伯来大学的合作者写道：”我们发现在智能体系统的生态系统和安全相关特性报告方面存在持续的局限性。”

在八个不同的披露类别中，作者指出大多数智能体系统在大多数类别中都没有提供任何信息。这些遗漏包括缺乏对潜在风险的披露以及缺乏对第三方测试（如果有的话）的披露。

这份39页的报告《2025年AI指数：记录已部署智能体AI系统的社会技术特征》充满了关于当今智能体AI技术中有多少东西无法被追踪、跟踪、监控和控制的重要发现。

监控和控制能力严重不足

例如，”对于许多企业智能体，从公开可用的信息无法清楚地了解是否存在对单个执行轨迹的监控”，这意味着没有清晰的能力来跟踪智能体AI程序究竟在做什么。

作者指出：”30个智能体中有12个不提供使用监控，或者只有在用户达到速率限制时才发出通知。”这意味着您甚至无法跟踪智能体AI消耗了多少计算资源——这对必须为此制定预算的企业来说是一个关键担忧。

这些智能体中的大多数也不向现实世界表明它们是AI，因此无法知道您是在与人类还是机器人打交道。

“大多数智能体默认情况下不向最终用户或第三方披露其AI性质，”他们指出。在这种情况下，披露将包括对生成的图像文件进行水印标记以便清楚地知道图像是通过AI制作的，或者响应网站的”robots.txt”文件以向网站标识智能体是自动化程序而不是人类访问者。

一些软件工具无法停止给定智能体的运行。阿里巴巴的MobileAgent、HubSpot的Breeze、IBM的watsonx，以及柏林软件制造商n8n创建的自动化程序，”尽管具有自主执行能力，但缺乏记录的停止选项”，Staufer团队表示。

“对于企业平台，有时只有停止所有智能体或撤回部署的选项。”

发现您无法停止正在做错误事情的程序，对于大型组织来说必须是最糟糕的情况之一，其中有害结果超过了自动化的好处。

作者预期这些问题，即透明度和控制问题，将在智能体中持续存在，甚至变得更加突出。”随着智能体能力的增强，这里记录的治理挑战（生态系统分散化、网络行为紧张关系、缺乏智能体特定评估）将变得更加重要，”他们写道。

企业回应与争议

Staufer团队还表示，他们在四周内试图从所涵盖软件的公司获得反馈。约四分之一的联系对象做出了回应，”但只有3/30提供了实质性评论。”作者写道，这些评论已纳入报告中。他们还为公司提供了一个表格，用于持续更正。

Perplexity发言人通过电子邮件回复ZDNET，称该报告”包含重大事实错误”，并且”我们正在与研究人员合作立即进行这些更正，并强烈拒绝他们的描述。”

OpenAI通过发言人在电子邮件中回应ZDNET，提供了关于其Atlas浏览器智能体功能风险和限制的要点列表，指出该程序”目前仅在预览版中可用，并存在一定风险。”

IBM通过电子邮件回应ZDNET，提供了逐点反驳和各种支持IBM文档的链接。IBM总体上表示：”MIT研究关于IBM智能体AI产品watsonx Orchestrate的断言是不准确的。”

智能体AI的定义和应用

智能体人工智能是机器学习的一个分支，在过去三年中出现，旨在增强大语言模型和聊天机器人的能力。

智能体不是简单地被分配由文本提示指定的单个任务，而是已连接到外部资源（如数据库）的AI程序，并被授予一定的”自主权”来追求超出基于文本对话范围的目标。

这种自主权可以包括执行企业工作流程中的几个步骤，如在电子邮件中接收采购订单、将其输入数据库以及咨询库存系统查询可用性。智能体还被用于自动化客户服务交互的几个回合，以取代人类客服代表传统处理的一些基本电话、电子邮件或文本查询。

作者选择了三类智能体AI：具有额外能力的聊天机器人，如Anthropic的Claude Code工具；网页浏览器扩展或专用AI浏览器，如OpenAI的Atlas浏览器；以及企业软件产品，如微软的Office 365 Copilot。

然而，大多数智能体”依赖于少数闭源前沿模型”，Staufer团队表示。OpenAI的GPT、Anthropic的Claude和谷歌的Gemini是大多数这些智能体构建的基础。

该研究不是基于直接测试智能体工具，而是基于对开发者和供应商提供的文档进行”注释”。这仅包括”来自文档、网站、演示、已发表论文和治理文档的公开信息”，他们说。不过，他们确实建立了一些智能体系统的用户账户以双重检查软件的实际功能。

案例分析揭示安全差距

作者提供了三个更深入的轶事例子。他们写道，一个积极的例子是OpenAI的ChatGPT智能体，当用户在提示中要求它执行基于网络的任务时，它可以与网站交互。智能体被积极区分为他们查看的智能体系统中唯一一个通过”加密签名”其发出的浏览器请求来提供跟踪行为手段的系统。

相比之下，Perplexity的Comet网页浏览器听起来像是一场安全灾难。Staufer团队发现，该程序”没有智能体特定的安全评估、第三方测试或基准性能披露”，并且”Perplexity没有记录Comet的安全评估方法或结果”，还补充说，”除了提示注入缓解措施外，没有记录沙盒或遏制方法。”

作者指出，亚马逊已起诉Perplexity，称Comet浏览器错误地向服务器呈现其行为，仿佛它是人类而不是机器人，这是他们讨论的缺乏标识的一个例子。

第三个例子是企业软件供应商HubSpot的Breeze智能体套件。这些是可以与记录系统（如客户关系管理）交互的自动化程序。他们发现，Breeze工具是好坏参半的。一方面，它们通过了许多企业合规措施的认证，如SOC 2、GDPR和HIPAA。

另一方面，HubSpot在安全测试方面什么都没有提供。它声明Breeze智能体经过第三方安全公司PacketLabs的评估，”但没有提供方法论、结果或测试实体详情。”

展示合规批准而不披露实际安全评估的做法是”企业平台的典型做法”，Staufer团队指出。

该报告没有检查的是野外的事件，即智能体技术实际产生意外或不良行为并导致不良结果的情况。这意味着我们还不知道作者识别的缺陷的全面影响。

有一件事是绝对清楚的：智能体AI是开发团队做出特定选择的产物。这些智能体是由人类创建和分发的工具。

因此，记录软件、审计程序安全问题以及提供控制措施的责任完全在于OpenAI、Anthropic、谷歌、Perplexity和其他组织。他们需要采取措施来补救所识别的严重缺口，否则将面临未来的监管。

Q&A

Q1：什么是智能体AI？它与普通聊天机器人有什么区别？

A：智能体人工智能是机器学习的一个分支，在过去三年中出现。与简单地被分配由文本提示指定的单个任务的普通聊天机器人不同，智能体是已连接到外部资源（如数据库）的AI程序，并被授予一定的”自主权”来追求超出基于文本对话范围的目标。

Q2：目前智能体AI存在哪些主要安全问题？

A：研究发现智能体AI存在严重安全问题，包括缺乏披露和透明度、无法追踪程序行为、缺乏使用监控、不向用户表明AI身份、以及某些系统无法停止运行等。30个智能体中有12个不提供使用监控，大多数智能体默认情况下不披露其AI性质。

Q3：哪些公司的智能体产品被研究调查？

A：研究调查了30个最常见的智能体AI系统，包括OpenAI的ChatGPT智能体和Atlas浏览器、Anthropic的Claude Code工具、Perplexity的Comet网页浏览器、HubSpot的Breeze智能体套件、IBM的watsonx、阿里巴巴的MobileAgent、微软的Office 365 Copilot等产品。