微软推出智能体治理工具包,专项应对OWASP十大AI安全风险

🤖 AI总结

主题

微软发布开源AI智能体治理工具包,以应对生产环境中的安全风险。

摘要

微软推出开源AI智能体治理工具包,通过增强安全策略执行和框架无关设计,帮助企业安全地管理和监控生产环境中的AI应用。

关键信息

  • 1 工具包旨在监控和管控AI智能体,应对OWASP定义的十大安全风险。
  • 2 它具备框架无关性,支持多种编程语言,可无缝集成主流AI开发框架。
  • 3 项目已进入公开预览,采用MIT许可证,未来计划移交基金会运营。

微软推出智能体治理工具包,专项应对OWASP十大AI安全风险

微软近日悄然发布了Agent Governance Toolkit(智能体治理工具包),这是一个专为企业在生产环境中监控和管控AI智能体而设计的开源项目。

这款工具包的推出,是微软针对开放全球应用安全项目(OWASP)日益关注的AI及大语言模型安全风险所作出的回应。微软首席工程组负责人Imran Siddique在一篇博客文章中介绍,该工具包在运行层面增加了安全策略的执行能力,可有效缓解提示词注入等安全问题,同时提升对复杂多步骤工作流中智能体行为的可见性。

具体而言,该工具包完整对应了OWASP针对智能体系统发布的十大风险,涵盖目标劫持、工具滥用、身份盗用、供应链风险、代码执行、内存污染、不安全通信、级联故障、人机信任利用以及恶意智能体等威胁。

谈及推出这一工具包的初衷,Siddique指出,当前AI系统与管理松散的分布式环境越来越相似——多个不可信组件共享资源、自主决策,并在几乎没有监督的情况下与外部系统进行交互。正是这一现状,促使微软将操作系统、服务网格和站点可靠性工程中已被验证的设计模式引入AI领域,为这些环境带来结构化、隔离性与可控性。

最终,微软将上述设计理念封装为该工具包的七大组件,支持Python、TypeScript、Rust、Go和.NET等主流编程语言。Siddique表示,跨语言支持的设计理念旨在贴合开发者的实际使用习惯,并推动工具包在异构企业技术栈中的集成落地。

在具体组件方面,该工具包包含多个功能模块:策略执行层Agent OS、安全通信与身份认证框架Agent Mesh、执行控制环境Agent Runtime,以及覆盖可靠性、合规性、市场治理与强化学习监管的Agent SRE、Agent Compliance和Agent Lightning等附加组件。

除模块化设计外,Siddique还特别强调,该工具包从设计之初便具备框架无关性:”我们从第一天起就将工具包设计为框架无关的。每一项集成都挂载到各框架原生的扩展点上——LangChain的回调处理器、CrewAI的任务装饰器、Google ADK的插件系统、微软智能体框架的中间件管道——因此引入治理机制并不需要重写智能体代码。”

他进一步解释,这种设计方式将有效降低集成成本与风险,使开发者无需重构应用架构,即可将治理控制引入生产系统,从而不影响现有工作流程。

Siddique还列举了多个已在生产环境中部署的框架集成案例,包括LlamaIndex的TrustedAgentWorker集成。

目前,该工具包已进入公开预览阶段,采用MIT许可证,以单一代码仓库(monorepo)结构组织,各组件可独立安装。微软表示,未来计划将该项目移交至基金会主导的运营模式,并已与OWASP智能体AI社区展开合作,推动更广泛的治理与管理机制建设。

Q&A

Q1:微软智能体治理工具包是什么?主要解决什么问题?

A:微软智能体治理工具包(Agent Governance Toolkit)是一个开源项目,专为企业在生产环境中监控和管控AI智能体而设计。它在运行层增加了安全策略执行能力,可应对提示词注入、目标劫持、身份盗用等OWASP定义的智能体系统十大安全风险,同时提升对复杂多步骤工作流中智能体行为的可见性和可控性。

Q2:微软智能体治理工具包支持哪些编程语言和AI框架?

A:该工具包支持Python、TypeScript、Rust、Go和.NET五种主流编程语言,并具备框架无关性,可无缝集成LangChain、CrewAI、Google ADK、微软智能体框架等主流AI开发框架,开发者无需重写智能体代码即可引入治理机制。目前LlamaIndex的TrustedAgentWorker集成已在生产环境中部署。

Q3:微软智能体治理工具包现在可以使用吗?后续有什么计划?

A:该工具包目前已进入公开预览阶段,采用MIT许可证,以单一代码仓库结构提供,各组件可独立安装。微软未来计划将项目移交基金会主导,并已与OWASP智能体AI社区展开合作,推动更广泛的治理与管理机制建设。

© 版权声明

相关文章