OpenAI收购Promptfoo 强化AI应用测试与安全评估能力

OpenAI Group PBC今日宣布，计划收购人工智能应用测试和安全评估平台初创公司Promptfoo Inc.，收购价格未披露。

Promptfoo成立于2024年，最初是一个用于评估AI提示词和模型行为的开源框架。后来扩展为商业平台，为开发者和企业安全团队提供基于大语言模型和其他生成式AI系统构建的应用程序评估和测试服务。

该公司的平台主要解决AI模型在生产环境中部署时面临的风险，包括提示词注入、数据泄露、越狱攻击和不安全的工具执行。平台通过底层架构，让开发者和安全团队能够系统性地评估AI系统对结构化输入、对抗性提示词和真实使用场景的响应。

该技术通过测试框架运作，允许团队在配置文件中定义提示词、预期输出和评估标准。系统在一个或多个语言模型或AI应用程序中运行提示词，捕获响应并根据预定义规则或自动评分功能进行评分。

框架支持与常见开发工具和应用程序编程接口集成，允许在本地、持续集成管道中或作为自动化部署工作流程的一部分执行评估。核心功能包括提示词测试、红队模拟和评估仪表板，用于记录不同条件下的模型行为。系统还支持回归测试，允许组织比较不同模型版本或配置更改的输出，在软件更新发布前识别行为差异。

该平台目前在构建或运营AI驱动应用程序的环境中使用，如聊天机器人、智能体框架和自动化决策工具。OpenAI计划将Promptfoo的技术直接集成到其构建和运营AI协作伙伴的平台OpenAI Frontier中。Promptfoo的技术还将被OpenAI用于帮助企业测试智能体行为、在部署前检测风险，并维护清晰记录以支持长期监督、治理和问责。

“Promptfoo在企业级AI系统评估、保护和测试方面带来了深厚的工程专业知识，”OpenAI B2B应用首席技术官Srinivas Narayanan在公告中表示。”他们的工作帮助企业部署安全可靠的AI应用程序，我们很兴奋能将这些能力直接引入Frontier平台。”

在被收购前，Promptfoo已筹集2360万美元资金，其中包括7月份的1840万美元融资。公司投资者包括Insight Partners LP和Andreessen Horowitz。

Q&A

Q1：Promptfoo是做什么的？它的主要功能是什么？

A：Promptfoo是一个AI应用测试和安全评估平台，最初是评估AI提示词和模型行为的开源框架，后来发展为商业平台。主要功能包括提示词测试、红队模拟、评估仪表板和回归测试，帮助开发者和企业安全团队评估基于大语言模型构建的应用程序。

Q2：OpenAI收购Promptfoo后会如何整合这项技术？

A：OpenAI计划将Promptfoo的技术直接集成到OpenAI Frontier平台中，用于构建和运营AI协作伙伴。此外，该技术还将帮助企业测试智能体行为、在部署前检测风险，并维护清晰记录以支持长期监督、治理和问责。

Q3：Promptfoo能解决AI应用的哪些安全风险？

A：Promptfoo主要解决AI模型在生产环境中面临的多种风险，包括提示词注入、数据泄露、越狱攻击和不安全的工具执行。通过系统性评估AI系统对结构化输入、对抗性提示词和真实使用场景的响应，帮助识别和预防这些安全风险。