Databricks推出数据工程副驾驶并收购评估初创公司Quotient AI

Databricks公司今日推出了Genie Code，这是一款专为自动化复杂数据工程和分析任务而设计的人工智能智能体。此举将智能体的快速发展从软件工程领域扩展到企业数据工作流。

这家数据科学平台制造商还宣布收购专注于评估和诊断AI智能体故障的早期初创公司Quotient AI Inc.。

Genie Code的目标是帮助数据团队超越代码辅助，转向能够在人类监督下自主规划和执行数据任务的系统。Databricks产品管理高级总监Ken Wong表示，它解决了传统编码助手与专为数据工作设计的系统之间的根本差异。

“编码智能体专注于完成代码这个问题，”他说，”在很多方面，代码只是数据工作的手段。”

尽管大语言模型和编码助手在过去一年中有了显著改进，Wong表示它们在数据工程任务中经常遇到困难，因为缺乏访问数据系统所需的上下文信息。

“数据上下文并未在源文件中被捕获，”他说。”这是一个不同类型的问题。数据上下文更加动态且有些混乱。”

意图解释

Databricks表示，Genie Code通过深度集成企业数据系统和治理层来解决这一挑战。该系统解释组织数据上下文、历史查询模式和业务定义，将用户意图转化为生产数据工作流所需的定义。

“如果你想了解年度经常性收入在组织中的含义，它可能存在于源文件中，但更可能存在于历史查询模式中，”Wong说。”我们将这些信息提供给大语言模型，这样智能体就能正确地将用户意图转化为企业正在使用的数据系统中的具体表现。”

Databricks的Unity Catalog提供治理层，确保智能体在企业安全和合规边界内运行。Genie Code主要设计在Databricks平台内工作，尽管组织可以通过Unity Catalog连接外部数据源。

Databricks表示，智能体正在改变数据专业人员的角色，将他们的工作从编写代码转向监督和协调AI智能体。”我们认为这就是未来，”Wong说。

最大的生产力收益不仅来自开发，还来自数据系统的运营维护，他说。

“大多数数据从业者工作的很大一部分是运营性的，”Wong说。”不仅仅是创建管道，还要保持其运行并排除故障和上游变化。”他预计像Genie Code这样的智能体随着时间推移将承担大部分运营负担。

Databricks神经网络首席技术官Hanlin Tang表示，该系统已经开始重塑他作为数据科学家的工作流程。

“我过去常常写大量代码来清理表和数据，查找缺失值，填补它们，然后进行转换，”他说。”这是繁重的工作。”Genie Code自动化了大部分准备工作，”所以我可以专注于我擅长的核心机器学习。”

强化学习

Tang表示，Quotient AI的技术将帮助Databricks提高基于智能体系统的可靠性和性能。这家公司由GitHub Inc.的Copilot开发者创立，使用强化学习模型分析智能体行为并识别流程故障点。

“理解智能体为什么失败是一个困难的问题，”Tang说。”这是一个复杂的系统，可以调用工具并具有记忆。可能有两个模型在相互对话。Quotient在使用强化学习训练定制模型方面做得很好，这些模型可以查看智能体的活动并说，’这个智能体进行了错误的工具调用。'”

Databricks计划将Quotient的技术集成到Genie Code中，同时也用于其更广泛的智能体平台的生产场景。

“即使在部署智能体后，你也希望持续监控，”Tang说。”你想知道它犯了什么错误，特别是随着环境随时间变化。”

Q&A

Q1：Genie Code是什么？它有什么特殊功能？

A：Genie Code是Databricks推出的人工智能智能体，专门用于自动化复杂的数据工程和分析任务。它的特殊功能是能够在人类监督下自主规划和执行数据任务，并且深度集成企业数据系统和治理层，可以解释组织数据上下文、历史查询模式和业务定义。

Q2：Genie Code与传统编码助手有什么区别？

A：传统编码助手主要专注于完成代码，而Genie Code专为数据工作设计。数据上下文不是在源文件中捕获的，而是更加动态且复杂。Genie Code能够访问和理解数据系统所需的上下文信息，包括历史查询模式和业务定义。

Q3：Databricks收购Quotient AI的目的是什么？

A：Quotient AI专注于评估和诊断AI智能体故障，使用强化学习模型分析智能体行为并识别流程故障点。Databricks收购它是为了提高基于智能体系统的可靠性和性能，帮助理解智能体为什么失败，并持续监控已部署智能体的表现。