当审计人员审查你的AI算法时

🤖 AI总结

主题

AI审计面临的可预测性挑战及应对策略

摘要

AI审计因模型输出不可预测而面临挑战,企业需建立新框架明确责任并保留记录。

关键信息

  • 1 AI决策的不可预测性使传统审计框架失效
  • 2 企业需建立新的工具和方法来追踪AI决策过程
  • 3 明确责任归属和采用三层保护机制是关键

当审计人员审查你的AI算法时

审计工作历来遵循一套严格的规则、标准和控制机制。无论企业审查的是财务、技术还是其他资产,目标都是建立一套可预测的事件流程,从而得出可预测的结论。

然而到了2026年,AI正在重新书写这套规则。可预测性已不再是理所当然的事:向大语言模型多次提出同一个问题,每次得到的答案都可能不同。这并非缺陷,而是一种特性。但对于致力于实现安全且负责任AI应用的首席信息官来说,这种缺乏规律性的状况令人头疼。

如今,AI智能体负责评估贷款申请、核算库存,并影响财务报表中的数字呈现。它们还与IT系统和运营系统进行交互。所有这些AI应用场景都需要一致性才能保证有效性和可信度,但现有的审计模式并未考虑到AI固有的可变性。

“在如何审计AI的问题上,目前仍存在一定的脱节,因为AI的发展速度超过了框架更新的速度——而审计人员恰恰偏好可重复性,”Gartner分析与AI团队高级总监分析师劳伦·科努蒂克表示。

当审计人员询问各类AI决策是如何形成的,而许多首席信息官无法给出解释时,问题便暴露出来了。传统的审计轨迹追踪一组明确界定的活动和事件,并假定每个环节都经过人工审批。大语言模型的运作方式则不同。提示词日志和模型输出结果能够展示输入了什么、产出了什么,但无法揭示中间的处理过程,也无法证明结果的可靠性。

随着审计人员要求AI决策过程具备可辩护性,首席信息官正处于风口浪尖。企业需要新的工具和新的方法。普华永道美国AI保障业务负责人珍妮弗·科萨尔表示,企业“应该思考的是如何在系统运行过程中创建并保留这些记录——而不是事后再去重建它们”。

当前审计流程中的摩擦点

直到最近,AI审计的重点大多集中在控制幻觉问题以及从生成式AI模型中获取准确结果上。毕马威审计合伙人兼美国AI与创新审计业务负责人迈克·索耶表示:“如今,关注点已扩展到理解AI在具体流程中是如何被使用的。”

这包括了解哪些信息输入到了AI模型中,AI输出结果是如何生成和使用的,以及企业对这些信息的依赖程度如何。“审计人员要寻找的是一条清晰的记录,将技术的具体应用场景和智能体设计与企业用于验证AI判断所采取的流程管理措施联系起来,”索耶说道。

至少,这是目标所在。在许多情况下,审计方面的挑战并非源自模型本身,而是在工作于团队之间流转时才显现出来。技术团队可能了解系统的运作方式,而财务团队则理解某个数字代表的含义——但却没有记录将两者联系起来。其结果就是职责归属模糊不清,这削弱了监督和事件响应的有效性。监控工具标记出的异常情况因为没有团队能够承担全部责任而得不到解决。

AI模型或许运行完美无瑕,但如果企业无法证明这一点,审计仍然会失败。

相关数据揭示了一个令人担忧的情况。Gartner 2026年AI治理调查对697名AI领导者的调查发现,67%的企业领导者认为AI偏见和公平性监控“非常”或“中等程度”困难。输出准确性机制紧随其后,占比66%,负责任AI政策的难度评级则为64%。

从零开始

这并非首席信息官和审计人员不够努力。科努蒂克表示,问题在于目前尚无成熟的操作指南可供参考。包括网络安全领域在内的审计框架和标准,是建立在多年积累的专业经验之上的,但AI特有的控制要素——如漂移、偏见监控、输出准确性——却没有这样的积累优势。

“目前几乎没有什么先例可以用来判断什么样的做法才算是好的,”她说道。

科努蒂克表示,在许多情况下,审计人员最终只是试图将AI强行套入治理、风险与合规(GRC)流程当中。“这就好比在一个超敏捷的世界里使用瀑布式开发流程,因为AI的演进速度甚至比敏捷流程还要快。”

更重要的是,对于生成式AI而言,没有办法准确理解回答是如何形成的,因为从提示词到输出结果之间不存在可追溯的分步路径。“你无法描述我们是如何从A点走到Z点的,”科努蒂克说道,“你只能推断出撰写提示词者的意图与输出结果是相符的。”

采用针对特定AI模型的精细化方法也无法解决这一问题。即便能够控制输入端的每一个变量,仍可能得到不可预测的输出结果和无法验证的结论,这再次削弱了人们对AI审计的信心。

明确该提出哪些问题

一套有效的AI审计框架围绕着一个基本问题展开:企业应该收集并保留多少信息?由于实时推理日志的成本高昂,许多企业只对风险最高的系统进行持续监控,而对其余系统则依赖于特定时间点的审计。这种做法虽然降低了成本,但也导致可见性下降——甚至可能使企业违反外部监管规定。

科努蒂克表示,仅仅关注技术问题的想法是有误导性的。AI可追溯性和数据保留在很大程度上是由法律因素决定的。即使企业针对何为“可辩护”优化了相应阈值,监管处罚仍可能随之而来。更全面的做法是遵循尽职调查的路径,并建立相应的缓解控制措施。

此时问题便变成了:“我们本可以预防这件事吗?如果当时无法预防,那么我们能多快发现并加以补救?”科努蒂克说道。

索耶表示,可辩护的AI建立在四个关键问题之上。“使用了哪些数据?输出结果是如何评估的?由谁负责审核?它又是如何影响最终决策的?”他说,一位能够清晰回答这些问题——并将答案与已识别的风险相对应——的首席信息官,将更有能力支持由AI驱动的决策制定。

围绕责任归属构建框架

为解决因职责归属不清而产生的问题,企业应考虑实施一套明确责任归属的框架。

科萨尔解释说,一套成功的责任框架围绕三层保护机制展开。

当这样的框架得到有效实施后,便能最大限度地减少耗时且成本高昂的取证式审计。通过记录决策、测试、审批、异常情况和变更的清晰审计轨迹,透明度得以提升。

近期已有多家供应商进入这一领域,这表明在未来几年,这可能会成为企业投资不断增长的领域。这些供应商涵盖范围广泛,从提供通用治理框架的审计管理平台,如Optro(原AuditBoard)、TeamMate、Workiva和Archer,到能够实时追踪偏见、准确性和漂移情况的工具,如Credo AI、IBM watsonx.governance和Holistic Ai。

关键在于不要推迟AI审计战略的制定。科萨尔表示,首席信息官往往误以为,由于企业尚未推出大规模的AI框架,因此AI还不属于审计范畴。然而她指出,AI功能正日益频繁地出现在业务团队已经在使用的企业软件当中。因此,现有的控制机制可能已经失效——而如果不进行审计,就无法发现问题所在。

承担起这份责任

科萨尔表示,首席信息官必须不再将审计视为某一时间点上的孤立行为。当企业能够妥善处理好审计这一环节时,他们就能清楚地知道AI在哪些地方运行,识别出使用模式何时发生变化,并能够持续测试和监控那些风险最高的系统。到那时,他们才具备了主动治理AI的能力。

索耶认为,将AI审计准备工作视为一种业务能力而非合规负担至关重要。他表示,秉持这种思维方式的企业能够以更快的速度推进,并以更强的信心进行创新。

对首席信息官而言,机遇正蕴藏其中。科努蒂克认为,首席信息官是AI审计链条中的关键环节——他们的参与程度决定着整个项目的成败。“这正是首席信息官站出来承担责任的大好时机,”她说道,“他们应该积极投身其中。”

© 版权声明

相关文章