AI生物安全新挑战：开放权重模型风险如何防控

人工智能时代的生物安全：与史蒂芙·盖拉的问答

史蒂芙·盖拉是人工智能、安全与生物技术领域的专家。她在兰德公司的研究工作所要解答的问题，可能是当前人工智能时代最具重大意义的问题之一：我们如何才能充分利用人工智能在科学与医学领域的潜力，同时确保它永远不会被用来制造生物武器？

她的职业生涯始于实验室。她接受过分子生物学的专业训练，最早的研究方向是癌症预防。但她从事人工智能安全相关工作的时间，远早于“大语言模型”这个词成为家喻户晓的说法之前。她现在负责领导兰德公司在人工智能与生物技术交叉领域的研究项目组合。

在最近的一项研究中，盖拉和一个研究团队测试了所谓的“开放权重”人工智能模型。这类模型会公开发布，供任何人下载、运行和修改。相比Claude或ChatGPT等托管模型，这使它们更加透明、更易于获取。但这也带来了被滥用的隐患。

你们在关于开放权重模型和生物安全风险的研究中发现了什么？

首先需要说明的是，这些开放权重模型是人工智能生态系统中的核心组成部分。它们支持开放研究，让组织或个人能够部署自己的模型，而不必依赖第三方。但也存在一些潜在的弊端。一旦这些模型发布出去，开发者就无法再对其实施安全管控，底层模型可以被定制用于有益或潜在有害的目的。

我们评估了几个不同的开放权重模型。我们发现，它们的能力其实与前沿模型相当接近。但我们也发现，篡改这些模型以移除其安全防护措施其实相当简单，成本也很低。获取一个能力很强的开放权重模型，然后移除那些让它拒绝回答某些问题的安全防护机制，许多有能力的行为者都能做到。

这是否意味着有人可以利用这些模型来帮助策划生物攻击？

从模型中获取信息只是实施攻击这条漫长路径中的一小步。恶意行为者仍然需要获取相关材料；设计、构建并测试生物制剂；将其武器化；然后再将其释放出去。在这整条路径上，存在着技术、操作和动机层面的多重障碍。

我们面临的一个真正挑战是，很难评估人工智能模型究竟能提供多大帮助。它会激发某人实施伤害的动机吗？它能在技术层面提供帮助，比如使用合适的工具来设计和增强某种生物制剂吗？我们都能认同，人们不应该能够利用人工智能模型来研发生物武器。但要测试这种端到端的风险真的很难。因此，我们依靠我们团队和其他团队构建的这些“快照式”评估，来了解恶意行为者在何处、以何种方式可能利用人工智能。

人工智能开发者可以采取哪些实际措施来降低风险？

理想情况下，应该构建具有抗篡改能力的安全防护机制。目前已有一些相关研究工作，但尚不清楚我们是否能够真正实现这一目标。仔细想想，闭源权重模型其实也并非完全无法被篡改。我们始终要假设，任何单一的干预措施都会有办法被绕过。

那么，一个有效的生物安全策略应该是什么样的？

你需要在整条路径上制造阻力。我们的团队研究了这个问题，最近开发出了一套多层次的策略，用以防止大规模的流行病级生物攻击。

这套策略包含四大防御理论。第一是通过更强的模型安全防护和受控访问计划来管理信息获取；第二是防止恶意行为者获取制造生物武器所需的材料，比如DNA和RNA，这可以通过基因合成筛查等方式实现；第三是通过实时监测，及早发现滥用行为；第四是具备快速响应和溯源攻击的能力，以此从源头上遏制恶意行为者的攻击意图。

模型安全防护机制可能能够阻止单独行动的个人，但仅凭这一点，无法阻止一个拥有生物武器计划的强大国家。而早期检测、早期溯源——这种威慑层面的措施——或许能够做到。这正是难点所在。永远不会存在能够阻止所有威胁的单一万能解决方案。我们需要所有这些层面协同发挥作用。

模型安全防护机制可能能够阻止单独行动的个人，但仅凭这一点，无法阻止一个拥有生物武器计划的强大国家。

你们如何在不扼杀合法研究的前提下，防止恶意使用？

生物学本身就是一个具有两用性质的领域。可能造成伤害的同样的人工智能能力，也可能对开发医学创新极具价值。这里的目标是受控访问，而不是一刀切地全面禁止。关键是要精确界定谁是合法用户，然后确保这些人能够获得他们所需的最强大的工具和数据。

这方面已有一些有用的先例。例如，针对人类基因组数据的隐私和安全问题，已经建立了相应的受控访问框架。这既不会阻碍合法研究，也不会让数据被任意公开从而遭到滥用。兰德公司的部分理念是，科学界需要参与到解决方案的制定过程中来。人工智能安全防护措施只有在能够保留有益研究的实际效用的前提下，才能真正发挥作用。

在你的职业生涯中，是否有某个时刻促使你走上了现在这条道路？

几年前，我曾是一个小型联邦团队的成员，参与对人工智能模型进行红队测试。我当时在观察这些模型回答关于生物攻击的问题，它们提供的信息非常有创意、非常有用，表达流畜，而且自信满满。我记得那一刻我深受触动：我们需要投入更多精力来监测和追踪这些风险。

我的职业生涯最初是作为一名癌症生物学家开始的。我一次又一次地遇到这样的现实：我们投入多年时间和资源来研发治疗方法，但在从源头上预防癌症方面投入的却远远不够。因此，专注于预防、提前应对风险而不是等到事后仓促补救的这种理念，一直伴随着我的整个职业生涯。

Q&A

Q1：什么是开放权重人工智能模型？它和封闭模型有什么区别？

A：开放权重模型是指公开发布、供任何人下载、运行和修改的人工智能模型，相比Claude或ChatGPT等托管模型更加透明易用。但一旦发布，开发者就无法再对其实施安全管控，模型可能被定制用于有害目的。

Q2：开放权重模型是否存在被用于生物安全威胁的风险？

A：研究发现，开放权重模型的能力与前沿模型相当，而移除其安全防护机制的成本很低、难度不高。但从模型获取信息只是实施生物攻击漫长路径中的一小步，还需要克服获取材料、设计制造等多重技术与操作障碍。

Q3：如何构建有效的生物安全防御策略？

A：有效策略需要在攻击路径的各个环节制造阻力，包括四个层面：管理信息获取、防止获取生物材料、早期检测滥用行为，以及快速响应和溯源攻击以形成威慑，这些层面需要协同发挥作用，没有单一万能方案。