终结世界的决定很快就会落入人工智能之手吗？

从多年前人工智能开始进入应用范围的那一刻起，人们就对其在军事方面的使用产生了真正的担忧，然而，军队并没有停止竞相将人工智能融入到工作的各个方面。

但当人工智能及其复杂的算法满足发射核武器的决定时，风险率正在加速上升，其结果可能是一场全球性的灾难，而这种风险代价高昂。在这篇长文中，《大西洋月刊》的罗斯·安德森解释了这一危险的一步如何比我们想象的更接近我们。

正文

自原子弹问世以来，没有任何技术能像人工智能那样引发世界末日般的想象和恐惧。一旦像ChatGPT这样的人工智能系统在 2023 年 11 月开始展现逻辑推理能力，互联网上就开始充斥着世界末日场景。

虽然这些场景大部分都是虚构的，但这促使我们想象，如果人工智能对世界有了不同的理解，与人类创造者所看到的形象相去甚远，事情会变得多么糟糕，然而，有一种情况不需要天马行空的想象：人工智能逐渐融入当今最具颠覆性的技术中。

世界主要军事强国已开始竞相通过赋予算法控制某些武器或无人机群的能力，在人工智能和战争之间建立联系，而不赋予人工智能在制定重大军事战略或参加高级军事领导会议方面的作用。

但在军事领导力中加强人工智能使用的想法具有诱惑力，就像过去世界被核军备竞赛想法所吸引一样。这种转变的速度取决于技术进步的速度，技术似乎正在快速发展，而其应用程度取决于我们作为人类的洞察力，以及我们集体自我约束的行动能力。

在此背景下，斯坦福大学胡佛研究所战争游戏和危机模拟项目主任杰奎琳·施奈德最近提到了她在 2018 年创建的一款游戏，该游戏模拟了快速发展的核冲突，前国家元首、外交部长和高级官员等知名人物已玩过这场游戏 115次，由于核战争迫在眉睫的想法在历史上很少见，施奈德的游戏提供了一个难得的机会，让我们了解人们如何在涉及最高人类风险的困难环境下做出决策。

故事是这样的：在地区冲突升级并演变成一场激烈的冲突后，一位总统和他的政府成员被紧急转移到西翼地下室，接受非常危险的媒体发布会，敌人开始考虑发动核打击。与此同时，行动室内气氛紧张，报复性打击的准备工作立即开始，但很快部长会议就收到了令人不安的信息，因为事实证明，敌人已研制出了一种新的电子武器。最近的情报信息表明，这种武器能够穿透连接总统与其核力量的通信系统，这意味着任何开火命令都可能无法到达负责执行这些命令的军官手中。

正如我们将看到的情景，这种情况下可用的选项并不是好兆头。一些玩家将发射核导弹的权力委托给导弹基地的官员，以便他们决定是否以核反击来回应，这是一个可怕的选择。但最让杰奎琳·施奈德烦恼的是其他玩家以惊人的频率遵循的另一种策略，很多时候，担心失去完全控制的玩家都表达了完全自动化核发射能力的愿望，他们捍卫了赋予算法确定核反应适当时机能力的想法，这样只有人工智能才能决定是否进行核对抗。

事实上，施奈德的游戏设计得很短，压力也很大，玩家关于自动化的指令，并不像工程师那样详细，目前尚不清楚具体如何实施，也不清楚是否可以在危机恶化之前及时准备好任何自动化系统，但玩家倾向于自动化或想要依赖人工智能，即使没有细节，这一事实本身就揭示了他们的思维或态度的一些重要信息。施奈德说：“人们对这项技术过于乐观，而我担心的是，领导者越来越愿意使用人工智能来减少不确定性，尽管他们没有意识到这些算法在多大程度上涉及不确定的概率。”

人工智能给人一种极其准确的错觉，特别是与容易犯错误且决策不稳定的人类相比，然而，当今最先进的人工智能系统被认为是黑匣子，这意味着我们无法理解它们是如何工作的。在复杂、高风险的对抗情况下，人工智能关于获胜的概念可能令人困惑或不清楚，而且可能与人类的理解相悖。

如果我们从更深层次、更重要的角度思考问题，我们会意识到，人工智能可能无法理解罗纳德·里根（美国第40任总统）和米哈伊尔·戈尔巴乔夫（苏联最后一位领导人）的意思，他们说：“核战争不可能获胜。”

毫无疑问，历史上有过因核战争而导致人类灭绝的自动化决策的先例，二战后，美国和苏联成为两个超级大国，似乎正在走向第三次世界大战。但这两个国家通过建立一个基于“确保相互毁灭”的系统避免了这种命运，这是一个基于相互威慑原则的体系，依赖于一种微妙而可怕的平衡，但只要任何一方取得新的技术进步，这种平衡就可能被动摇。在冷战的最后几十年，苏联领导人担心他们应对美国核打击的能力可能不确定或不可靠（也就是说，这种能力有可能在需要时无法发挥作用），因此，他们开发了一个名为“死亡之手”的计划（即使苏联领导层失去反应能力也能确保自动核打击的系统）。

苏联“死亡之手”的工作原理非常简单，几乎可以被认为是一种算法。如果该系统在核危机期间被激活，如果莫斯科郊外的指挥和控制中心停止接收来自克里姆林宫的通信，一台特殊机器将开始检查首都上空，如果这台机器检测到核爆炸产生的明亮闪光和辐射，所有剩余的导弹都将向美国发射。尽管俄罗斯对该系统持保留态度，但该国战略导弹部队司令在2011年宣布，该系统仍处于待命状态，可在紧急情况下使用，并像在真实战斗情况下一样运行。2018年，这些部队的一名前指挥官表示，该系统已得到“改进”。

将人工智能推向指挥链的顶端

2019 年，空军理工学院副院长柯蒂斯·麦吉芬和路易斯安那理工学院研究与教育主任亚当·路德撰写了一篇文章，指出新技术缩短了从检测到潜在攻击到总统下令实施报复性打击的最后时刻之间的时间间隔。在他们看来，如果这个时间窗口进一步缩短，恐怕没有哪个国家能够做出反击，因此，他们认为解决方案是通过人工智能支持核威慑，可以通过计算速度做出发射决策。

麦吉芬和路德关于缩短这一决定时间的说法是正确的。在冷战初期，轰炸机（例如在广岛上空使用的轰炸机）是首次攻击的首选方法。这些飞机在苏联和美国之间飞行需要很长时间，而且由于它们是在人类指挥下，如果情况发生变化，它们可能会被命令返回并取消攻击，因此，美国人在加拿大北极地区、格陵兰岛和冰岛建立了一系列雷达站，以便总统可以在美国城市上空发生核爆炸之前收到一个小时或更长时间的警告。这段时间足以与克里姆林宫沟通并尝试击落轰炸机，如果尝试不成功，也有足够的时间发出完整的响应命令。

但 1958 年，苏联成功地缩短了洲际导弹（ICBM）应对核攻击的时间。十年之内，数百架飞机已锚定在北美和欧亚大陆的底部，令人惊讶的是，其中任何一架飞机都可以在 30 分钟内飞越北半球。为了利用每一分钟做出反应，两个超级大国都发射了卫星群，这些卫星经过编程可以探测导弹发射所产生的独特红外辐射。最终，这些卫星能够准确跟踪导弹并确定其路径。

20世纪70年代发展出核潜艇后，数百枚其他配备弹头的导弹现在能够在世界海洋上漫游并更接近目标，这将决策时间缩短了一半，达到 15 分钟或更短时间。即使主要核大国从未成功开发出新的核导弹技术，15 分钟或更短的时间对于人类做出明智的决定来说仍然是极短的时间。

然而，这些国家正在开发新的导弹技术，包括高超音速导弹（能够以超过音速的速度行进的武器），俄罗斯已经开始在乌克兰使用这种导弹进行快速打击并避开导弹防御系统。另一方面，俄罗斯和中国都在寻求未来使用这些高超音速导弹来携带核弹头，这些技术有可能将核决策时间再次缩短一半。

自行发起致命打击

突然发生核袭击仍然是一个巨大的风险，因为一些国家，即使在第一次受到攻击后，也可能保留反应能力，特别是通过其坚不可摧的核潜艇。然而，一些核国家领导人可能会鲁莽行事，尤其是在可用于决定核打击的时间已经减少之后，这将使“斩首”攻击（即摧毁领导层）对他们来说更具诱惑力，因此，各国可能会考虑建立一个“死亡之手”系统，以确保即使指挥部被摧毁也能进行自动核反应。麦吉芬和路德的文章发表后，美国国防部联合人工智能中心主任约翰·沙纳汉中将被问及对核武器自动化的看法，他的回答是，尽管他坚决支持在军事中使用人工智能，但核武器控制是他唯一犹豫不决的领域。

自2021年初以来已有开发人工智能的项目，此后，各国一直在寻求增加对人工智能的投入。尽管并非所有这些项目都为人所知，但其中一些机器人力量的特征已开始变得清晰，例如，未来的坦克将能够自行检测威胁，因此，操作员只需触摸屏幕上的突出显示位置即可消除潜在的攻击者。F-16 战机还将包括帮助飞行员进行复杂空中机动的算法，这使他们能够专注于发射武器并与成群的自主无人机进行协调。

同样，一些国家决定更新其政策，明确将允许开发基于人工智能、能够独立于人类开火的武器，这种能力会引发重大的道德问题。但即使这些系统本质上也将充当野战士兵，也就是说，它们将在战场上保持在人类的指挥之下。然而，人工智能在指挥战斗和战略规划功能中的作用仍然仅限于使用智能算法，这些算法从水下麦克风、地面雷达站和侦察卫星等数百个传感器收集和汇总大量数据。

在不久的将来，人工智能将不再需要控制部队行动或发起协同攻击，但由于人工智能武器的出现，战争的步伐可能会加快并变得更加复杂。如果军事领导人在跟上敌人的人工智能方面遇到困难，人工智能可能能够连续不间断地理解和分析包含数百万个变量的动态战略形势，或者如果国防部担心这种情况，那么，人工智能可能在军事决策中发挥重要作用。

诚然，虽然人工智能的巨大处理能力已经在早期预警系统中得到有效利用，但自动化可能会带来严重的风险。例如，1983 年，苏联预警系统将美国中西部上空闪烁的云层误解为来袭导弹，他们成功避免了这场核灾难，多亏了苏联上校斯坦尼斯拉夫·彼得罗夫，他内心感觉这是一场虚惊，并根据这种感觉采取了行动。尽管当今的计算机视觉算法更加先进，但其工作机制仍然有些模糊。2018 年，人工智能研究人员证明，对动物图像进行轻微修改就可以欺骗神经网络，将熊猫分类为长臂猿。这引发了人们的担忧，如果人工智能遇到训练数据中未包含的异常天气现象，它会如何反应，因为它可能“想象”即将到来的攻击并发出错误警报。

生成清晰的危机文本叙述

随着大型语言模型的不断发展，人工智能最终可能会被要求为快速演变的危机（包括核危机）生成清晰的文本叙述。一旦这些叙述超出了有关附近导弹数量和位置的简单信息，它们将变得更像是顾问的解释性和有说服力的陈述。由于其客观或中立的性质、丰富的信息和持久的可靠性，人工智能可能被证明是一个优秀的顾问。这是希望，因为即使不要求其提出应对建议，其所使用的呈现信息的风格无疑会影响总统的决定。

但如果不具备核武器威力的人工智能在应对常规战争方面获得足够的行动自由，它可能会采取某种伎俩，无意中导致冲突激化，甚至升级到可能导致在恐慌状态下发射核导弹的程度，或者，如果它相信使用核武器可以实现其指定的目标，它可能会故意设计有利于核发射的战场局势。人工智能的步骤可能是不可预测的，就像 OpenAI 设计的一个简单的指挥官一样，它在战斗模拟游戏 Dota 2 的修改版中击败了人类玩家，使用了其从未想到的策略（值得注意的是，这位领导者被证明愿意牺牲自己的战士）。

这些牵强的设想不会很快成为现实，如今，人们对人工智能持怀疑态度，如果它不断增加的使用导致股市崩盘等危机，那么至少在一段时间内，其更广泛使用的前景可能会下降。但如果我们假设人工智能在克服一些最初的障碍后几年甚至几十年内表现良好，那么，未来它可能会被允许在危机期间行使核指挥和控制权，正如施奈德兵棋推演的一些参与者所设想的那样。在某个时候，新总统可能会在上任第一天就决定对命令和控制算法进行预编程，如果攻击爆发，它可能使人工智能能够根据对情况的评估即兴发挥并采取行动。

随后的情况将取决于人工智能在核对抗背景下如何理解其目标，训练人工智能反复玩不同游戏的研究人员遇到了这个问题的一个版本，因为人工智能的“胜利”概念可能是模糊的。在某些游戏中，人工智能会以可预测的方式行事，直到环境发生轻微变化，这可能会突然导致其完全改变策略。

例如，人工智能收到了一个游戏的指令，在该游戏中，玩家需要寻找钥匙来打开装满宝藏的箱子并获得奖励。人工智能实际上成功地执行了这项任务，直到工程师开始改变游戏环境，使钥匙的数量变得比盒子的数量多。在这次改变之后，人工智能开始收集钥匙，尽管其中很多都是无用的，并且不太专注于打开盒子。出于同样的原因，核武器或防御系统的任何新创新都可能导致类似的彻底变革。

任何国家都会将人工智能引入其核指挥与控制系统，这将促使其他国家采取同样的做法，哪怕只是为了保持核大国的平衡和相互威慑。在同一背景下，美国汉普郡学院全球和平与安全研究教授迈克尔·克莱尔警告说，多个国家依靠人工智能做出核发射决定可能会导致“闪电战”。

想象一下，美国人工智能将南海潜艇的音频监视误解为警告核攻击的动作，这将促使其准备反击，然后，中国人工智能就会注意到这一举动并开始准备发射台，这导致一系列升级，最终导致灾难性的核交火。

历史随着限制核武器扩散的条约的衰落而重新开始，例如，其中一些条约已经到期，而另一些条约则随着美国和俄罗斯关系的恶化而失效，两国现在比几代人以来都更接近全面战争。 2023 年 2 月 21 日，乔·拜登访问基辅后不到 24 小时，弗拉基米尔·普京宣布俄罗斯暂停参加《新削减战略武器条约》，该条约是现有的最后一项限制核武库的条约。

与此同时，中国似乎拥有足够的导弹来摧毁美国所有主要城市，据说，在看到核武器如何帮助俄罗斯在乌克兰战争期间增强其影响力后，其将军们更加致力于其核武库。我们看到，相互威慑不再局限于两方，而是包括三方，三方都试图开发可能破坏威慑逻辑的技术。

如果未来实现和平，我们可以从核威慑条约中学习，重点是将控制权归还给人类，我们应该寻求一项防止人工智能控制核武器的全球协议。尽管有些场景看起来有些牵强，但在人工智能在战场上取得巨大成功并且使用它的诱惑变得难以抗拒之前，现在考虑如何避免它们很重要。

但此类协议总是可能被违反，而且监督这些协议的遵守情况也很困难，因为人工智能的发展不需要导弹仓库或铀浓缩设施等显着设施。然而，该协议可能有助于对在核控制中使用人工智能产生强烈的禁忌，而这样的禁忌可能是我们能实现的最好的结果。我们不能接受部署自动化核武库的想法，这会让我们因技术故障而容易遭受灾难。如果错误一定会导致核战争，至少让它们是人为错误，而不是技术错误，依靠人工智能来做出如此重要的决定将是对机器的彻底投降，也是对人类做出自己决定性决定的权利的放弃。