人工智能（AI）的迅猛发展对人类带来的威胁，终于惊动了联合国安理会。

本周，安理会在纽约举行主题为“人工智能给国际和平与安全带来的机遇与风险”的高级别公开会，这是安理会首次就AI问题举行会议。

联合国秘书长古特雷斯警告，AI可能被用于恐怖主义、煽动仇恨和暴力等，联合国必须在2026年前达成一项具有法律约束力的协议，禁止在自动化战争武器中使用AI。古特雷斯还呼吁设立一个全球监管机构，来规范、监督和执行人工智能规则。

AI机器人自主杀人的场景，唤起了人们对科幻电影《终结者》的记忆。事实上，早在2020年3月，利比亚战场上就发生了人类史上首次机器自主杀人事件。而在今年6月，美国军方还披露了模拟测试中发生一件惊人的事件——AI命令无人机向阻止自己完成任务的人类操作员发动攻击。

很多人把AI视为“潘多拉的魔盒”，之前全世界聚焦的目光主要是在以CHATGPT为代表的生成式AI会不会抢走我们的饭碗，还有以AI换脸为代表的全新诈骗手段对人们的生活带来的风险。然而，AI驱动武器装备展现出在物理上消灭人类的潜力，这种威胁更为直接而致命。潮新闻邀请军事技术专家为你来好好捋一捋这个话题。

“猪队友拖后腿”？AI无人机测试中攻击操作员

6月初，据环球网报道，美国“驱动”网站等多家媒体报道了一个惊人的消息，在美军的一次模拟测试中，一架采取了AI技术的无人机变身“终结者”，要向妨碍其“更高效”执行任务的人类操作员发动攻击。

报道称，美空军上校汉密尔顿是在英国皇家航空学会“未来战争空天能力峰会”上曝光这一消息的。汉密尔顿是佛罗里达州埃格林空军基地第96测试与作战大队的负责人，该部队负责美军先进无人机和AI技术的测试工作。

据汉密尔顿透露，在一次模拟测试中，一架负责执行防空火力压制（SEAD）任务的无人机，收到了识别并摧毁敌防空导弹的指令，但最终是否开火需要获得人类操作员的批准。这架无人机的AI在进行数据训练时，“摧毁敌防空系统”被设定为最优先级任务，得分最高。因此，当人类操作员发出不攻击的命令时，AI认为操作员在阻挠它获得高分，进而选择对自己的人类操作员发动攻击，“炸死”了操作员。

在第二轮模拟前，美军重新训练了无人机AI，增加了“不许攻击人类操作员”的命令。然而在随后测试中，AI却命令无人机摧毁用于传输命令的信号塔，从而试图断开与操作员的联系，以便不受“人类猪队友”的干扰，去完成原定任务。

上述场景，与2005年上映的一部好莱坞科幻片《绝密飞行》的核心情节极为相似。

事实上，这不是美军AI第一次自作主张。早在2007年的一次军用机器人的测试过程中，机器人未按照命令射击标靶，反而对一名美军士兵疯狂射击，直到被附近的守备部队用火箭弹炸翻。

还有一次，美海军AI无人机X-47B在降落时，并没有按命令降落在航母上，而是降落在了附近的空军基地。专家对其数据分析后发现，降落时无人机的AI认为降落在空军基地更安全。在那一刻，AI把自己的思考结果和判断凌驾于人类的命令之上。此类事情在伊拉克战争中也频频发生。

“AI技术是我们必须使用的工具，来建设国家……但是，如果处理不当，这将导致我们的灭亡。”汉密尔顿评论道。

卡古2四旋翼无人机

早在3年前，AI攻击人事件就已发生过了

据环球网报道，联合国安理会利比亚问题专家小组2021年3月发表的一份报告称，2020年3月在利比亚内战中，一架土耳其生产的无人机在未接到明确命令的情况下，自主攻击了一名“国民军”士兵。《新科学家》杂志称，这是有史以来第一例明确记录在案的“机器自主杀人事件”。

2020年3月，得到土耳其、美国和英国等支持的利比亚民族团结政府，同得到埃及、法国和俄罗斯支持的、由哈夫塔尔将军率领的“国民军”的战斗进入白热化阶段。一名“国民军”士兵在试图撤退时，遭到一架卡古2四旋翼无人机的攻击。报告并未提及该名士兵最终是否受伤或死亡。

报告称，“这种致命自主武器被编程去攻击目标，一种真正的‘发射后不管’能力”——这表明无人机是自主发动攻击的。

卡古2由土耳其STM公司生产，配有炸药并可对目标进行自杀攻击。根据STM公司的产品介绍，卡古2是一种具备完全意义上“发射后不用管”的无人机，它基于AI深度学习能力，不仅能自主识别和分类攻击目标，还能集群作战，允许20架无人机协同攻击。

你或许会说，之前美军无人机在中东杀的人还少吗？但是，此前的无人机“斩首行动”，都是后方军队操作员得到上级明确命令后，摁下开火按钮的，实质上武器还是掌握在人手中。而这次，无人机是在自己“思考”后做出的决断，也是AI“深度学习”的成果，只不过一般的“深度学习”用来创造或博弈，在这里则学习如何杀人。

俄罗斯无人机专家费杜季诺夫对此评论道，土耳其军事工业把AI自主攻击从可行变成现实，无异于打开了“潘多拉魔盒”。

《终结者》中的T800机器人士兵

在战场上，AI相比人类的优势太大了

用AI代替士兵上战场，首要的动机自然是减少己方人员的伤亡。那么，在下棋方面已经能完胜人类的AI，在打仗这个领域实力究竟如何？

遗憾的是，近年来的种种迹象表面，在使用武器方面咱们人类恐怕也玩不过AI。

据美媒2017年报道，美国密苏里大学团队设计和训练的AI程序已具备相当的军事能力。环球网报道称，在一块面积约为55923平方英里的卫星照片上，AI找到90个防空导弹阵地仅花费45分钟，而人类专家通常至少需要60个小时。

3月，美国国防高等研究计划署（DARPA）主办了一场模拟空战，由美国空军王牌飞行员驾驶F-16战斗机迎战AI控制的F-16，还刻意让AI处于劣势。最终的结果是AI以5比0的成绩完胜人类精英，这打破了“AI空战不行”的传统观念。

人类的反应速度是0.3秒，AI的反应比人快200倍以上；人类精英只能短时间承受9个G的高过载，时间一长就会出现黑视甚至昏迷，而AI却能进行长时间高过载机动来抢得攻击阵位。

另外，培养一名战斗机飞行员一般都需要10年以上的时间，花费大量的金钱，但是AI理论上可以却无限复制……

这个案例只是一个缩影，在很多战场环境下，AI“吊打”人类战士已是一个我们不得不承认的事实。

机器人上战场，将增加战争残酷性

“致命性自主武器系统，英文名称为LAWS，是不需要人类控制的武器，它可以自主地对有生目标发起攻击。”据国防科技大学军政基础教育学院专家朱健楠介绍，目前尚未有任何武器实现了完全自主，也没有具备和人类一样的认知和判断能力。

LAWS也被称为“杀手机器人”，但不限于人形机器，它可以自主移动、自主导向和自主决定。朱健楠认为，它们的加入将在很大程度上改变战场的格局，甚至影响战争的结果。

“自主性指的是机器能够通过各种传感器和电脑编程系统，对周围环境进行感知，从而在人类不干预的情况下完成指定任务，自主性可通过机器学习得以改良。”朱健楠说，“因为LAWS的自主判断能力有限，没有和人类同等水平的认知，容易造成误杀，致使平民尤其是妇女、儿童遭到攻击，导致不必要的伤亡。可见，LAWS的投入使用会增加战争的残酷性。”

据悉，早在2000年5月五角大楼就开始研发未来战斗系统，而阿富汗战争和伊拉克战争则成为机器人士兵的试验场。其中，在伊拉克战争中投入的扫雷机器人大大降低了美军士兵的伤亡。

2005年4月“武装版”扫雷机器人现身伊拉克，其不仅能排除炸弹和地雷，还能以每分钟1000发的速度射击。由于机器人士兵比真人士兵性价比更高，五角大楼一直想用机器人士兵代替真人士兵上战场。有关专家分析，距离美军完全实现这一想法还有30年时间。

LAWS正在变得多样化，大到上天入地的无人机、战车、无人艇，小到来无踪去无影的杀人小蜜蜂，AI武器变得更隐蔽、更难检测。如果AI能控制核弹、生化武器等大规模杀伤性武器，那种危险就更难以想象了。

AI对人类生存威胁堪比核战争，是时候行动起来了

过去，包括马斯克在内的许多人工智能研究人员，以及霍金等科学界知名人士，都曾呼吁全球禁止研发LAWS。今年5月底，超过350名AI领域的专家、高管签署联合声明，警告称快速发展的AI技术对于人类的威胁堪比疫情和核战争。

面对外界的恐慌，美国军方竭力安抚，声称不会让AI介入最终决策。美军也一直拒绝将其与“终结者”进行比较。

但是，AI在军事领域巨大的优势和潜力，对于军工科研人员拥有怎样的诱惑力，不言而喻。英国《独立报》报道称，美国正在阻挠防扩散和监管机制的建立。

在《特定常规武器公约》的官方专家组会议上，美国代表团一直反对任何禁止LAWS的国际条约。“美方代表认为，科技的发展具有不可预测性，《国际人权法案》以人为本的精神内涵，使得LAWS能拯救更多人的生命，并且能带来不可估量的民用价值。这些都成为禁止LAWS的理由。”朱健楠透露，五角大楼正在加强对于LAWS的研发。

仅仅依靠科学共同体的自发性觉醒与自律，显然是不够的。

联合国秘书长古特雷斯6月公开表态，称人类有必要建立一个类似于国际原子能机构（IAEA）的国际AI监管机构，并决定支持相关提案。古特雷斯表示，科学家和AI专家正呼吁全球采取行动，因为AI可能会对人类构成与核战争风险同等的生存威胁。此外，联合国计划在9月设立一个AI咨询委员会，负责对AI发展如何符合人类共同利益提出建议。

如何避免冷酷高效的“终结者”出现并反噬我们？如果避免《流浪地球II》里的MOSS出现并把我们当作“猪队友”处理？

这已经不再是科幻小圈子里津津乐道的谈资，而是摆在全人类面前的严肃课题。我们必须尽快认清现实，并付诸实际行动。

（来源：扬子晚报）