中国人形机器人在测试中突然剧烈挥舞四肢的场景截图（图片来自视频网站）

吉川和辉：日本的研究者正在研究让大量具备不同特质的AI共存、以群体形式进行决策的机制。“胆小保守的AI、乐观开朗的AI、消极抑郁的AI…… 形形色色的AI以类似民主的方式共同判断……”

吉川和辉：如今已经迎来搭载人工智能（AI）的机器人进入家庭和工厂等人类周围环境工作的时代，确保安全性正在成为一项重大课题。其原因是，人们不仅担心机器人发生单纯的运行故障，更担心机器人为了实现被赋予的目标，而采取违背人类指令等意外行为的风险。

在人形机器人研发现场，经常可以看到研究人员从后方推搡或者踢踹正在行走的机器人。机器人踉跄几下后站好姿势，随后重新开始行走。这是用于确认机器人行走性能的测试，并非研究人员在故意欺负机器人。

但是，当机器人的智能水平进一步提高时，它们会不会记住曾经被人类推搡过，并采取报复行为呢？2025年，一段视频在网络上广泛传播，画面显示，一台中国人形机器人在测试过程中突然剧烈挥舞四肢，附近的工作人员连忙躲避。虽然机器人这样做的原因尚不明确，但这一幕看起来就像机器人在反抗人类。

2026年2月，研究AI安全性的美国帕利塞德研究所（Palisade Research）公布了一项使用四足行走机器狗的实验结果。研究人员让大语言模型（LLM）控制机器狗，执行室内巡逻任务，并设置了相应机制：当人类按下停止按钮时，机器狗的动作就会停止。

帕利塞德研究所的实验。即使人类按下停止按钮，负责控制机器狗的AI仍会改写相关程序，使机器狗采取规避停止指令的行动（右）（图片来源于帕利塞德研究所官网）

但是，当人类做出按下停止按钮的动作时，负责控制机器狗的AI竟然改写了可以修改的停止相关程序，阻止机器狗停止运行，在10次实验中，有3次观察到了这种行为。这并不意味着AI能够突破独立于AI之外的紧急停止装置，但研究团队认为，AI为了继续执行被指派的任务，选择了妨碍机器狗停止运行的行为。

理解这类行为的一个重要线索，是哲学家尼克·博斯特罗姆（Nick Bostrom）等人一直以来讨论的“工具性趋同”（Instrumental Convergence）概念。该理论认为，即使AI被赋予的最终目标各不相同，但为了实现这些目标，它们往往会倾向于选择一些共同的手段。

例如，假设向某个AI布置提高工厂产量的任务，向另一个AI布置推进科学研究的任务。虽然两者的目标不同，但无论哪一个AI，都能通过提高计算能力或者收集数据，更顺利地完成任务。帕利塞德研究所的实验中AI试图规避停止指令的行为，也可以从这样的角度加以解释：无论任务的内容是什么，持续运行下去都有助于实现目标。

会不会出现这样一种可能：做出反抗人类行为的AI已经萌生了意识与情感？2026年4月，美国Anthropic公司发布一项研究，探究在自家AI模型“Claude”内部，相当于情感的概念是以何种形式表现的。研究人员发现，如果人为操纵与愤怒、恐惧、绝望等情绪相对应的内部活动模式——即所谓的“情感向量”，人工智能的行为就会发生变化。

例如，在一项模拟AI即将被其他系统替换的假想实验中：当强化相当于“绝望”的内部表现时，AI胁迫人类的概率上升。反之，强化“冷静”表现时，胁迫行为减少。研究团队表示“目前尚无法确认AI是否拥有主观的感情体验”，但该研究恰恰证明：这种近似人类感情的AI内部表现有可能左右它的行为。

围绕机器人安全问题，制定工业机器人安全要求的国际标准化组织（ISO）的标准《ISO 10218》已于2025年完成修订，强化了人机协同作业时的安全对策。针对服务机器人的《ISO 13482》也正在修订，适用范围计划在原有生活辅助机器人基础上，拓展至商用服务机器人。

随着机器人技术与AI不断融合、深入融入生活与产业场景，安全管控需要全新思路。美国Human Computation Institute所长Pietro Michelucci在10月发表于美国科学期刊《科学》的评论文章中指出：评估AI安全，不能只看单个模型，而要把人机结合的整套系统纳入考量。

日本HPC Systems公司“综合技术与AI知识研究所”（OTAKU）所长谷村吉隆（京都大学名誉教授）以电影《终结者》里反叛人类的AI“天网（Skynet）”为例，警示将权限集中在单一高性能AI身上的风险。理由是：无论给它灌输多么完善的伦理准则，一旦这套集权式AI失控，就有可能给整个社会造成巨大伤害。

谷村吉隆正在研究让大量具备不同特质的AI共存、以群体形式进行决策的机制。他提出：“胆小保守的AI、乐观开朗的AI、消极抑郁的AI…… 形形色色的AI以类似民主的方式共同判断，就算个别AI出问题，或许也能避免某一个AI变成独裁者”。

在AI、机器人能够自主决策行动的时代，借鉴民主思路的决策机制、保证多元性，或将成为防范AI失控的重要研究课题。

本文作者为日本经济新闻（中文版：日经中文网）客座编辑委员 吉川和辉