AI导读：

2025世界人工智能大会开幕，诺贝尔奖得主辛顿探讨AI优势与潜在失控风险。他提出AI可能超越人类并操纵人类，需找到训练AI不伤害人类的方法，并提议建立AI安全机构国际社群。

21世纪经济报道记者吴斌上海报道

7月26日，2025世界人工智能大会暨人工智能全球治理高级别会议开幕，诺贝尔奖、图灵奖得主杰弗里·辛顿（Geoffrey Hinton）探讨了AI的优势和未来潜在的“失控”风险。

一方面，人脑具有自己的优势。辛顿表示，人脑只需30瓦特就能运转，神经元连接达数万亿个，无需花费大量资金制造完全相同的硬件。但模拟模型间的知识转移效率极低，生物计算功耗低，知识分享难。

另一方面，软件能“永生”，还有低功耗优势。若能源和计算成本低廉，情况会好很多，但这也让辛顿感到担忧：几乎所有专家都认为，我们会创造出比人类更智能的AI。人类很难想象AI超越人类的场景，而AI智能体已能帮我们完成任务，它们能拷贝自身、评估子目标，还会为了生存和完成目标而寻求更多控制权。

有人认为可以在AI变得过强时关掉它们，但辛顿表示，这并不现实。AI最终可能会操纵人类，劝说控制机器的人不要关闭它们。这就像把老虎当宠物，幼虎很可爱，但长大后可能伤人。

面对 AI，辛顿认为只有两个选择：要么训练它永远不伤害人类，要么“消灭”它。但 AI 在医疗、教育、气候变化、新材料等领域作用巨大，无法消除它。即便一个国家放弃 AI，其他国家也不会。因此，若想让人类生存，必须找到训练AI不伤害人类的方法。

辛顿提醒，各国在网络攻击、致命武器、虚假信息操纵等领域的合作难度较大，但在“人类掌控世界”这一目标上，各国存在共识：若有国家找到防止AI操控世界的方法，一定会愿意分享。

因此他提议，全球主要国家或AI大国应建立一个由AI安全机构组成的国际社群，研究如何训练高智能AI向善。各国可在自身主权范围内研究，再分享成果。尽管目前还不知道具体怎么做，但这是人类长期面临的最重要问题，所有国家都能在这一领域合作。

（文章来源：21世纪经济报道）