AI导读：

杰弗里·辛顿在世界人工智能大会上警示AI发展的终极命题，指出AI智能体拥有自我复制与目标管理能力，提出建立全球AI安全社群，呼吁主要国家合作研究训练向善AI。

　　“我们必须找到一种办法，训练AI，让他们不想消灭人类。”7月26日，在上海举办的世界人工智能大会上，诺贝尔奖与图灵奖得主杰弗里·辛顿警示AI发展的终极命题。他直言，几乎所有专家都已达成共识：我们将创造出比人类更聪明的AI，这意味着我们正步入一个难以想象的未来。

　　辛顿指出，如今的AI智能体不仅能够完成任务，更拥有自我复制与目标管理的能力，他们会寻求生存与控制。他用一个生动的比喻说明AI风险：“养老虎当宠物刚出生时很可爱，但如果养大了，你得确保它不会把你吃掉。”区别在于，AI不像老虎那样可以被消灭——AI技术已在医疗、教育等领域表现出色。

　　即便一个国家选择停止发展AI，其他国家也不会停步，辛顿提出建立“全球AI安全社群”，呼吁主要国家合作研究“如何训练聪明的AI去向善”。以下为21世纪经济报道记者整理的杰弗里·辛顿演讲全文，他分享了AI的历史和未来，以及人类与AI理解语言方式的异同，指出AI智能体能够帮我们完成任务，他们已经有能力可以进行拷贝，会给自己的子目标评级，他们想要生存，想要更多的控制。

　　辛顿担忧，我们习惯成为最智能的生物，如果在世界当中AI比人更智能会怎么样？他觉得我们不能只是把他们一关了事，他们会操纵我们，会劝说操控机器的人不要把他们关掉。所以，我们必须找到一个办法来训练AI，让他们不要消灭人类。

　　他表示，各国利益不一致，不会在网络攻击、致命武器等方面进行有效国际合作，但防止AI操纵事件可以合作。就像50年代冷战时期，美国和苏联一起合作来预防全球的核战争。我们现在的局面是，没有一个国家希望AI统治世界，每个国家都希望人类能够掌控世界。

　　所以，辛顿提议全球主要国家或AI的主要国家，应该思考一下，建立一个网络，包括各个国家的一些机构来研究这些问题，研究怎么来训练AI，让这个AI不想要消灭人类，不想要统治世界，让这个AI很高兴地做一个辅助的工作。

（文章来源：21世纪经济报道）