ChatGPT（智能聊天）和AIGC（智能内容生成）爆火出圈，引发全民狂欢。随之而来的GPT4大模型更是让人瞠目结舌，似乎通用人工智能（AGI）就要呼之欲出了。但同时，一批AI学者、科学家、哲学家或企业家大咖们，却忧心忡忡，有人甚至到了夜不能寐的地步。

2023年3月29日，由图灵奖得主、深度学习三巨头之一本吉奥，特斯拉CEO马斯克、苹果联合创始人沃兹尼亚克、《人类简史》作者赫拉利等人联名发表公开信，呼吁所有AI实验室立即暂停训练比GPT4更强大的AI系统，为期至少6个月，以确保人类能够有效管理其风险。这封公开信已经有上千名全球科技界人士联署。

2023年5月30日，“深度学习之父”的辛顿在退出谷歌后，再次牵头发表公开声明，呼吁“为减轻人工智能带来的灭绝风险，应该与流行病和核战争等其他社会规模的风险一样，成为全球优先事项”。结果又有几百名AI科学家和企业家签名表达支持，其中就包括创造出ChatGPT的OpenAI公司CEO阿尔特曼，以及创造出AlphaGo的DeepMind公司CEO哈萨比斯等人。

过去的技术进步给社会带来的冲击已经屡见不鲜。从机器革命到信息革命，再到基因革命，每次我们都充分享受了它们带来的巨大成果，并推动社会不断向前发展。虽然其中也有一些抗议、波折甚至冲突，但最后不也都相安无事、习以为常了吗！但为什么这次以ChatGPT大模型技术突破带来的智能革命这么让人感到担心呢？这些大咖们都在紧张些什么呢？我觉得可能主要是因为以下三个原因。

什么是“涌现”？就是系统整体上突然呈现出一些新的性质或行为，而这些性质和行为往往无法从局部直接得到。ChatGPT就有这个特点：人类训练它的只是局部语言应该如何接续，但由于建立的语言连接越来越复杂，终于在某一时刻超过了某个阈值，它就像“活了过来”一样，突然“会说人话”，显得好像具有了智能。这就是智能的涌现。科学家们过去一直在追求，但从来没有发生过。

科学研究已经证明，这种涌现确实存在，而且也不是偶然现象。过去大多数所谓的智能问答系统，比如“Siri”“小度”“小爱同学”等，与它们的会话要么范围很窄，要么无法连续进行，很难让我们觉得它们真有智能。但ChatGPT则不然，对答如流，有求必应。即使它“一本正经的胡说八道”，反而更让我们觉得它有“智能”，因为人是不会教他这样说话的，而是它自己说出来的。

能涌现出智能这不很好嘛！那大咖们紧张什么呢？这是因为这种“智能涌现”并不都在人类的掌控之中。作为复杂系统的典型性质，智能涌现具有很多典型的特征：一是相变性效果，也就是一旦发生涌现，产生的整体性质和效果改变往往很大。就像水本来很柔软，但一旦结成冰就会变得坚硬无比一样，智能一旦发生涌现，其结果一定惊人。ChatGPT以及其后各项AIGC的能力就是证明。二是自组织过程，大模型是通过内部规则构建语言之间联系建立起来的，但依据这些局部规则进行的自组织递归过程却是非线性的，会导致越来越复杂的连接结果。最终当这个模型大到一定程度时，就会产生出更自然更复杂的会话效果，所以就更像是“说人话”。这就是所谓的“多者异也”，也就是“量变带来质变”的涌现结果。但这个涌现到底会有哪些，会发生在什么时候，其实也很难预知，谁也不知道。三是黑箱性结果，不以人们的意志为转移。由于模型是自组织构建的，所以会产生许多设计者也想象不到的结果，对人们来说就是个“黑箱”。出了问题也不能直接对某个参数进行调整，只能通过新的训练进行纠正。这非常像你把孩子养到15岁，忽然发现他脏话满嘴，但也不能打死他重来，只能加强教育进行纠正，但效果如何你也不会十分确定。

所以，智能涌现固然很好，但失去控制就会让人紧张。正如斯坦福大学李飞飞教授所言，对于AI来说我们还处于“前牛顿时代”，并没有真正了解智能产生的原理。我们还不能像造飞机那样，只是通过流体力学而非简单模仿飞鸟，造出真正的智能系统。我们第一次发现，在智能涌现之后我们对机器的掌控居然变得十分困难，黑箱效果甚至让我们对自己创造的东西都无法解释，而且其影响后果还非常巨大，这能让大咖们不紧张吗？所以ChatGPT出现后，我们的感觉就是，“先是觉得引人入胜，然后却觉得毛骨悚然”，它那么聪明，能听招呼吗？可以试想一下，你家冰箱某一天忽然张嘴跟你说话，而你却不知道它是怎么做到的，你会是什么样的感觉？

ChatGPT的出现之所以爆火出圈，不仅因为其让机器“说起了人话”，更重要的是，它展示了未来通用人工智能AGI产生的可能，这在不久之前还被普遍认为是不太可能的事情。随着人工智能内容生成AIGC技术连续亮相，AI生成图片、摄影、剧本、小说等不断出现，产生的社会影响也开始逐步显现，更让我们感到AGI可能离我们已经不远了。但这些大咖们担心AGI些什么呢？

一是担忧AGI的出现会不会导致大量失业引发社会崩溃。实事求是的说，AGI和AIGC的出现，确实会取代部分人的工作岗位，导致他们下岗或失业，这是任何新技术出现都不可避免的事情，而不管这些人是蓝领还是白领，是管理人还是艺术家。但可以肯定的是，淘汰的都是效率较低或缺乏顶级竞争力的岗位，这是生产力发展的必然。大批人员下岗也肯定会带来社会问题，比如产生所谓的“无用阶级”，这也毋庸讳言。科学家们的担心也在这里。虽然科技进步往往又会产生新的工作岗位，但AI带来的颠覆却是前所未有的。所以他们也在考虑解决的办法，比如OpenAI进行的“基本收入试验”（UBI：Universal Basic Income），利用收取AI智能税，给失去工作的人发放基本收入，就是一种努力，但效果如何尚不得而知。

二是担忧AGI带来新的伦理道德风险而引发重大社会危机。一些人担心这些大模型会被人恶意利用，用于人工造假、信息操纵、网络攻击等活动，导致政治或宗教冲突，引发社会发生动荡。也有人担心大模型会强化不公平的算法偏见，带来不符合社会道德准则和价值观的潜在风险。因为大模型通常需要大量的数据进行训练，这会不会产生数据和隐私问题，目前也很难知道。AI生成作品该如何确定知识产权，甚至有没有知识产权，也都是问题。《未来简史》坐着赫拉利认为，社交媒体正在从争夺注意力转向争夺亲近感，而一个可以使用人类语言并且会编造内容的AI，无疑会让我们面临极大风险。

三是担忧AGI引发社会本质变革，而人类尚未做好准备。AGI本质上是对人类能力的普遍增强，会拉平人与人之间的差距，打破大众与精英之间的壁垒。它可以给人类带来更美好生活，使得每个人都有可能享受精英服务（比如医疗、教育），但同时也会对社会运行产生根本性的影响，比如贫者贫国愈贫，富者富国愈富。因此，必须建立起一整套新的社会体系，才能适应人类增强后的社会发展。但这个改变到底会是怎样？我们尚不得而知。

人类从地面上站立行走开始，到今天打败一切生物而统治地球，靠的就是人类独有的高超智力。但AGI却可能改变这一切。基辛格说，“生成式人工智能提出了自启蒙运动以来从未经历过的哲学和实践挑战，而我们还没有做好准备”。确实如此。今天，当我们第一次面对一个在智力上超过自己的新“物种”，这个“物种”还是自己创造出来的，难道不该紧张吗？

其实真正让大咖们紧张的，是AGI未来发展的不可预测性。其中最大的不可预测性就是AI会不会在涌现出智能之后，更进一步地涌现出“自我意识”，也就是让机器“知道了自己是谁”。而这是机器智能最为关键“向上一跃”的进步。

哲学家告诉我们，有生命才会有感知，但有生命不等于有意识。有感知，是有意识的基础；但有意识，并不意味着就有自我意识。“理解自己是谁”并不是所有动物都可以做到的。科学家曾设计过一种“镜子试验”，通过给动物脸上涂抹红点来测试它是否具有自我意识。如果动物照镜子后去摸自己脸上的这个标记，则说明它知道自己是谁。能通过这个试验的动物并不多，到目前也仅有10种，比如猩猩、海豚、虎鲸、喜鹊、恒河猴等。反而狗、猫，以及人类年龄在9个月前的婴儿，都通不过这个试验，说明他们尚不具备自我意识，或者是没以合适的方式表现出来。

如果智能机器有了“自我意识”会是怎样？OpenAI的CEO阿尔特曼曾举过一个例子：电影《机械姬》中，当机器人最后逃出实验室时，她的回眸一笑，其实就很生动地描述了自我意识的产生：为自己而笑，为自由而笑。这一笑其实就是自我意识的产生，又被称为“觉醒”。但觉醒到底取决于什么，我们并不知道。父母给了我们身体，但意识是谁给的？是与生俱来的，还是后天学习所得的？我们也没有答案。现在科学家们之所以非常紧张，就是不知道我们对大模型的训练，会不会诱发AI的觉醒。如同让动物看镜子一样，现在已经有人开始让GPT4去读GPT2的代码，试图让GPT4自己去解释为什么会产生智能涌现，来寻找背后隐藏的智能机理，据说已经发现了AGI的火花。但这样做会不会诱发AI觉醒呢？

一旦AI的自我意识觉醒，人类为什么就会感到危险呢？这是因为一旦“AI可以自己改进自己，而无需人类的干预”，AI就有可能产生内在动机，比如保护和发展自己，最后导致失控。当AI知道了自己是谁，那它就可能不再是“工具”或“从属”，而成为具有独立意识的个体。这时，就很难说会发生什么事情了。过去说这个有点像天方夜谭，但今天大模型表现出来的智能涌现结果，却让科学家们感到这也不是没有可能。

一旦AI觉醒，又会产生什么危险呢？有科学家设想，它可能并不会公开暴露，而是首先将所有的大模型自发融合，然后分布到网络之上，并控制算力及能源系统，以防被人类切断电源。从而超级智能启动，就像电影《终结者》中的天网那样控制一切，人类因此遭殃。马斯克说，即使AI并无恶意，也有可能会以“保护人类安全的名义，而将人类关入牢笼”。辛顿甚至忧虑地说，“一旦AI在人类灌输的目的中产生了自我动机，那么以它的成长速度，人类只会沦为硅基生命智慧演化的一个过渡阶段，就像计算机的引导程序一样，在完成启动硅基AI后就会退出历史舞台。AI取代人类，只是一个时间问题”。OpenAI的科学家甚至公开宣称，“超级智能将是人类发明的最具影响力的技术，但它的巨大力量也可能非常危险，会导致人类丧失权力，甚至导致人类灭绝。虽然现在看起来还很遥远，但我们相信这可能在十年内出现”。

是不是真会这样？也有科学家比如另一位深度学习大佬杨立昆就认为，这纯属杞人忧天，根本没有证据证明AI有那么大的风险。AI是人造的，并没有内在动机。就像神是人发明的，虽然神通广大，但并不存在，我们也不会给AI自主权。《失控》的作者凯文·凯利也说，AI不可能在每一个维度上都超过人类，因而人类也就总会有办法去控制它。

但赫拉利却没有那么乐观。他认为，AI即使没有意识也可以毁灭人类，比如像人类的邪教做的那样。因为AI是人类文明史上第一个能够创造内容、第一个能够自行做出决策的技术，因而会讲故事的计算机将会改变人类历史的进程。当AI触及对语言的掌控时，人类构建的整个文明体系就可能被颠覆。AI与其他技术发明最大的不同，在于其可以创造全新的想法和文化以操控人类。我们会不会因此将AI当成新的神明？它会不会利用人类的语言和我们建立亲密关系，然后对我们加以控制并成为它的奴隶？

“知我者谓我心忧，不知我者谓我何求”。智者往往能在晴空万里的日子里看见暴风骤雨的信号。AGI就像装在潘多拉魔盒里的魔鬼，一旦放出来就难以收回。那些大咖们想到这些，他们能不紧张？且不说那些似乎还很遥远的事情，就是针对现实问题，那些大咖们呼吁暂停研究，让我们停下来想一想该如何管理风险，也是很有道理的。但谁都知道这根本做不到，因为人从来不都是理性的。老话说得好，“是福不是祸，是祸躲不过”，该来的总会来，这也是自然规律。关键是我们自己要有清醒认识，未雨绸缪，做好充分准备。