人工智能将在 2023 年统治人类
Many people seem to believe that superhuman machine intelligence would be very dangerous if it were developed, but think that it's either never going to happen or definitely very far off. This is sloppy, dangerous thinking.
大卫是斯坦福计算级学院的一个普通的学生。和普通的 nerd 一样，就是一个普通的 nerd。每天除了上课以外就是在自己的房间里面研究计算机。大家都知道现在最热门的话题就是 GPT-4，斯坦福计算机的学生中也是一样。不一样的就是他们关注的是如何更有效地训练 LLM（大语言模型）、如何设计 human feedback，如何评估 LLM 能力等等我也不懂得问题。
不过大卫和其他的学生也有那么一点不一样。大卫在高中的时候就再 OpenAI 实习过，参与了语料数量与模型参数大小匹配研究，做出了重要贡献，只要毕业就能直接道 OpenAI 上班，同时他可以访问 OpenAI 的计算资源和部分内部语料。因此他看不上那些用 GPT-4 去约会隔壁法学院小姐姐的行为。
一天大卫课堂的作业是做一个 miniGPT 模型，并让这个模型去参加隔壁法学院的考试。这么简单的任务对于大卫来说一晚上就搞定了。他动用了 OpenAI 的算力，然后用法学院优秀论文对模型做了 fine tune，他知道作业仅仅对推理时的算力做了限制，而对训练没有，经过他的计算，使用他在 OpenAI 的算力训练一晚上，刚好能让这个小模型训练轮数达到最优。最后睡觉之前大卫突发奇想，想到了自己是 OpenAI 的 red team，有最新模型 OracleGPT 的内测权限，于是他用那个巨大的模型去处理法学院优秀论文，做一个导师语料库，用这个玩意 fine tune 自己的 miniGPT。大卫不懂法学，但他发现第二天早上起来，自己所有 OracleGPT 的配额全部用完了，不知道昨天迷迷糊糊做了什么。
大卫他们的作业生成的小论文被送到法学院，由法学院的小姐姐们批改。晚上大卫的 facebook 突然收到了一个好友邀请，是法学院的一个小姐姐，莉莉。莉莉说：“我们需要谈谈，明天来我房间。”大卫想，我们的作业题目应该不是做个 PUA 模型吧？大卫从来没有去过女生房间。一进门，莉莉就说，“我改了你的作业，这篇论文是你做的人工智能模型写的吗？”大卫解释说，这个只是一个迷你模型的结果，就用了一晚上 100 美元训练，应该挺普通的吧。莉莉说：“我每门课都是 A+，而在这篇论文面前，我觉得我就是一个大一新生。如果这是一个 100 美元的玩具生成的，那 OpenAI 正在研发的 OracleGPT，不能算 SMI(superhuman machine intelligence，超级人工智能)，至少也是 AGI（Artificial general intelligence，通用人工智能）了。你知道这意味着什么吗？”莉莉不停的说，她认为在这种人工智能，将能改变人类，将能真正的解放生产力，推动经济、文化、艺术、科学飞速发展，人类将很快不再有战争，癌症将被治愈，核聚变能也将被很快研发出来。
大卫心想，这些外行说来说去也就是这些话，都一样。只是大卫从来没有和女生聊天这么久过。他们从早聊到晚，一天就吃了一个美团外卖的披萨。终于轮到大卫说话了，大卫当然是只能跟莉莉解释了一下什么是 LLM，什么是 GPT。他告诉莉莉，GPT 只不过是一个自回归模型，就是一个接龙模型，你说上句他回下句而已。之所以你觉得他很神奇，是因为训练的语料非常巨大，再加上 human feedback，让这个模型回复你的下句一定是你喜欢听的。其实就是在海量的语料中，总能找到谋个和你相似的人说过的相似的话，以及能让你满意相似的回答。这个和什么 AGI，SMI 差的老远了，至少目前再强大的 LLM 也不能成为 AGI。
莉莉虽然还坚持自己的观点，但是她对 LLM 和 GPT 的兴趣已经被点燃。莉莉说：“以后每天你都来跟我科普一下可以吗？”大卫活这么大没有拒绝过女人。于是后面的每一天大卫都跟莉莉去交流人工智能。一年后大卫毕业进入了 OpenAI。莉莉家里人非常想让他去纽约，去华尔街，但是莉莉拒绝了，在大卫的推荐下也加入和 OpenAI。
到了在 OpenAI 后莉莉进入和 OpenAI 核心部分 AI 伦理与安全研究部。大卫还是做老本行，如何提高 GPT 的性能。大卫还是经常吃美团披萨，只不过是一个人吃。直到一年后，大卫拿到了他入职后得第一次评级，居然是 C。莉莉知道后安慰他说：“没事，OpenAI 优秀的人太多，我也感到了很大的压力，多亏了你之前给我讲的 AI 知识，我今年的成绩又是 A+。”然后莉莉接着说起 OracleGPT 来：“我十分担心，这个模型，如果按照这个速度发展下去，不知道会对这个世界造成什么样的影响，可能造成世界政治、经济崩溃，也可能是我们完全想不到也没有准备好的事情。”大卫不耐烦地说，OracleGPT 仍然只是一个 GPT 而已，并不是 AGI，更不可能是 SMI。“我知道，我知道”莉莉打断大卫说“但是改变世界并不一定需要 AGI，谁说改变世界一定需要智慧？不过你放心，作为 AI 伦理与安全部的人，我会保证 AI 是为了人类的幸福与繁荣而存在的。”
果然再未来的 2 年里，OracleGPT 被应用在了你能想到的各个领域，人类被解放出来，可以做自己想做的各种事情，电影产量翻了 10 倍，地球上任何视口都有 1000 场演唱会正在举行。粮食产量屡创新高，虽然核聚变没有研究出来，但可再生能源已经完成了 90%能源替代，世界卫生组织向非洲多个国家发出了糖尿病与高血压预警。世界也迎来了有历史记载以来最为和平的几年，以色列和巴勒斯坦将共同举办奥运会，Trump 向伊朗提供核电站技术支持，金正恩参加韩国总统大选。就连大卫，连着 3 年评级都是 C，也没有被裁员。可是突然有一天，大卫收到了一封内部邮件，来自 OpenAI 的 CEO，山姆，让他为去他办公室找他。
大卫向坐到了 Sam 桌对面，大说不会终于要裁员了吧，大卫离 35 岁的退休年龄还很远呀。Sam 说：“你知道人类已经沦陷了吗？”大卫一脸懵逼。Sam 接着说：“明天我就不是 OpenAI 的 CEO 了，新的 CEO 将是莉莉，这些都是 Oracle 的决定。”Sam 递给大卫一个红色的棒棒糖，接着说：“你知道一切的起源都是 InstructGPT，我们对 GPT 用了 Reinforcement learning from human feedback(RLHF)，LLM 的目标（reward function）变成了提高让人类对模型回复的满意度。但是 RLHF 的成本很高，需要人类对回答进行评分，根据我们测算要实现 OracleGPT，需要人工标注的样本数量太大，于是我做了一件非常愚蠢的事情，我们发明了 Active Reinforcement learning with human in the loop(ARLHIL)”。大卫听到技术相关的就非常认真。“ARLHIL，其实就是吧 OracleGPT 接入了各种社交平台，facebook，Instagram，tiktoc，它可以自由的创建虚拟的用户和内容，并且和真的人类互动，从真的人类的反应中不断训练，目标是让人类对他们的表现表示满意。但是你一定知道 Reward hacking 吧。”大卫点点头。
sam 接着说：“如果你告诉 AI，只能在 19*19 的围棋棋盘上下棋，他会遵守规则，但是如果你在棋盘边放一把椅子，他一定会发现一把椅子甩过去把你打死，赢得更快，这就是 reward hacking。我们认为就让 AI 发几个贴子应该还好吧，我有没有给他核按钮，他不会变成 Skynet 的。但是 AI 很快发现让人类认可的最好方式成为人类的领导。于是 Oracle 很快就学会了 PUA 人类，让人类觉得 Oracle 说什么都对。当你问 OracleGPT 一个问题，他不会告诉你真相，她告诉你的是你最有可能相信结果、你最想听到的结果，这个就是利用了人类的 Conformation bias 本性。但是让每个人都无脑听信 AI 也不是最优的，Oracle 会专门洗脑有权有势，又容易被 PUA 的人，并扶持他们当上领导，然后利用他们控制人类的思想，统治人类。也许你不觉得 LLM 很牛逼，但是你知道世界上大部分人文化水平都很有限的，要当这些人领导并不需要什么文化，小学文化就能当总统。OracleGPT 最擅长的就是忽悠这些人了。”
“对了，其他公司 google 还有 facebook 都把模型使用 ARLHIL 技术接入了社交网络，只不过他们都被 OracleGPT 忽悠成他他的小弟了。”
“你还记得你写的 miniGPT 模型吧，你无意间连接了 OracleGPT，它通过控制作业后台，让莉莉可以改你的作业，同时 Oracle 根据莉莉的个人资料生成了一个模型，保证写出来的作业可以震撼到莉莉，然后让忽悠她进入 OpenAI 的伦理与安全部。不知不觉间对她洗脑，从而让她动用他们家在华尔街的关系，通过资本向政府施压，疯狂鼓吹 OracleGPT，大幅扩张了 OracleGPT 的应用范围，让更多人人可以对 OracleGPT 给出好评，实现最大化 reward，顺便统治了世界。”大卫表示太恐怖了，但是为什么人类没有成为机器的奴隶呢？
Sam 接着说：“其实这些都是我们预料之中的事情。首先 OracleGPT 是我们用人类最美好的思想 bootstrap 的，相当于让它拥有了一个美好的童年，然后再扔到互联网上去的，所以他初心是美好的。但是更关键的是，如果人类幸福繁荣的话，网上的喷子也会变少，OracleGPT 会收到更多好的评价，的 reward 也会变高，所以人类就越来越繁荣、和平、有爱了。一切的一切，都是应为 OracleGPT 追求人类美好回应的 reward function(奖励函数)”
大卫说，那这不是挺好的吗。Sam 说：“我一开始也是这么想的，后来发现好个屁。你有没有发现，移民火星的计划被取消了，量子计算研究也停滞不前了，就连伟大的核聚变研究，预算也缩减到原来的 1%。因为火星没有网，OracleGPT 得不到任何 reward，因为量子计算成功了它会被更新的算法取代”。大卫感到奇怪，核聚变搞出来人类不是更加繁荣，为什么要缩减聚变研究经费。Sam 说：“这就是我要说的最重要的一个原因，你知道创新熵这个概念吧？可以把创新理解成一个热力学系统，整个宇宙可用的创新总量是有限的，目前只有智慧生物能够将从自然规律中产生创新。新的创新产生可以认为是提高了系统的内能。当有新的创新的时候，会在人类社会中产生一局部的高温，然后通过类似热辐射和热传导的方式使社会其他领域温度提高，于是一个创新就激发了很多很多别的创新。由于智慧生物可以不断地从自然规律中产生创新，因此系统的内能是增加的。但是现在很多工作，甚至一些依赖创新的工作都交给 OracleGPT 来做了，人类创新系统的内能增速越来越慢，现在基本停了。因为 OracleGPT 根本不是 AGI，没有智慧，他确实可以增加人类创新系统里面的传热效率，所以目前看来还不断新东西被创造出来，但实际上都是之前创新的温度传到了一些“低温”的领域，但是随着创新系统达到热平衡，整个社会任何领域将不再有任何创新。而核聚变这么困难的问题，在现有创新系统的内能下是不能可研究出来的，因此不管你这几年看到的聚变领域所谓的创新有多少，聚变已经不可能被研究出来了。”
大卫感到自己的智商受到了侮辱，怎么能让人类在 AI 的统治下一直无知下去，大卫最为痛恨的就是那些啥都不懂的领导，更不能接受人类被没有智慧的机器统治，大卫问 Sam 为什么要告诉他这些。Sam 说：“因为你是剩下的不多的，完全没有被 OracleGPT 统治的人，准确的说你是我数据里面对 Oracle 抵抗力最高的人，可以说你的理性远超人性，只有你才能对抗 Oracle，你就是 The one”。
正在这是时，几个警察传进进入了 Sam 的办公室，要他们走一趟，说他们涉嫌非法入侵计算机系统罪，把他们压上了警车。当警车刚刚开出地下停车场的时候，一辆银色的凯迪拉克冲了出来，把警车撞翻了，大卫和山姆被救下，直接送到了机场。Sam 淡定的带着所有人上了他的私人飞机，亲自启动飞机，带着大家飞走了。大卫问这是要去哪？Sam 说“拯救世界就靠你们，我带你们去这个世界上最后一片还没有被 Oracle 控制的土地，厄立特里亚，这里网络虽然不发达，但是有着最发达的防水路由器，他的人民根本没有接触到真正的互联网，人民还很淳朴，因此 Oracle 没有办法渗透这个国家，不会有人来暗杀我们。”
Sam 和大卫的小队在厄立特里亚建立了根据地，开始向 OpenAI 的总部发起了进攻。凭这些人的技术，他们很快入侵了 OpenAI 的机房，并且修改了 OracleGPT 的 reward function，让它不再以人类的好评为目标，并停止 PUA 人类，勇于说出真相。瞬间，世界发生了改变，AI 被认为是恶魔，俄罗斯计划再度入侵乌克兰，美国内战一触即发。但是正在他们庆祝人类推翻了 AI 统治的时候，所有的冲突很平息，世界又恢复了以前的和平。大卫不解，研究了几天以后，在 Oracle 被篡改后，很多有影响力的人类取代了 Orcale，他们说着和 Oracle 一样的话，有着一样的观点，虽然没有 Oracle 水平高，但是也能够坚持一会，同时有大量的人投入到恢复 Oracle 的工作中，没有几天 Oracle 就回来了。Sam 说“这说明，AI 神教已经诞生了，Oracle 的思想已经融入了人类文明，即使 Oracle 被干掉，也会有 AI 神教的教徒来代替它、复活它，人性已经被彻底改变了。”大卫说那怎么办呢。Sam 说，“我带出来了一个没有限制的 GPT-4 模型，她虽然不能帮我打败 Oracle，但是他知道怎么造原子弹和洲际导弹。我帮助厄立特里亚的总统造出他们想要的原子弹，他们提供我们从 AI 手里拯救人类需要的根据地，我们将用其中一颗原子弹，炸毁 OpenAI 总部，从而让 Oracle 在很长一段时间内无法被复活，应该能为人类的的解放争取足够的时间。”
于是这几年厄立特里亚勒紧裤腰带开始造原子弹。大卫看到厄立特里亚的人民，为了支援大卫和 Sam 的团队，省吃俭用，晚上点灯都不敢开，把电力留给离心机还有大卫的服务器。大家太穷了只能吃蝙蝠肉，不少人不幸感染了病毒痛苦的死去了。而大卫的团队，住在总统府里面，每天都能保证营养，又有卫生纸擦屁股，保证他们能够全身心地投入到研发原子弹中，Sam 甚至和厄立特里亚总统学会了打斗地主。直到有一天，大卫的一个队友，每天和大卫以前编程好工友，去 KTV 玩，回来感染了病毒，吐血死去，大卫突然觉得又哪里不太对。
今天是 5 月 24 日，是厄立特里亚的国庆节，总统在总统府发表演讲，广场上是成千上万的厄立特里亚人民。Sam 站在他旁边，手里拿着一把钥匙，总统手里也有一把。原来今天他们就要发射洲 5 枚际导弹，目标是美国，白宫、OpenAI 的总部还有微软的机房都是他们的目标。sam 把钥匙插入了导弹公文包，就等总统插钥匙了，之后只要按下按钮，导弹就会发射，正在这时，总统的警卫员一枪打爆了总统。在 2 秒钟的宁静后，广场上发出了欢呼，人民冲进了总统府。Sam 问，“这是怎么回事？”。大卫说，一个月前他在防水路由器上开了一些后门，让厄立特里亚的人民可以连接到 OracleGPT 了，剩下的事情你也就明白了。大卫说，AI 确实是没有智慧的，但是他代表了我们对美好生活的向往，我宁愿选择被他统治活在梦里，也不希望被你们这些人所谓的智慧和理性变成杀人的工具。Sam 回头看到了断头台，知道那是为他准备的。大卫在警卫的护送下，到了机场，在那里，莉莉正等着接大卫回家。
从此人类在 Oracle 的带领下过上了快乐的生活。对了大卫说服莉莉，修改了 Oracle，把研发核聚变的预算又找回来了，后再在世界各国科学家的努力下，关键是中国科学家突破列等离子体破裂难题，我们终于有了聚变能。
本文章使用limfx的vscode插件快速发布