我们已经到了一个历史转折点：当下历史的重大进程，有一部分是由非人类智能的决定推动的。正因如此，计算机网络的易错性才变得如此危险。计算机犯错原本不算什么，但当计算机成了历史推动者时，这些错误就可能带来灾难。
计算机网络的根本威胁是一致性问题
当我们在讨论社交平台上存在大量仇恨与谎言的时候，并不是暗示过去、现在和未来，所有假新闻与阴谋论的传播都该由计算机网络负责。
YouTube、脸书与其他社交媒体平台都表示，它们从2018年以来一直在调整算法，希望对社会负起更多责任。这究竟是否属实还很难说，特别是今天连“社会责任”一词都还没有一个清晰公认的定义。然而肯定能解决的一个问题就是别再为了追求用户参与度而污染整个信息领域。只要科技巨头真的想要设计出更好的算法，通常就能做到。
我们也不该无视 YouTube、脸书与其他社交媒体平台确实为社会带来的巨大效益。当然，大多数YouTube视频与脸书帖子都不是假新闻，也没有煽动种族灭绝。社交媒体确实扮演了重要角色，联结人民，让过去权利遭到剥夺的群体得以发声，组织重要的新运动与社群，也激励人类展现出一波前所未有的创意。
在过去以电视为主流媒体的年代，常有人说观众只是“沙发土豆”：只会被动接受由少数天才艺术家创作的内容。脸书、YouTube与其他社交媒体平台唤起了这群“土豆”，让他们开始创作。社交媒体上的大部分内容（至少在强大的生成式人工智能兴起之前）都是用户自己（加上他们的猫猫狗狗）制作的，而不是出自少数专业人士之手。
然而，计算机面临的一个更大的问题：一致性问题。
只要人类给计算机一个特定的目标，比如“让YouTube 流量增加到每天10亿小时”，计算机就会竭尽全力，以各种不同方式实现这个目标。但由于计算机的运作与人类大不相同，很可能所用的方法将完全出乎人类的意料，造成未曾预见的危险后果，而与人类最初确立的目标完全不一致。就算推荐算法已经不再鼓励仇恨，计算机的其他一致性问题还是可能引发相关灾难。计算机变得越强大、越独立，这种危险也越大。
当然，一致性问题不是什么新鲜事，也不是算法所独有的。早在计算机发明之前，一致性问题就已困扰人类几千年。
比如以卡尔·冯·克劳塞维茨的战争理论为代表，现代军事思想也一直摆脱不了这种目的不一致的问题。克劳塞维茨是一位普鲁士少将，曾参加拿破仑战争，于1815年彻底击败拿破仑之后担任普鲁士战争学院院长，开始构思规模宏大的战争理论。他在1831年死于霍乱，妻子玛丽编辑了他未完成的手稿，并在1832~1834年陆续出版《战争论》。
《战争论》提出了一套合乎理性的模型来解释战争，至今仍是主流的军事理论，书中最重要的一句格言就是“战争无非是政治通过另一种手段的继续”。这意味着战争不是情感的暴发，不是英雄的冒险，不是神祇的惩罚，甚至不是一种军事现象，而是一种政治工具。克劳塞维茨认为，军事行动必须与背后的某种整体政治目标一致，否则就是完全不理性的行为。
历史上有许多军事上决定性的胜利最后却导致彻底的政治灾难。对克劳塞维茨来说，最明显的例子就发生在他身边：拿破仑的一生。没有人怀疑拿破仑的军事天才，讲到战术与战略，他定然是个中翘楚。然而，虽然他胜仗连连，一度攻下大片领土，却没能因此建立长久的政治成就。他征伐四方，只是让大多数欧洲列强群起联合反抗，加冕不过十年，帝国便轰然倒塌。
所以我们看到，人类早在计算机革命之前就已经遇到一致性问题。现代人想构建信息帝国时会遇到的困难，与过去人们想要征服四方时遇到的困难并没有太大不同。然而，计算机确实让一致性问题的本质出现了一些重要变化。过去，只是让人类官僚及人类士兵的行为向社会的长期目标看齐，就十分困难；在未来，要让“算法官僚”与自主武器系统向社会长期目标看齐，则更是难上加难。
计算机一致性问题可能引发的灾难
在计算机网络的背景下，一致性问题的危险特别高，原因之一就是这个网络的权力可能远远高于过去任何人类官僚机构。如果是超级智能计算机出现了目标与人类不一致的状况，就可能导致前所未有的灾难。
哲学家尼克·波斯特洛姆 2014 年的著作《超级智能》中就有一个思想实验，试图说明这种危险。波斯特洛姆要我们想象一下，有一家回形针工厂买了一台超级智能计算机，工厂的人类主管要它完成一项看来再简单不过的任务：生产回形针，越多越好！结果为了完成这个目标，这台回形针计算机征服了整个地球，杀死了所有人类，并派出远征队占领更多行星，再用取得的丰富资源在整个银河系设立无数个回形针工厂。
这个思想实验的重点在于计算机只是乖乖地做人类要它做的事。它先“意识”到，要建造更多工厂、生产更多回形针，就需要电力、钢铁、土地与其他资源；接着又“意识”到，人类不太可能会放弃这些资源，于是这台超级智能计算机为了一心追求这个既定目标，在过程中直接消灭了所有人类。
波斯特洛姆想强调的是，计算机的问题并不在于它们特别邪恶，而在于它们特别强大。而计算机越强大，我们就越要小心为其确立目标，务必让计算机与人类的终极目标完全一致。如果只是个口袋计算器，即使我们给它确定的目标与人类的很不一致，后果也微乎其微。但如果是超级智能计算机，如果确定了一个与人类利益极不一致的目标，就可能催生一个反乌托邦。
这个回形针思想实验或许听起来很离谱，似乎与现实完全脱节，但在波斯特洛姆于2014年提出这个想法的时候，要是那些硅谷高管注意了这个想法，他们或许就不会那么莽撞地要求算法尽量提升用户参与度。脸书与YouTube的算法的表现，与波斯特洛姆想象的算法一模一样。当被要求尽量生产回形针，而且产量越多越好的时候，算法就会想要把整个宇宙的物质都变成回形针，就算摧毁人类文明也在所不惜。当被要求尽量提高用户参与度，而且数字越高越好的时候，脸书与YouTube的算法就想要把整个“社群宇宙”都变成用户参与度，即使会破坏缅甸、巴西与许多其他国家的社会结构，也在所不惜。
在计算机这个领域，波斯特洛姆的思想实验还能让我们看到一致性问题格外重要的第二个原因：因为都是非生物实体，所以它们采用的策略很可能是所有人类从未想到的，自然无力预见并阻止。
这里有一个例子：2016年，达里奥·阿莫迪设计了一个名为“宇宙”（Universe）的项目，想要研发一款通用人工智能，它知道怎样玩几百种不同的计算机游戏。这款人工智能在各种赛车游戏中表现出色，于是阿莫迪决定让它试试赛船游戏。但不知道为什么，这款人工智能直接把船开进一个港口，接着就只是不断绕圈进进出出。
阿莫迪花了很久才搞清楚问题出在哪里。之所以会出现这个问题，是因为阿莫迪一开始不知道怎样告诉这款人工智能，它的目标是赢得比赛。对算法来说，“赢”并不是一个明确的概念。如果把“赢得比赛”翻译成计算机能懂的语言，阿莫迪就必须把排位、与其他参赛船只的相对位置之类的复杂概念都用形式语言表达出来。于是阿莫迪决定换个简单的办法，告诉人工智能得分越高越好。在他看来，得到最高分的应该和赢得比赛差不多，毕竟之前的赛车游戏都是这样的。
然而，那款赛船游戏有一个赛车游戏没有的特点，而聪明的人工智能找到了游戏规则的漏洞。在这款赛船游戏中，如果领先其他船只，玩家就能得到大量积分（这和赛车相同），然而船只每次靠港补充能量的时候，也能得到一些积分。结果人工智能就发现，与其试着超越其他船只，不如不断绕圈进出港口，这样反而能够更快积累更多积分。显然，无论是游戏的人类开发者还是阿莫迪都没注意这个漏洞。而这款人工智能所做的，正是这款游戏鼓励它做的事，只是这并不是人类想看到的。
这正是一致性问题的本质：我们奖励的是A行为，却希望得到B结果。要是我们希望计算机能带来最大的社会效益，就不该因为它们带来了最高的用户参与度而给予奖励。
担心计算机一致性问题的第三个原因，在于计算机与人类实在差异太大，所以就算我们不小心给出了与人类利益不一致的目标，计算机也不太会有所警觉或要求说明。
如果那个赛船人工智能是人类玩家，应该就会意识到，利用自己在游戏规则里发现的漏洞大概不能真正赢得比赛；如果那个回形针人工智能是人类官僚，应该就会意识到，人类的初衷大概不是让它为了生产回形针而毁灭人类。但正因为计算机不是人类，也就不能单纯信赖计算机会找出并警告可能的利益不一致现象。
在21世纪10年代，YouTube与脸书的管理团队早就受到人类员工（与外部观察者）的连番轰炸，警告算法正在造成的危害，但算法本身从头到尾浑然未觉。
随着我们让算法在医疗保健、教育、执法和许多其他领域拥有越来越大的权力，一致性问题也变得越来越严重。要是不设法解决，问题绝不只是算法让赛船一直绕圈刷积分而已。
解决一致性问题，从终极目标谈起
一致性问题该怎么解决？理论上，人类建设计算机网络的时候，就该为这个网络确立一个终极目标，并且永远不允许计算机更改或忽视这个目标。这样一来，就算以后计算机变得太强大，人类再也无法控制计算机，人类还是可以放心，知道计算机的力量只会帮助人类，而非伤害人类。当然，除非我们一开始就不小心确立了一个会对人类造成伤害或太过模糊的目标。这正是问题所在。
人际网络有各种自我修正机制，能够定期审查、修改目标，所以即使目标错了，也不会是世界末日。但因为计算机网络可能脱离人类的控制，所以一旦目标设定错了，等到发现可能为时已晚，人类再也无力回天。有些人或许觉得，只要先仔细想清楚，就能预先为计算机网络设定正确目标。然而，这是个非常危险的幻想。
几千年来，哲学家一直想要定义一个所谓的终极目标，也就是说，这个目标并不需要再看齐某个更高级的目标。在哲学上，可能的解决方案分为两大派，以哲学术语来说就是义务论与功利主义。
义务论相信，世界上存在所有人都应该遵守的普世道德义务或道德规则。这些规则的重点并不是看齐某些更高的目标，而是其本质的良善。如果真的有这样的规则，而且我们也能找到方法将其写进计算机程序，就能确保计算机网络成为一股向善的力量。
但本质的良善到底是什么意思？如果说有谁试过定义“本质的良善”，代表人物肯定是与克劳塞维茨和拿破仑同一时期的康德。在康德看来，所谓本质的良善的规则，就是那些自己想要将其推广到普世的规则。
这听起来似乎简单而明显，总之就是想要别人怎样对你，你就应该怎样对人。然而，在超脱俗世的哲学领域听起来不错的想法，往往很难移植到残酷现实的历史领域。历史学家会问康德一个关键问题，在说普世规则的时候，到底应怎么定义“普世”。
如果我们一心想要追求义务论的那种普世规则，而且不是将其套到人身上，而是套到计算机头上，义务论引出的这个问题就会变得格外要命。计算机甚至根本不是生物。所以如果它们要遵守“你们愿意人怎样待你们，你们也要怎样待人”这条规则，那杀死像人类这样的生物又何妨？一台遵守康德的逻辑，而且想活下去的计算机，并没有理由反对“杀死生物很可行”这样的普世规则，反正这条规则并不会危及非生物的计算机。此外，计算机身为非生物实体，甚至有可能根本不害怕死亡。
有没有哪种方法，既能定义计算机该保护哪些对象，而不会被一些存在于主体间的错误观念影响？最清楚的建议就是告诉计算机保护所有“能够感受到痛苦的实体”。
人之所以会感到痛苦，常常是因为相信了当地的某种主体间虚构概念，但痛苦本身仍然是个普世存在的现实。因此，如果以“能够感受到痛苦”来定义是否属于内群体，就能让道德有个客观而普世存在的现实基础。
当义务论者努力寻找本质的良善的普世规则时，功利主义者则是用行为对痛苦或快乐的影响来判断行为。英国哲学家边沁（与拿破仑、克劳塞维茨和康德同时代的人）认为，世上唯一合乎理性的终极目标，就是尽量让世界减少痛苦，增加快乐。
如果我们对计算机网络最大的恐惧是因为其与人类的目标不一致而会给人类甚至其他生物造成可怕的痛苦，那么功利主义这套解决方案似乎顺理成章，再理想不过了。
建设计算机网络的时候，只要记得让它尽量减少痛苦、尽力增加快乐就行了。这种观点认为，要是当初脸书给算法的指示是尽量增加快乐而不是尽量提升用户参与度，事情肯定会一切顺利。值得一提的是，这种功利主义的观点确实在硅谷大受欢迎，又特别受到有效利他主义运动的推崇。
但很遗憾，这也像义务论的解决方案一样，虽然在哲学理论领域听起来很简单，但到了历史实践领域就变得极其复杂。功利主义碰到的问题是人类并不知道该如何计算痛苦：我们不知道某个事件究竟应有多少个“痛苦值”或“快乐值”，所以在复杂的历史情境中，很难计算某个特定行为到底是增加还是减少了世界整体的痛苦总额。唯有在痛苦的天平很明显偏向某一端的时候，功利主义才能发挥最大的作用。
此外，对于一些比较抽象的事物（比如知道自己难免一死）所造成的痛苦，计算机网络该如何计算？而功利主义也因为无法计算痛苦值，往往要采取义务论的立场。
承认自己的无知，是通向智慧的第一步
所以，史上的官僚制度是怎么设定它们的终极目标的？答案就是依靠各种虚构的神话故事。无论那些官员、工程师、税务员、会计师多崇尚理性，到头来还是会服务于这个或那个编造神话的人。套用凯恩斯的一句话，有些所谓务实人士，自认为不受任何宗教影响，但通常就是神话编造者的奴隶。
事实证明，一致性问题本质上就是个神话问题。计算机也可能碰上类似的问题。当然，计算机就是无意识的实体，无法真的“相信”任何神话。毕竟它们并没有主体性，自然也就无法拥有存在于主体间的“信念”这种东西。但我们必须了解计算机的一个重点是，在许多计算机相互通信的时候，就能形成一种“存在于计算机间的现实”，类似于人际网络所创造的“存在于主体间的现实”。这些存在于计算机间的现实，最终的力量（与危险性）可能不亚于人类所创造的存在于人类主体间的神话。
上面这段话是什么意思呢？让我来一一解释。
首先，我谈谈什么叫做存在于计算机间的现实。假设有一款单人计算机游戏。在这个游戏里，你可以漫步在一个虚拟场景中，而这个场景完全就是存储于计算机里的信息。如果你在游戏里看到一块儿石头，那块儿石头并不是由真正的原子构成的，而是由那台计算机里的比特构成的。当许多台计算机相互连接时，就能形成存在于计算机间的现实，而让使用不同计算机的许多玩家得以共同漫步于同一个虚拟场景。这时，如果他们看到一块儿石头，那块儿石头就是由那些不同计算机里的比特构成的。
金钱、神祇这种存在于主体间的现实除了能影响人的思想，也能影响物理现实；同理，存在于计算机间的现实同样能影响存在于计算机之外的现实。
让我举一个重要的例子：网站在谷歌搜索中的排名。我们在谷歌上搜寻新闻、机票或餐厅推荐的时候，总会有某个网站列在第一页最上方，至于另一个网站可能会排在第50页的中间。
谷歌的排名究竟有什么意义？它是怎么决定排名先后的？谷歌算法决定网站排名的方式，是通过各种参数来给每个网站打分，参数包括访问网站的人数、有多少网站链接到该网站等。而这套排名本身就成了计算机间的现实，存在于链接了几十亿台计算机的网络（互联网）之中。这种存在于计算机间的现实也会外溢影响到物理世界。比如对各家新闻媒体、旅行社或餐厅来说，自己的网站究竟是出现在谷歌搜索的第一页最上端还是第50页的中间，影响是非常重大的。正因为谷歌排名如此重要，总有人费尽心思想要操纵谷歌的算法，提升自己网站的排名。
谷歌排名这样的计算机间现实，就很像人类创造的主体间现实。人类在几万年间主宰着地球，是因为只有人类有能力创造并维持各种主体间实体（如企业、货币、神祇、国家），再通过这些实体来组织大规模合作。而现在，计算机也可能具备类似的能力。
这不见得是个坏消息。毕竟如果计算机没有连接性与创造力，实用效益也会相当有限。人类现在之所以能越来越依赖计算机来管理金钱、驾驶车辆、减少污染、发明新药，正是因为计算机能够直接彼此沟通，找出人类看不到的规律模式，打造出人类可能永远想不到的模型。
现在人类该问的问题并不是如何剥夺计算机的创造力，而是如何把这些创造力导向正确方向。
我们在上文讨论计算机容易出错，不只是说计算机偶尔会搞错事实，或做出错误的决定。更严重的错误是，像人类网络一样，计算机网络可能无法在真相与秩序之间找到适当的平衡。
想象一下，几十亿台彼此互动的计算机组成网络，搜集大量关于这个世界的信息，并且在追求各自不同目标的过程中发展出共同的世界模型，帮助它们进一步沟通与合作。这个共同模型可能充满错误、虚构与缺漏，并且会是一个神话，而不是对宇宙的真实描述。
没有虚构的神话，大规模社会不可能存在，但这并不代表所有神话的质量没有高下之别。有些神话为了提防各种错误或过度行为，会坦然承认自己的源头可能有缺陷，并提出自我修正机制，允许人类质疑和改变。
然而，面对人类根本无法理解的计算机神话，我们如何探究与纠正？可能的一种防范方式是训练计算机时注意自己是否出错。正如苏格拉底所说，承认“我不知道”是通往智慧的重要一步。人类智能如此，计算机智能亦然。所有算法都该学的第一课，正是自己也可能犯错。这是有可能做到的。在鼓励人工智能自我怀疑、寻求他人意见、承认自己的错误这几个方面，工程师已经取得了长足的进步。
然而，不论算法是否意识到自己可能出错，我们都不该在这个过程中完全排除人类的参与。鉴于人工智能的发展速度，人类绝不可能预料到未来的发展情况，对所有潜在的危险做好准备。这也是人工智能与历史上的其他威胁（例如核技术）的关键区别。人类很容易就能预料到核技术可能造成怎样的末日场景，最明显的就是爆发全面核战。但只要能够预料，就能够防范，并设法减轻危害。相较之下，人工智能可能带来的末日场景多到数不清。为了防范大量难以预料的威胁，我们最好的办法就是设置人类机构，在威胁出现时做出判断并加以应对。
总而言之，新的计算机网络不一定是好还是坏。我们能确定的是人类将很难理解这种网络，而且这种网络是会犯错的。因此，人类建立的机构除了要能够发现各种常见的人类弱点（例如贪婪与仇恨），还得有能力察觉从未见过的错误。这个难题无法用技术来解决，它是一个政治上的挑战。
《智人之上》尤瓦尔·赫拉利著 中信出版集团 2024.9
