gate io:赫拉利看到了硅幕之下人类岌岌可危的未来丨《智人之上》书评-gate交易所

文丨李晋（思想史学者）

今天，人工智能已经成为最热门和最具争议的话题，投资者们看到了风口，科技大企业摩拳擦掌，一些传统企业和普通打工者充满担忧，而尤瓦尔·诺亚·赫拉利则在本月全球上市出版的书《智人之上》给出了一个很好的概括：“我们所有人在未来几年所做的选择，将决定召唤这种非人类智能究竟是个致命的错误，还是会让生命的演化翻开一个充满希望的新篇章。” 人工智能将会带给我们什么，在未知、不确定的未来中，这本书给我们提供了一些有价值的洞察。

未来并非如此乐观

日常生活中，以AI算法为基础的平台数据已经提供了我们许多的便利，一些持有天真的信息观的人就乐观地主张通过大数据，获得越多的个人信息，理由是大规模网络能够更好地了解医学、物理学、经济学等诸多领域，促进人类的进步。例如，制药和医疗公司获得更多信息，就能够提供更好的药物。同理，人们获得足够多的信息，就能得到真理和真相，越多的真相则产生更多的力量和智慧。

脸书的总裁扎克伯格就鼓吹说，脸书的目标是“帮助大众分享更多信息，让世界变得更加开放，以及促进人与人之间的理解。” 而谷歌则宣传“整合全球信息，使人人皆可访问并从中受益。”美国的投资人马克·安德森则宣称人工智能最终能解决人类所有的问题，鼓吹人工智能没有危害，反而是人类要发展，承担起对自己、后代和未来的道德责任。研究者库茨维尔在《奇点临近》中也认为，人工智能可以帮助人们应对各种迫在眉睫的挑战，包括克服疾病、贫穷、环境退化，以及人类的所有弱点，而我们就该负起道德上的责任，实现新技术的承诺。

与这些明显在AI技术浪潮中获益的鼓吹者不同，不少国家的政府、科学家甚至企业家同时也担心，人工智能可能会摧毁人类文明。2023年底来自中美英以及欧盟等30多个国家和地区的代表签署《布莱切利宣言》，警示“这些人工智能模型所具备的最重要的功能可能会造成严重甚至是灾难性的伤害，无论是有意的还是无意的。”同样，《智人之上》对人工智能也采取了一种谨慎的态度。作者赫拉利指出，未来可能并不会出现科幻大片中的末日景象或者机器人对于人类的造反这种让人感到滥熟的桥段，事实上我们真正需要担心的是以下两种情况：

gate io:赫拉利看到了硅幕之下人类岌岌可危的未来丨《智人之上》书评-gate交易所

首先，人工智能的力量可能会大幅加剧人类既有的冲突，让人类形成内斗。正如同冷战时代的铁幕，21世界的硅幕可能会区隔出不同的敌对势力，产生新的全球冲突，也就是人与人之间的敌对。比如，信息垄断造成的企业帝国——2023年谷歌在全球市场的搜索市场占有率是91.5%，而因此它掌握的数据和算法，可能天然形成了垄断，从而影响到弱小国家的政治格局。在这种新的数据殖民主义下，科技大企业会通过控制数据来操纵遥远的国家，现实的例子就是脸书、YouTube等美国社交媒体就为了追求利润，曾经导致缅甸、巴西的政治动荡。对比他们所鼓吹的企业文化，就显得非常讽刺。

其次，未来的状况可能是人类历史上都不曾出现的，硅幕所分隔的或许不是彼此敌对的人类，而是一边是所有人类，另一边是新产生出的人工智能霸主，“不论在哪里生活，我们都可能被一张看不透的算法大网束缚，控制着我们的生活，重塑着我们的政治和文化，甚至是去改造我们的身体和思想，但人类却再也无法理解这些控制着我们的力量，更别说加以阻止。”

当下孕育了未来

赫拉利带我们回顾了人类社会的发展历史，一定程度上，人类社会的发展就是信息网络联结形式的发展，也就是在真相和秩序之间进行平衡的发展。事实上，人类共同体是靠信息-故事编织成的共识性叙述所构成的。法律，宗教，货币，教会，他认为都是这种存在于主体间的现实，尽管它们原本并不一定真实，但是在共识形成之后，就有了力量。作者指出人类社会正是因为创造这种主体间的故事，彼此联结，定义身份认同和利益。他采用了一种马基雅维里主义的视角来阐释，真正让人成为社群维系在一起的往往是虚构的故事，关于神衹、货币和国家，相比于真相，虚构的故事更容易让人团结起来。

长久以来人类一直面临着两难的困境，为了追求生存和繁荣，人类的信息网需要在真相和创造秩序之间进行平衡。然而真相有时会破坏秩序，导致混乱；有时，秩序也为了维持自身而压制真理和真相。著名的例子就是达尔文的演化论，这个理论增进了人们对于各种物种起源和生物学的理解，但是也破坏了许多社会赖以维系的核心神话，因此当演化论出现时就遭遇到了欧洲各种权力机构和教会的压制和禁止。因此，赫拉利得出一个结论：“我们实在没有办法说人类信息网络的历史是一场进步的胜利游行。虽然人类网络的力量一代比一代强，却不见得越来越明智。如果某个人类网络把秩序看得比真相更重要，它可能掌控着无比强大的力量，却会不明智地使用这种力量。”

显然，这并非杞人忧天。计算机技术这个推动信息革命的基础，和过去的一些技术有着本质上的不同。首先，相比于过去的技术如蒸汽机，它能够自己做决策；其次，它也能够创造出新的想法。这些性质都改变了我们当下的社会关系网络。甚至社交媒体的算法，已经在很多社会中散播仇恨，破坏社会的凝聚力。赫拉利列举了脸书在2016-17年如何助长了缅甸涉及到罗兴亚人的暴力冲突的事例。在缅甸进行改革开放之际，脸书也作为海外投资进入到缅甸，然而，随着政府放松管制和审查制度，社会种族之间日趋紧张。占多数的信仰佛教的缅族人和占少数的伊斯兰教的罗兴亚人之间冲突不断升级，最终导致7000-25000名平民被杀，18000-60000名男女被强奸和虐待，73万名罗兴亚人被驱逐出缅甸。在这场冲突中，脸书的算法起了决定性的作用，它决定了要推广哪些帖子，而这些帖子恰巧强化和煽动了针对罗兴亚人的暴力仇恨和歧视。甚至联合国的事实调查团在2018年的调查中也指出，在散播仇恨内容的过程中，脸书扮演了“决定性的角色”。

脸书辩称自己只是中立的工具和技术平台，关键在于使用者，充其量只是被动的不作为；然而事实是，这些算法平台和过去的技术是完全不一样的，因为，它并不是被动地被使用者所使用，而是主动选择性地让特定的内容进行传播。事实上是脸书自身的算法决定了推荐极端内容给观众，例如在缅甸这场事件中，有53%的视频是由算法自动播放给民众。

作者指出，脸书的商业模式决定了用户的参与度至关重要，提升用户的参与度就会吸引更多的投资人，从而推高脸书的股价。换句话说，流量越大，脸书越有钱。因此，算法的目标就是提高流量和用户的参与度，而对此，传播愤怒，远比传播其它信息更为有效。2019年12月脸书内部流出的文件就指出，“病毒式传播不同于我们和好友或家人的沟通，而是一种由我们带到许多生态系统之中的新事物……这种事之所以发生，是因为我们出于商业目而刻意去推动。”该文件承认，通过数据，“我们的排序系统包括了各种具体的独立预测，不仅预测你可能参与哪些内容，还预测你可能传播哪些内容。遗憾的是，研究显示，让人感到愤慨的内容与错误信息更有可能像病毒那样传播。” 这种算法鼓励了更偏激和极端的表达，正如赫拉利所指出，“脸书与YouTube的算法也通过奖励人性里某些基本本能，同时惩罚人性里某些善良的部分，而创造出了互联网喷子。”

我们当下的关系、情感、甚至社会的整体偏好，也因此被社交平台通过算法重塑。赫拉利写到，“当下历史的重大进程，有一部分是由非人类智能的决定推动的。正因如此，计算机网络的易错性才变得如此危险。计算机犯错原本不算什么，但当计算机成了历史推动者时，这些错误就可能带来灾难。”

比取代工作更为糟糕的事情

很大的可能，人工智能浪潮远不是取代我们的工作那么简单。除了近几年社交媒体流行的“困在算法里的打工人”那样的叙事，赫拉利指出，人工智能带给我们的可能还有更多的问题。

首先，各种算法可能强化了我们现有的社会偏见、歧视和不平等。2016年3月23日，微软推出的智能聊天机器人Tay，通过机器学习，已经表现出厌女和反犹主义倾向。原因是训练这些机器的数据来源就是如此，如果现实中本身就存在各种的偏见，那么这些AI不仅可能不会消除这些偏见，更有可能学习、深化这种偏见。赫拉利甚至构想出一个有趣的例子，如果算法基于现实数据创建“好员工”模型，极大的可能是老板的侄子，因为过去的数据表明，老板的侄子普通能够通过就职要求被录用，并且绩效考核更优，而且很少被解雇，那么算法如果负责人力资源部门，可能就会认定老板的侄子是好员工。这并非只是笑话。现实中也确实发生过同样的情况，比如亚马逊在2014-18年实验求职申请算法时，发现女性和女子大学都会被系统性扣分，原因在于，女性更容易遭受职业歧视，所以现有的数据表明此类的求职者被录用的概率更低，从而让算法也对女性产生了偏见，最终亚马逊不得不终止了这个项目。

其次，未来可能会将多数人都困在算法中，形成坚固的社会固化。比如，保险公司通过大数据认为一个年轻人在50岁会患上疾病，通过这套算法，更多需要救助的人实际上需要付费更多。当然最糟糕的情况可能不止于此。若未来人们一切的社会评估体系都采用算法，“咸鱼翻身”或“机遇”就不可能被人们所期待。欧盟在2021年的《人工智能法案》中已经意识到了这个问题，从而提出完全禁止人工智能类型的社会信用体系评估，因为这会“导致歧视的结果，使某些群体遭到排斥”，以及“可能侵犯人类拥有尊严与不受歧视的权利，违反平等与正义的价值。”

此外，人工智能还可能导致频繁的失业和社会的动荡。工业革命尽管让工厂自动化，使得一些人失业，但是也创造了更多的服务业工作。而在人工智能时代，一些新的职业会被创造出来，但人们无法预测哪些工作与任务会消失。这种不确定性，甚至导致学校不知道该传授什么样的技能给学生，特别是大学校园里的学生。随之而来的一个问题，“未来的就业将极不稳定。我们的大问题并不是人类真的没有工作可做，而是面对不断变化的就业市场，我们该如何进行再培训与调整适应。”这可能产生一系列问题，如果人们失业，如何在他们过渡时期提供社会保障，如何克服此时的心理难关等等。而且新旧工作的迭代可能会非常迅速，甚至会造成社会的动荡。

最后，无人能够监管人工智能网络。相比于过去任何的官僚制度，计算机网络是全天候不休息，赫拉利担心这会迫使人类过着这样一种 “永远连线，永远受到监控”的生活。因此，我们必须阻止计算机网络全面控制我们的社会，这不仅是为了让人能够有闲暇和休息的时间，还为了有机会能够修正网络中积累的错误，否则甚至连网络中的错误，人们都来不及修正。尽管计算机比人有效率，但并不代表它一直正确。“信息并不等于真理与真相。一套全面监控的系统对世界与人类的理解可能极为扭曲。计算机网络可能并不会找出关于世界与人类的真理与真相，反而是利用它庞大的力量，创造出一套新的世界秩序，并逼迫人类接受。”

实际上，此时的人工智能可能就如同神一样的存在，赫拉利不无担心地描绘“计算机能适应不断变化的情景，也能向我们解释它们的决定与想法。因此，有人或许会认为：我们终于成功找到了一种无懈可击的信息技术，计算机就像一部神圣的宗教经典，这部经典不但能与我们对话，还能进行自我诠释，完全不需要任何人类机构介入。”