美国知名科学家呼吁停止神化AI，实现数据尊严 - 比思論壇

近年，美国计算机科学家、视觉艺术家、计算机哲学作家及未来学家杰伦·拉尼尔（Jaron Lanier）与微软新英格兰研究院的经济学家格伦·魏尔（Glen Weyl）提出了“数据尊严”概念，强调个人有权控制和管理自己的数据，以确保数据的安全性、私密性，并保护其免受滥用或未经授权的访问。

4月20日，拉尼尔在《纽约客》发表标题为“没有人工智能（There Is No AI）”的文章，提出应停止对人工智能的神化，而将其作为一种创新的社会协作形式来看待。他反对最近呼吁停止训练更高级人工智能的联署信，并再次提出“数据尊严”概念：结束人工智能黑箱，记录比特的来源，“人们可以为他们创造的东西获得报酬，即使这些东西是通过大模型过滤和重新组合的”，“当一个大模型提供有价值的输出时，数据尊严的方法将追踪最独特和有影响力的贡献者。”

杰伦·拉尼尔被认为是虚拟现实领域的开创者，2014年，他被Prospect杂志评为世界前50名思想家之一。2018年，他被《连线》评为过去25年技术史上最具影响力的25人之一。以下为《纽约客》上述文章的翻译，为方便阅读和理解已做少量删减

作为一名计算机科学家，我不喜欢“人工智能”这个词。事实上，我认为它具有误导性——也许甚至有点危险。每个人都已经在使用这个词，而现在争论这个问题可能显得有点晚。但我们正处于一个新技术时代的开端——误解很容易导致误导。

“人工智能”这个术语有着悠久的历史——它是在1950年代计算机早期时代被创造出来的。更近的时间里，计算机科学家随着《终结者》和《黑客帝国》等电影、《星际迷航：下一代》中Data指挥官这样的人物成长起来。这些文化试金石已经成为科技文化中一个近乎宗教的神话。计算机科学家渴望创造人工智能并实现一个长期的梦想，是很自然的。

但令人震惊的是，许多追求人工智能梦想的人也担心，这可能意味着人类的末日。人们普遍认为，即使是处于当今工作中心的科学家也认为，人工智能研究人员正在做的事可能会导致我们这个物种毁灭，或者至少会对人类造成巨大伤害，而且会很快发生。在最近的民意调查中，有一半的人工智能科学家同意，人类至少有10%的可能性会被人工智能所毁灭。即使我的同行、经营OpenAI的萨姆-奥特曼（Sam Altman）也发表了类似的评论。走进任何一家硅谷的咖啡馆，你都能听到同样的争论：一个人说，新的代码只是代码，一切都在人的掌控中，但另一个人认为，任何持这种观点的人只是没有理解新技术的深刻性而已。这些争论并不完全是理性的：当我要求感到最害怕的科学家朋友说出人工智能末日可能发生的情况时，他们说：“加速的进步将从我们身边飞过，我们将无法想象正在发生的事。”

我不同意这种说话方式。我的许多朋友和同行对最新的大模型的体验印象深刻，比如GPT-4，而且像守夜一样等待更深层次的智能出现。我的立场不是说他们错了，而是说我们不能确定；我们保留以不同方式对软件进行分类的选择。

最务实的立场是将人工智能视为一种工具，而不是一种生物。我的态度并没有消除危险的可能性：无论怎么想，我们仍然可能以伤害我们甚至导致我们灭绝的方式，糟糕地设计和操作新技术。将技术神化更可能使我们无法很好地操作它，这种思维限制了我们的想象力，将其捆绑在昨天的梦想中。我们可以在没有人工智能这种东西的假设下更好地工作，我们越早理解这一点，就可以越早开始智能地管理新技术。

像OpenAI的GPT-4这样的程序，可以按顺序写出句子，就像维基百科的一个版本，包括更多数据，用统计学的方法混在一起。按顺序创建图片的程序就像在线图片搜索的一个版本，但有一个系统来组合图片。在这两种情况下，都是由人来撰写文本和提供图片的。这些新的程序将人类的工作以人类大脑的方式完成。创新之处在于，混搭过程变得有指导性和约束性，因此，结果是可用的，而且往往是引人注目的。这是一项重要的成就，值得庆祝——但它可以被认为是照亮了人类创造物之间曾被隐藏的一致性，而不是发明了一种新的思想。

就我所知，我的观点是在赞美技术。毕竟，除了社会协作，文明是什么？把人工智能看作是一种合作的方式，而不是一种创造独立、智能生物的技术，可能会使它不那么神秘，不像HAL 9000（《2001：漫游太空》里的机器人）或Data指挥官那样。但这是好事，因为神秘感只会使管理不善的可能性变大。

很容易将智能归为新的系统，它们具有我们通常不会与计算机技术联系到一起的灵活性和不可预测性。但这种灵活性产生于简单的数学。像GPT-4这样的大型语言模型，包含了程序处理过的大量文本中特定词汇如何重合的累积记录。这个庞大的表格使系统内在地接近许多语法模式，以及所谓的作者风格等各个方面。当你输入一个由某些词按一定顺序组成的查询时，你的输入会与模型中的内容相关联。由于关联数十亿条目的复杂性，每次的结果都可能有些不同。

这个过程的非重复性可以使它感觉很生动。而且在某种意义上，它可以使新系统更加以人为中心。当你用人工智能工具合成一个新图像时，你可能会得到一堆类似的选项，然后不得不从中选择；如果你是一个使用LLM（大型语言模型）作弊的学生，你可能会阅读由模型生成的选项并选择一个。一个产生非重复内容的技术要求有一点人的选择。

我喜欢的人工智能的许多用途，都是计算机不那么僵硬时给予我们的优势。数字的东西有一种脆性，迫使人们顺着它，而不是先评估一下。顺应数字设计的需要，创造了一种要求人类顺从的期望。人工智能的一个积极方面是，如果我们能很好地利用它，可能意味着这种折磨会结束。我们现在可以想象，一个网站为色盲重新制定自己的方案，或者一个网站根据一个人的特殊认知能力和风格来定制自己的方案。像我这样的人文主义者希望人们有更多的控制权，而不是被技术过度影响或引导。灵活性可以让我们重新获得一些代理权。

然而，尽管有这些可能的好处，担心新技术会以我们不喜欢或不理解的方式驱赶我们，也是非常合理的。最近，我的一些朋友散发了一份请愿书，要求暂停最雄心勃勃的人工智能开发。他们的想法是，在暂停期间，我们将研究政策。请愿书得到了我们圈子中一些人的签名，但其他人没签。我发现这个概念太模糊了——什么程度的进展意味着暂停可以结束？每周，我都会收到模糊不清的新任务声明，这些组织都在寻求启动制定人工智能政策的进程。

这些努力的初衷是好的，但在我看来是没有希望的。多年来，我一直从事欧盟隐私政策工作，我逐渐意识到，我们不知道什么是隐私。这是一个我们每天都在使用的术语，它在上下文中是有意义的，但我们不能很好地把它确定下来，以便归纳。我们对隐私最接近的定义可能是“独处的权利”，但在我们不断依赖数字服务的时代，这似乎很古怪。在人工智能的背景下，“不被计算机操纵的权利”似乎肯定是正确的，但并没有完全说出我们想要的一切。

AI政策对话被“一致”（AI“想要”的东西与人类想要的东西一致吗？）、“安全”（我们能预见护栏，阻止坏的AI吗？）、“公平”（我们能阻止一个程序可能对某些人不友好吗？）这样的术语统治。通过追求这些想法当然圈子里已经获得了很多好处，但这并没有消除我们的恐惧。

最近，我给同行们打电话，问他们是否有什么能达成一致的东西。我发现，有一个达成一致的基础。我们似乎都同意深度假象——虚假但看起来很真实的图像、视频等，应该由创造者标明。来自虚拟人的通信，以及旨在操纵人类思维或行动的自动化互动，也应该被贴上标签。人们应该了解他们所看到的东西，并且应该有合理的选择作为回报。

如何才能做到这一切呢？我发现，人们几乎一致认为，目前人工智能工具的黑箱性质必须结束。这些系统必须变得更加透明。我们需要更好地说出系统内发生了什么以及为什么。这并不容易。问题是，我们正在谈论的大模型人工智能系统并不是由明确的想法构成的。系统“想要什么”没有明确的表述，它在做一件特定的事情时没有标签，比如操纵一个人。只有一个巨大的果冻海洋——一个庞大的数学混合体。一个作家权利团体提议，当GPT等工具被用于剧本创作时，真正的人类作者应得到全额报酬，毕竟，系统是在借鉴真实人物的剧本。但是，当我们使用人工智能来制作电影片段，甚至可能是整部电影时，不一定会有一个编剧阶段。一部电影被制作出来，可能看起来有剧本、配乐等，但它将作为一个整体被计算出来。试图通过让系统吐出脚本、草图或意图等不必要的项目来打开黑匣子，将涉及建立另一个黑匣子来解释第一个黑匣子——一个无限的倒退。

同时，也不是说大模型内部一定是一个人迹罕至的荒野。在过去的某个时刻，一个真实的人创造了一幅插图，作为数据输入到模型中，再加上其他人的贡献，这就变成了一幅新鲜的图像。大模型人工智能是由人组成的，而打开黑盒子的方法就是揭示它们。

我参与提出的一个概念，通常被称为“数据尊严”。早在大模型“人工智能”兴起之前，它就出现了，即人们免费提供他们的数据以换取免费服务，如互联网搜索或社交网络。这种熟悉的安排被证明有黑暗的一面：由于“网络效应”，少数平台接管了，淘汰了较小的参与者，如地方报纸。更糟糕的是，由于直接的在线体验是免费的，剩下的唯一生意就是兜售影响力。用户体验到的似乎是一个集体主义的天堂，但他们却被隐秘的、令人上瘾的算法盯上，使人们变得虚荣、烦躁和偏执。

在一个有数据尊严的世界里，数字的东西通常会与那些希望因制造它而闻名的人联系起来。在这个想法的某些版本中，人们可以为他们创造的东西获得报酬，即使这些东西是通过大模型过滤和重新组合的，而技术中心将因促进人们想要做的事而赚钱。有些人对网上资本主义的想法感到恐惧，但这将是一个更诚实的资本主义。人们熟悉的“免费”安排已经是一场灾难。

科技界担心人工智能可能成为生存威胁的原因之一是，它可能被用来玩弄人类，就像前一波数字技术那样。考虑到这些新系统的力量和潜在影响，担心可能灭绝也不是没有道理的。由于这种危险已得到了广泛的认识，大模型人工智能的到来可能是一个为改善科技行业而进行改革的机会。

落实数据尊严将需要技术研究和政策创新。在这个意义上，作为一个科学家，这个主题让我感到兴奋。打开黑匣子只会让模型更有趣。而且它可能会帮助我们更多地了解语言，这是真正令人印象深刻的人类发明，也是我们在这几十万年后仍在探索的发明。

数据尊严能否解决人们对人工智能经常表达的经济忧虑？主要的担忧是，工人会被贬低或取代。在公开场合，技术人员有时候会说，在未来几年，从事人工智能工作的人将会有更高的生产力，并会在一个更有生产力的经济中找到新的工作类型。（例如，可能成为人工智能程序的提示工程师——一些与人工智能合作或控制人工智能的人）然而，在私下里，同样的人经常会说，“不，人工智能将超越这种合作的想法”。今天的会计师、放射科医生、卡车司机、作家、电影导演或音乐家再也赚不到钱。

当一个大模型提供有价值的输出时，数据尊严的方法将追踪最独特和有影响力的贡献者。例如，如果你要求一个模型制作一部动画电影：我的孩子们在油彩世界中冒险，有会说话的猫。那么起关键作用的油画家、猫的肖像画家、配音演员和作家——或者他们的遗产——可能被计算为对新创作有独特的重要性。他们将得到认可和激励，甚至可能得到报酬。

起初，数据尊严可能只关注在特定情况下出现的少数特殊贡献者。不过，随着时间的推移，更多人可能会被包括进来，因为中间的权利组织——工会、行会、专业团体等开始发挥作用了。数据尊严圈子的人们有时称这些团体为个人数据的调解人（MIDs）或数据信托。人们需要集体谈判的力量，以便在网络世界中拥有价值——特别是当他们可能在巨大的人工智能模型中迷失时。当人们在一个群体中分担责任时，他们会自我监督，减少政府和公司审查或控制的需要或诱惑。承认大模型的人类本质，可能会导致积极的新社会机构开花结果。

数据尊严不仅仅针对白领角色。考虑一下，如果引入人工智能驱动的修剪树木的机器人会发生什么。修剪树木的人可能会发现自己的价值被贬低，甚至失去工作。但是，机器人最终可能使用一种新型的景观美化艺术。一些工人可能会发明具有创造性的方法，比如从不同角度看都不一样的全息图案，这些方法会进入修剪树木的模型。有了数据尊严，这些模型可能会创造新的收入来源，通过集体组织分配。随着时间的推移，树木修剪将变得功能更多和更有趣；将有一个社区被激励出价值。每一个新的人工智能或机器人应用的成功引入，都可能涉及一种新的创造性工作的开始。无论大小，这可以帮助缓和向整合大模型的经济的过渡。

硅谷的许多人将全民基本收入视为解决人工智能造成的潜在经济问题的办法，但全民基本收入相当于让每个人都依靠救济金，以维护黑箱人工智能的想法。我认为这是一个可怕的想法，部分原因是不良行为者会想在一个全体福利制度中夺取权力中心。我怀疑数据尊严是否能增长到足以支撑整个社会，但我也怀疑任何社会或经济原则都会变得完整。只要有可能，目标应该是至少建立一个新的创造阶层，而不是一个新的依赖阶层。

模型的好坏取决于其输入。只有通过像数据尊严这样的系统，我们才能将模型扩展到新的领域。现在，让大型语言模型写一篇文章比让程序生成一个互动的虚拟世界要容易得多，因为已有的虚拟世界非常少。为什么不通过给开发更多虚拟世界的人一个获得声望和收入的机会来解决这个问题？

数据尊严可以帮助解决任何一种人类灭亡的情况吗？一个大模型可以让我们变得无能，或者让我们非常困惑，以至于社会集体走火入魔；一个强大、恶意的人可以利用人工智能对我们所有人造成巨大伤害；有些人还认为模型本身可以“越狱”，控制我们的机器或武器，用它们来对付我们。

我们不仅可以在科幻小说中找到其中一些情景的先例，还可以在更普通的市场和技术失败中找到。一个例子是2019年波音737 MAX飞机的空难。这种飞机有飞行路径校正功能，在某些情况下会与飞行员对抗，导致两次出现大规模伤亡的坠机。问题不是孤立的技术，而是它被整合到销售周期、培训课程、用户界面和文件中的方式。飞行员认为他们在某些情况下试图抵制该系统是正确的，但他们的做法正是错误的，而且他们无从知晓。波音公司未能清楚地沟通技术的运作方式，由此产生的混乱导致了灾难。

任何工程设计——汽车、桥梁、建筑——都可能对人造成伤害，但我们却在工程上建立了一个文明。正是通过提高和扩大人类的意识、责任和参与，我们才能使自动化变得安全；反之，如果我们把我们的发明当作神秘物品，我们就很难成为好的工程师。把人工智能看作是一种社会协作的形式更具有可操作性：它使我们能够进入机房，机房是由人组成的。

让我们考虑一下世界末日的情景，即人工智能使我们的社会脱离轨道。可能发生的一种方式是通过深度伪造。假设一个邪恶的人，也许在一个处于战争状态的敌对政府工作，决定通过向所有人发送我们所爱的人被折磨或被绑架的令人信服的视频，来煽动大众的恐慌。（在许多情况下，制作这种视频所需的数据很容易通过社交媒体或其他渠道获得）。混乱会接踵而来，即使很快就会发现这些视频是伪造的。我们如何才能防止这种情况的发生？答案很明显：确保数字信息有背景（context）。

网络的最初设计并没有记录比特的来源，可能是为了使网络更容易快速发展。（一开始计算机和带宽都很差。）为什么当记住比特的来源（或近似于来源）变得更可行时，我们不开始记录？在我看来，我们总是希望网络比它需要的更神秘。不管是什么原因，网络生来是为了记住一切，同时忘记来源。

今天，大多数人理所当然地认为，网络，以及它所建立的互联网，就其性质而言，是反背景、没有出处的。我们认为，去背景化是数字网络概念本身所固有的。然而，事实并非如此。不朽的科学家范尼瓦尔·布什（Vannevar Bush）在1945年、计算机科学家泰德·纳尔逊（Ted Nelson）在1960年提出的数字网络架构的最初建议，就保护了出处。现在，人工智能正在揭示忽视这种方法的真正代价。没有出处，我们就没有办法控制我们的人工智能，也没有办法使它们在经济上公平。而这有可能将我们的社会推到边缘。

如果一个聊天机器人出现了操纵性、刻薄、怪异或欺骗性的行为，当我们问及原因时，我们想要什么样的答案？揭示机器人学习其行为时的来源，将提供一个解释：我们会了解到它借鉴了一部特定的小说，或者一部肥皂剧。我们可以对这种输出作出不同的反应，并调整模型的输入以改善它。为什么不一直提供这种类型的解释？在某些情况下，可能不应该透露出处，以便优先考虑隐私，但出处通常比对隐私的独家承诺更有利于个人和社会。

数据尊严的技术挑战是真实的，必须激发严肃的科学志向。政策上的挑战也将是实质性的。但我们需要改变思维方式，并接受艰苦的改造工作。如果坚持过去的想法——包括对人工智能独立可能性的迷恋——我们就有可能以使世界变得更糟的方式使用新技术。如果社会、经济、文化、技术或任何其他活动领域要为人服务，那只能是因为我们决定人享有被服务的特殊地位。