4月20日，清华大学梅汝璈法学讲席教授冯象做客第132期文汇讲堂暨华东师范大学第五届思勉人文思想节名家演讲之四，主讲《谁害怕人工智能》。本次讲座由文汇报社和华东师范大学共同主办。
演讲音频请登录文汇微电台(App喜马拉雅·听-搜文汇讲堂2019）收听。
摄影、制图：本报见习记者邢千里金梦参与本版整理
嘉宾主讲
今天我想从法律的角度谈谈人工智能带来的挑战。从人机关系的视角看，主要包括两项巨大的挑战，一是机器替换人类，导致失业浪潮；二是人工智能的军事化，智能武器在利比亚内战中已大量使用。用美国科幻文学的口号来说，未来已经来到。
挑战之一：个人隐私的逐渐消亡
人工智能带来的首要挑战是个人隐私的消亡。在传统社会，隐私之所以被称为“私”，是因为它可以“隐”。中文词将其特点诠释得非常完美。
当前社会已经普遍使用机器智能，它能够记录每个人的行为与信用表现，其背后涉及的法律问题就是个人的隐私权。在法律层面，隐私权是一项非常重要的权利。美国在经过了多年的宪法诉讼后，隐私权早已被确立为宪法中的一项基本权利，中国编纂起草的统一《民法典》正在审核中，隐私权正是其中一项非常重要的内容。
AI商业模式：与知识产权相反的数据获取
今天，人工智能的来临，导致隐私从人类的日常生活中消失。那么，我们是否有必要保护这种正在消失的权利？就像脸书创始人马克·扎克伯格说的：我们为什么需要隐私？我的客户很乐意把隐私交给我们，因为我们的服务能给他们带来不可抗拒的便利。尽管我们可从哲学、伦理学、法学等各个角度切入，寻找多种理论上的应对方案，但人工智能技术实际上在现有的市场经济条件下，必定会按照一定的商业模式涌入社会。推广人工智能最有利的产品就是智能手机。扎克伯格和他的团队惊人地推出人工智能的商业模式。
人工智能的商业模式与知识产权模式完全相反。所谓知识产权，就是在任何无形的东西上设立产权。例如，一束花并不是知识产权，但拍花的照片，它的使用就可以成为知识产权，这朵花的香味也能做成一个具有识别性的标记，称作商标，也就是知识产权。因此，知识产权的主要用途就是禁止他人随意复制或使用，需要付费才能使用。
在目前的商业竞争和经济活动中，知识产权是一个非常有效的竞争手段，因为它可以打击竞争对手，通过诉讼强迫他人付费或承担更多的成本，促使对方不得不屈服。
从本质上说，商业模式的基础是对价交易，法律语言表述为，交易双方需要付出对价，形成契约。当前网络企业大平台采用免费或廉价的付费模式，而我们付出的对价就是个人信息。从我们购买手机的那一刻起，就已经提交了个人信息，并且还需不断地提交，我称之为硬规则，因为消费者必须接受。这些数据被企业获取，用于建立数据库，再转卖给第三方或者用于其他用途，例如开发新产品等等。
数据财产化后，企业掌握了每个人的隐私
数据如此重要，以至于现有的法律无法对其进行估算。数据所蕴含的巨大价值令业界非常希望将其财产化。那数据的原始主人是谁？难道不是我们每一个人吗？难道数据不是我们的财产吗？若是这样思考，脸书就无法运营了，因为它需要与几亿人签订合同。因此，数据的财产化是个法律问题，目前无解。虽然利益集团的游说非常激烈，不久的将来或会进行立法，但即使没有立法，数据事实上也已经是财产了，因为它是我们每天进行的无数次交易的标的物。法学理论认为，只要能成为交易的标的物，例如数据，那它就已享有财产的地位，只不过对它的保护缺少明文规定而已。所以，这些企业事实上已经掌握了我们每个人的隐私。
当然，还有一位参与数据收集竞争的主导者，即政府。在拥有发达的互联网产业之后，任何国家的政府必然深度介入数据的抓取。中国在这方面做得最好，大城市道路每50米就安装一个摄像头，促使暴力犯罪大幅降低，即便与发达国家相比，中国也走在最前端。虽然从隐私角度来说，这或许令人不安，但从产业发展以及政府对数据的抓取来说，这可以解决诸多问题。例如，许多传统上难办的案件到了数据时代非常容易破获。
挑战之二：引领法律走向硬规则体系
人工智能使我们忽视原本异常繁琐的程序、调查，不得不接受一些硬规则，这对于法制建设的影响非常巨大。什么是硬规则？中国的马路中间通常都设有一排铁栏，用于分隔两个车道，它强迫车辆必须在它自己的那条车道里行驶，不得越界。这也可以说明软规则的失效，政府可以选择其他整治交通的措施，但都不如硬规则方便、廉价。
警惕人工智能带来的规则制订权之争
硬规则带来了什么好处？它不需要像传统的法制建设那样由政府积极推动普法，也不用通过文艺作品向大众宣传规则的重要性，也无须事先征求民众的意见。一般来说，我们国家的立法应当按照民主原则，通过人民代表大会制度进行，或通过政府有关部门制定规章。但硬规则不同，硬规则主要由商家制定，它通过智能终端添加到我们身上，智能手机就是最佳的例子。手机硬规则通过用户点击“同意”键进入系统，如果用户不同意，也可以点“取消”键。这种合同在过去的人类社会中很少出现，而按照现在的制度和商业模式来看，这就是一种单方面为用户制定规则，使之通过衡量利弊或被迫接受的格式合同。
所以，整个法律制度实际上被人工智能引领着走向了硬规则体系。这令人感到害怕和忧虑，值得引起世人的注意。因为这种情况将导致资本力量过于强大。从国家的立场来看，立法必须回应民众的要求、呼声与利益诉求。但是，如果规则的制定权大量落入企业手中，其结果就大为不同了。
从某种角度来说，政府将比过去的工业化社会更大幅度地介入商业活动，这不利于建设健康的社会主义市场经济。依据市场经济理论，最理想的市场经济是政府只负责一部分的监管、注册和维稳等传统要求，但智能终端、智能经济、智能技术将改变原有格局。
商家过度承担硬规则的制定，将加剧贫富差距
事实上，硬规则的制定权越来越多地归于商家，商家乐见其成，因为可增加利润收益。它的危机表现形式就是十多年前美国发生的华尔街金融危机。
我们要防止因网络技术、网络产业发展导致的贫富差距拉大和社会分化。不久前，美国黑石集团共同创始人、全球主席兼首席执行官苏世民向麻省理工大学捐款建立人工智能学院，明确要求该学院必须包括关于人机伦理的研究，而这类研究必须解决贫富分化、财富过度集中的问题。可见，苏世民已经清醒地认识到，人类社会所面临的新挑战，是财富的巨大分化带来的社会难题。作为富豪，他有责任提出这个问题，而学者必须在研究科技的同时关注伦理问题。中国“基因编辑婴儿”事件，是个典型的负面例子。其背后的投资人和合作者都是外国商家，试图进行商业冒险。
这表明，商业资本在市场博弈中具有盲目性，缺乏伦理约束。正如马克思所说：为了100%的利润，资本就敢践踏一切人间法律；有300%以上的利润，资本就敢犯任何罪行，甚至去冒绞首的危险。既然如此，我们该如何注意伦理问题？必须加强政府部门和行业本身的约束。政府部门相当于外部约束、外部监管，行业本身也有自我教育、自我培训等自律的要求。
挑战之三：深刻改变生活习惯和生命意义
从科学发展的角度来说，探索是非常必要的。对那些不得不发展的产品而言，我们必须在技术条件与科学原理上继续探索，以便获得对人类有益而非有害的结果。人工智能在这方面的表现特别醒目。
麦当劳配方秘诀：按基因喜好迎合全人类口味
开发人工智能的商家非常聪明，智能终端通常根据反复实验研究人的心理和习惯，以及由基因决定的倾向性来设计界面，因此，一个出生不久还不会说话的婴儿会很快发现手机或平板电脑的可爱之处，并与之互动，这是设计的成功之处。
另以麦当劳为例，它是实验室的产物。以工业化养殖的牛、猪、鸡作为原始材料，经过混合、配方以及化学处理，调试出令全球儿童都喜欢的口味，并为此成立了一所麦当劳大学。在美国，即便是含着金钥匙出生于贵族家庭的小布什也爱吃这种食品，因为他无法拒绝这种根据人类基因构成研制出的味觉配方。
终端界面的设计也是如此，比如手机制造商研制的可折叠手机最初也受到批评，但很快就寻找到了感觉与方向，因为这些企业拥有全球最顶尖的设计团队。设计者并不仅仅是为了让用户使用方便，而是要让用户无法摆脱。
改变审美趣味，机器设置的产品影响生命意义
微软小冰作诗是个很有意思的现象，如果将机器人与杜甫、李白相比，那就理解有误了。在我看来，微软研发小冰的意图并非让它成为杜甫，华为研发5G产品也并非想让其成为爱因斯坦或牛顿，他们的根本目的是占领市场。AlphaGo团队将其研发的机器人投入市场，是为了实现取代人类智慧的最终目标。因此，我所关心的是小冰下一步商业化之后如何改变我们与下一代人类对诗歌、文学以及艺术的感受。这一团队以及它的竞争者或许已在基因层面探索人类对文字和音乐的感受，以便研发出的产品能够改变人机关系，我将其称作较为终极的挑战，因为它改变了生命的意义。
可以想象那个时代，杜甫将是极少数学院派研究的对象，因为机器已经研发出完全不同的风格，让我们从小就会喜欢。音乐、美术、戏剧表演都是如此。
在立法领域，一旦机器大规模介入，人类将无法厘清规则，因为每部机器都会将规则无限复杂化，其复杂程度远超人类所能理解的范围，只有利用机器才能与之对抗。
未来走向：我们是否需要机器？这是终极挑战
那时，我们是否需要机器？这是一个终极挑战，它不仅颠覆了生命的意义，也颠覆了日常生活，它提供的便利和规则正在温水煮青蛙式地将人类逼至无法反抗的境地。
为此，我提出了两个方向，一是企业主导的知识产权垄断，主宰了我们的生活和社会；一是数据国有化，政府深度介入规则制定，从这个意义上讲，未来我们完全有可能进入共产主义社会。列宁曾说，人类将按照科学的进步程度来接受共产主义，共产主义在科学技术不发达的情况下是无法实现的。1960年代，一位苏联数学家提出综合数学模型，解说计划经济成功与失败的可能性，并获得了诺贝尔经济学奖。受此启发，我认为计划经济并非过去式，只不过不适合科技不发达的时代，将来人类有可能计划得非常完善，考虑到每一个人的需求。在无人驾驶领域，已有专家提出，机器驾驶的安全性远远高于人类。
现场互动
信奉自利的“理性机器人”将伤害人类
上海交大公共管理研究生王意博：您刚才讲到的案例：无人驾驶经过算法，决定选择最优方案——撞死路人保全乘客，但依据阿西莫夫的机器人第一定律，机器不能伤害人类个体。人工智能是否有权决定人类个体的生死？
冯象：人工智能领域的追问，最早的表现形式是文艺作品，因为作家比较敏感。阿西莫夫定律站在人类角度，背后的逻辑是主奴关系，若机器智能在很多领域均超越了人类，那它们是否还会接受人类的管束呢？
机器到目前为止都服从于人类的命令，没有自主选择权。但人类并不是利益统一的共同体，因此，人对机器的训练会赋予它不同的价值，资本主义社会的第一原则就是“自利”。若机器学会该原则，那它们就会争取自身利益，成为经济学家说的“理性机器人”，这将是人类毁灭的开端。
AI让马克思主义接受最新科技检验
华东师大传播专业研究生曾文新：您关于人工智能使得人类走向共产主义的观点，是马克思主义理论框架下的另辟蹊径，还是关于社会形式更替的具体细节补充？
冯象：马克思主义，是指导我国社会主义的基本理论。当前新的科学技术恰好为我们提供了一个重新审视它的机会。所以，它不仅是对传统经典马列著作中的一些论述的回应，更重要的是，它将用来检验我们已经接受的一些经典理论，而这恰好是毛泽东在《实践论》中提倡的精神。因此，这一挑战并不令人害怕，它同时也是全人类共同面临的问题，任何国家概莫能外。
智能终端为中介，使得虚拟社区蔚然成风
《城市中国》杂志编辑宋代伦：今年初，浙江省政府提出未来社区的概念，在当今算法兴盛或人工智能的背景下，如何想象未来“社区”的形态？
冯象：社区的基础实际上是群居的生物性需求，网络社会提供了新的可能性，其极端形式是两个恋人面对面依然通过智能终端交流，也使得其特有的兴趣、爱好、社会活动以及职业关注的虚拟社区得以盛行。
西方民主假设的前提是人与人之间交流越自由、表达意见越充分，就越有可能得到正确的决定。但互联网社会破除了这一假定，因为虚拟社区都是依照共同的兴趣和价值观组织起来的，而非不同意见组成的共同体，因而，两个不同的社区可能水火不容，或如老子所说的“鸡犬之声相闻，人不相往来”。当前各国政府都在学习如何应对新的社区世界。
拒绝AI进入最传统领域：宗教、情感
上海应用物理研究所科研工作者韩立欣：传统的诗歌、音乐甚至绘画，人工智能都已涉足了，哪些领域是其无法涉足的呢？
冯象：我想，或许只有人类最传统的领域了，比如宗教。也许会有机器崇拜的宗教，但是非机器崇拜的宗教依然会有市场。
再如人对人的依赖和伴侣的需求，在这个意义上，机器有了止步之处。换言之，不是机器做不到，而是我们不想让它做，或者会因此产生非常复杂的伦理问题。这样的拒绝非常困难，但仍是人类当前一个可能的选项。一位加州理工的科学家曾谈到，作为碳基生命有成长的天花板。例如人类想长寿，只能替换所有的器官，但这就是另外一种生命。也许整个银河系的碳基生命对非碳基生命的选择都是说“不”，他们愿意死于地球，而不是以另外物种的形式探索无穷无尽的太空。
未来的机器产生自主意识后会走独特之路
中学物理老师李世新：未来人际关系会怎样？
冯象：人工智能是不是对人类的模仿？一般观察是否定的。因为机器可以通过自主学习以后建立起自己的文明发展路径，成长为一个新物种。就像狗有狗的智能，人类有人类的智能，因而将来机器产生自主意识以后，会走出一条人类无法控制的独特之路。人类或成为马斯克所说的“作为被它（机器人）豢养的宠物”陪在身边，这是一种选择，也一定程度上呼应了今天的主题“谁害怕人工智能”。