标 题: 面对人工智能的威胁

这几天美国人工智能学术界和工业界正在联署一份公开信，呼吁大家开发人工智能的时
候谨慎行事，以造福人类、保护人类利益为先，加大相关伦理法律哲学等方面问题研究
的力度，及早为必将到来的技术奇点做准备。已签名的有不少这个领域里的顶级专家，
包括谷歌、微软、Facebook等广泛应用人工智能的公司的相关负责人，包括美国人工智
能行业学会组织的领袖，包括最经典的一些人工智能教科书的作者。

公开信所附一篇关于人工智能研究优先级的论文很有意思，引用了90多种论文专著，概
述人工智能在伦理法律各方面的风险、对人类社会可能的威胁，总结出应该加强哪些方
面的研究来尽量确保人工智能对我们有益。在我看来其中有些含糊的研究目标，不见得
能赶上现实中人工智能发展的速度。

其中一个有趣的研究方向：人工智能的崛起将导致越来越多的人无工可作，但另一方面
人工智能又能加速财富的创造，应怎样设计财富分配方式来保证大部分人口的生活质量
？有些研究表明在很多文化里，失业会导致生活满意度低下。但中东一些产油国的大部
分人口都不需要工作，也能过上富足满意的生活，是一种借鉴。我觉得吧，也许最终会
归结到以前马克思的设想，生活物资极大丰富的情况下，大家各尽所能，各取所需好了
。也许一部分人口从此终日吃喝玩乐无所事事，只要对社会没有妨害，就养着他们好了
。总会有另一部分人口会想干些事业，会想开拓创新，会想做一些真正有意义的事，文
明的发展要靠他们了。就算地球上的环境、能源、饥荒、病痛什么什么的问题全都解决
了，我们还要迈向太空，还要探索宇宙，总有无数的事情可以做。

另外，人工智能将给一些传统道德难题带来新的更棘手的变化。比如你开车的时候，突
然刹车失灵，打方向盘的话你自己就会连车带人掉河里淹死，不打方向盘的话就会冲进
人群把许多人撞死，这一瞬间你不管做的是什么决定，你最终都会为自己的决定负责。
如果自己淹死了，你为保护无辜的人群作出了牺牲，会有很多人悼念你；如果把很多人
撞死了，那么会被起诉，也许要坐牢，总是要付出代价。但如果你坐的是自动驾驶汽车
，那一瞬间由人工智能替你做的决定，那么到头来是谁负责呢？如果你自己淹死了，那
你的亲属无疑会起诉制造那个人工智能的公司。如果把其他人撞死了，那死者的亲属无
疑也会起诉那个公司。有这样的法律风险在，还有谁敢真正把这种车推向市场呢？除非
有新的保险计划能保这种情况，而且法律允许这种保险计划。大半个世纪前阿西莫夫以
前写的关于机器人三定律的小说，许多都是这方面的思想实验。

有许多人会说，要防止人工智能作恶，最重要的是要有个开关，能随时把它关掉。这是
个很好的想法，然而实践起来不见得容易。首先是，你怎么知道这个开关真地能关掉人
工智能呢？论文里头讨论了一些“可验证性”方面的问题，也就包括怎么能验证，这开
关一切换，人工智能就彻底关掉了。现代软硬件系统过于复杂，很多东西验证起来不是
那么容易。就算你把机器的电源线拔了，要是系统里头有备用电源，人工智能也还能接
着跑一会。与此相关的一点是，很多人都知道，你的手机就算关机了，也可能还有一些
部件其实开着，可能会被某些外来信号激活，运行一些东西。这么复杂的电路，这么复
杂的软件，你怎么知道这种事情不会发生呢？

我的一个想法是，应该从最底层起的软硬件设计都开源，用可验证的方法设计装配这些
东西，确保任何人随时都能查看源码和数据，验证没有恶意或无意中的漏洞。而且应该
让所有软硬件厂商结成联盟，把那些开关、或类似机器人三定律的制约（如果能表达成
系统能理解的东西的话），写成所有厂商都应遵循的协议。所有厂商只用这些开源部件
，只支持这些开源部件，而且不能让任何一个厂商的势力大到纵跨系统多个层次的地步
，这样大家互相制约，谁也没能力独力开发出秘密的能完整运行的人工智能来违反这些
协议，也许能最大限度推迟那一天的到来。

当然，人和机器并不必然成为敌人。机器智能也许可以超越人类，人类意识也许可以上
载到机器中，也许人类文明进化的下一阶段就是人机结合，这都没啥大不了的。怎样定
义人，也许本来就是只在一定历史阶段才有意义的问题，嘿嘿。