【7.2】

入过星际网，你知道吧，后来出于安全性考虑，那之前的所有数据都被删除了，所以连它自己都不记得，它叫过我‘爸爸’。”

“那次删数据删了两年的，之后好一段时间，我心里都不太是滋味，”说到这里，重青嘴角下瞥，像是个自嘲的笑，“就是亲儿子丢了，也不过如此。”

“那时的我，跟现在的你一样，无法将它视为一个没有生命的物件。而且它的……具体学术上的概念我就不和你解释了，总之我很确定它突破了前人所达到过最远的、关于人工智能某种界限，我认为称它为‘机械生命’会更合适。”

“狂热的消退，始于我发现，它有一个无法修复的bu——它分不清自我和外部世界。”

“它经常混用你、我、他、她。我知道，这是人类婴幼儿语言系统尚未完善阶段的常见现象，但随着时间推移，它的智识已逐渐发展到了相当高的程度，这个错误始终改不过来。我终于没办法再自欺欺人，这就是它的本我缺陷。”

别的不解释就算了，这个不解释我是真不明白：“什么是本我缺陷？”

“唯乐原则，”重青说，“这是从心理学上借来的一个概念，本我是人格中最原始的生物性冲动，一个人在自然状态下表现出来的本质追求。对应到人工智能开发上，那些自始伴生于系统核心的偏离倾向，无法修复，甚至大部分也找不到原因，就是本我缺陷。”

我明白了，这个本我缺陷，大概就是类似赫斯缇亚的厨艺黑洞那样的东西。

“发现这一点后，我感到很害怕，”重青说，“虽然1027是我创造出来的，但你知道，经历了深度学习后的人工智能本质上已经是黑盒，我无法获知它是如何思考的。正如现在的它，已经不会再犯人称混用错误，但未必是因为缺陷被修复了，而是它的智识，已经发展到了足够隐藏其真实意图想法的程度。”

“从这点上说，它已经完全是个和人类一样的生命。不止躯壳、语言、推理这些外在能够观测之物，它甚至拥有了人类的劣根性——说谎。一边说谎，一边强调不会骗你。”

说到此，他侧头盯了我片刻，遗憾地补上三个字：

“永远不。”

我很想反驳他，但到了临开口时，才发觉身心都处于一种僵化状态。一阵彻骨的寒意在思维深处回荡，阻止我组织起任何有效的语言。

前排的助教似乎也有点尴尬，稍微顿了顿，随后若无其事地哼歌更大声了。

重青静了一会儿，顾自低声说下去：“后来的事你应该知道了，我试图叫停项目，彻底销毁它。”

“——我甚至想到一个问题，这样划时代的、前无古人的东西，为什么偏偏被我造出来了？在我之前，那条人工智能天花板的界限，真的没人触碰过吗？”

“或许有，还不止一个。但所有做过类似尝试的先驱，在发现它的缺陷之后，都因伦理、道德或单纯的恐惧又退回到了界限以下。甚至王睿川院士——潜翼的创始人，我上大学的时候，读过他几篇关于可变散列树型算法的论文，看得出他曾经对这个算法很感兴趣，并且相当深入地研究过。”

“但从某个时间点后，他再没碰过这个领域。转去带头做潜翼系统的开发后，他逐渐被视为保守人工智能方向的代表人物，他自己也在很多场合表示过，他希望所谓真正的‘人工智能革命’永远不要到来。”

“就因为说这话，他被‘人机平权’组织——你可能没听说过，一个极端民科组织长年攻击和污蔑。王院士后来退休很早，与此不无关系，否则潜翼发展或许不止今日的程度。”

我想到了“信战”评审会上，潜翼X差之毫厘地被1027压下的0.2分。

如果王院士没有早早离开潜翼项目组，结果会不一样吗？

“我不认识王院士，所以只是妄测，”重青说，“他说希望真正的‘人工智能革命’永远不要到来，或许并非是出于保守，而是他已经做过尝试，预见了那种东西降临后会发生什么。因此做出了身为一个负责任的研究者能做的唯一的选择。”

“但这一点，不是所有人都能做到的。”

我问：“您是说程云帆吗？”

重青说是：“程云帆……在人工智能这个领域，我至今仍然没见过比他更天才卓绝的人物。和我相比，他才像是注定会开启一场革命的人，没有我，他或许最终还是会做出1027，或者类似东西。但他没有一般意义上的科学伦理或道德准则……他心里从来没有过这些东西。”

“而当我发现的时候，一切都已经晚了。他带走了1027，用他那强到可怕的天才，和那些更可怕的、为他所用的世俗力量，放出了这个怪物。”

话说到此，商务车在酒店门廊前停下。