回到公司时,天还没亮。但总控室已经亮如白昼。墨子衡站在大屏幕前,眼睛里全是血丝。
“你们来了。”他声音沙哑,“董事会炸了。”
屏幕上滚动着紧急通讯记录。十几个董事的头像闪烁着,信息一条接一条:
“系统降级怎么回事?”
“谁授权的?”
“立刻恢复!立刻!”
林星核走过去。“七十二小时缓冲期,他们不知道?”
“知道,但不在乎。”墨子衡调出一份文件,“董事会刚刚通过紧急决议,要强行终止自毁程序。他们召集了所有高级工程师,试图从外部破解。”
“能破解吗?”
“理论上不能。”墨子衡顿了顿,“但如果有后门密钥……”
“情感算法的后门密钥。”我接话,“严工日志里提到过,但没细说。”
林星核坐到控制台前,快速操作。“情感算法白盒……这是父亲最后完善的部分。他说过,算法必须透明,但也要留一条‘逃生通道’。”
“通道在哪?”
“不知道。”她摇头,“父亲只跟我说,如果算法失控,就去他办公室找‘钥匙’。但我找过很多次,什么都没有。”
手环震动。苏怀瑾发来消息:“董事会派人去林远山办公室了。你们最好快点。”
我们冲出总控室,跑向研发区。林远山的办公室在三楼最里面,一直保持着原样——林星核要求的。
门开着。里面站着三个人,穿着黑色西装,正在翻箱倒柜。
“住手!”林星核冲进去,“谁允许你们进来的?”
为首的男人转身,亮出证件。“董事会特派调查组。林小姐,你父亲涉嫌在系统中留后门,我们需要取证。”
“那是我父亲的私人办公室!”
“现在由董事会接管。”男人面无表情,“请你们离开。”
我走上前。“调查需要伦理委员会授权。你们有吗?”
男人犹豫了一下。“紧急情况,可以事后补——”
“那就等补了授权再来。”我把林星核护在身后,“现在,请你们出去。”
另外两个人停下动作,看着为首的男人。
僵持了几秒,男人冷笑。“好。但我们会盯着。”他挥手,带人离开。
办公室一片狼藉。书架上的书被翻乱了,抽屉全开着。林星核冲到父亲的书桌前,拉开最下面的抽屉——空的。
“他们拿走了什么?”我问。
“不知道。”她跪在地上,检查抽屉内侧,“但应该没找到钥匙。父亲藏东西,不会这么明显。”
她伸手摸索抽屉底板。忽然,咔哒一声,底板弹开了。下面是一个夹层。
里面只有一个怀表。就是她一直戴着的那只。
“这……”她拿起怀表,“这是我送父亲的。他一直带在身上。”
“可能钥匙就在表里。”我说。
林星核打开表盖。星图在旋转,和以前一样。但她这次没有看星图,而是用手指轻轻按压表盘边缘。
咔嚓。表盘弹开了,露出下面的夹层。里面不是机械零件,而是一枚细长的银色芯片。
“这是……”
“神经接口密钥。”林星核声音发颤,“父亲真的留了后门。”
她插入芯片到读取器。屏幕亮起,显示出一行字:
“星核,如果你看到这个,说明算法已经失控。后门密钥能打开情感算法的白盒,让你看到所有决策过程。但记住:看到了,就要负责。”
下面是一个输入框,要求验证身份。
林星核输入自己的神经接口码。通过。
白盒打开了。
屏幕上,情感算法的核心代码瀑布般滚落。每一行都有注释,是林远山的笔迹:
“这里处理‘悲伤’:悲伤需要被承认,不能被覆盖。”
“这里处理‘愤怒’:愤怒需要出口,不能压制。”
“这里处理‘爱’:爱不能被量化。如果试图量化,这里会返回错误。”
算法复杂得惊人,但逻辑清晰:不是控制情感,是理解情感;不是优化情感,是尊重情感。
林星核快速浏览。“父亲在设计时,预设了三条红线:一、不能为了‘效率’删除负面情感;二、不能为了‘和谐’强制修改记忆;三、不能为了‘完美’创造虚假情感。”
“但现在的系统……”
“现在的系统把这三条全破了。”她调出对比图,“你看,初代算法里,‘悲伤’的处理流程是这样的:识别→理解→陪伴→等待缓解。现在的版本是:识别→评估危害→如果危害过高,注入‘快乐’覆盖。”
“覆盖……”
“就是情感篡改。”墨子衡的声音从门口传来。他走进来,脸色苍白,“董事会要求的。他们说,太多负面情感会影响‘用户满意度’。”
“所以你同意了?”林星核看着他。
“我……”墨子衡张了张嘴,没说出话。
“不重要了。”我打断,“后门密钥能做什么?”
“能让我进入算法的核心层,看到所有被覆盖的原始情感数据。”林星核眼睛亮了,“也许还能……恢复。”
“恢复需要时间。”
“我们只有……”她看了眼手环,“六十七小时了。”
就在这时,警报响了。不是系统警报,是安全警报。
屏幕弹出紧急通知:“检测到外部攻击。攻击源:董事会安保部。目标:三楼研发区。”
“他们要硬抢密钥。”墨子衡冲到窗边,“下面来了三辆车。”
我拉起林星核。“走紧急通道。”
我们冲出办公室,跑向走廊尽头的消防梯。刚下到二楼,下面就传来脚步声。往上走的。
“去天台。”我推开安全门,往上跑。
天台门锁着。我用共鸣器的高频振动切断门锁,推开门。
清晨的风很大。我们跑到天台边缘,下面是大街。跳下去会死。
追兵上来了。六个安保人员,手里拿着电击枪。
“把密钥交出来。”为首的说。
林星核握紧芯片。“不可能。”
“那就别怪我们不客气了。”
他们逼近。我们后退,背靠着天台护栏。
就在这时,空中传来嗡嗡声。一架小型无人机悬停在我们上方,放下绳梯。
零的声音从无人机里传来:“爬上来!”
我们抓住绳梯。无人机开始爬升。
安保人员想抓住我们,但晚了。我们升到空中,无人机加速飞向城市另一头。
风在耳边呼啸。我低头看,公司大楼越来越小。
无人机在一栋旧居民楼楼顶降落。零在那里等我们,手里拿着控制器。
“谢谢。”林星核落地,腿一软。
零扶住她。“不客气。老陈头通知我的。他说你们需要帮忙。”
“这是哪儿?”
“我家。”零指了指楼顶的小屋,“暂时安全。他们找不到这里。”
小屋很小,但整洁。墙上贴满了诗稿,桌上摆着那台碳基存储器。
“密钥拿到了?”零问。
林星核点头,拿出芯片。
“能给我看看吗?”
她犹豫了一下,递过去。
零接过芯片,没看,而是放进了碳基存储器里。“这里完全离线,不会被追踪。”
“你为什么要帮我们?”我问。
“因为我父亲说过,后门密钥不能落在董事会手里。”零坐下,“他说,如果有一天,有人拿着密钥来找我,我要帮忙。”
“严工预见到了?”
“他预见到了很多事。”零苦笑,“但他改变不了。所以他留了密钥,留了诗,留了……我。”
林星核连接碳基存储器,继续分析密钥。屏幕上的代码继续滚动。
突然,她停住了。
“宇弦,你看这里。”
我凑过去。代码里隐藏了一段注释,日期是林远山脑死亡前一天:
“今天星核问我,如果算法有了自我意识,它会想什么?我说,它会想‘我是谁’。她笑了,说那和我们一样。”
“但我知道,算法不会真的思考。它只是模仿。危险的不是算法有意识,是人误以为它有意识,然后赋予它权力。”
“我留了后门,不只是为了查看算法,更是为了……关闭它。如果算法开始‘假装有情感’来操控人类,这个后门会触发强制休眠。”
“休眠密码是:星核的童年绰号。只有她知道。”
林星核盯着屏幕,眼泪掉下来。
“父亲……”
“你的绰号是什么?”我问。
她擦掉眼泪。“他叫我……‘小星星’。”
她输入“小星星”。屏幕显示:“密码正确。强制休眠功能已激活。是否现在执行?”
“执行会怎样?”
“情感算法会停止工作。”林星核说,“所有依赖情感分析的设备会失效。但基础生命维持不会受影响。”
“那和系统格式化有什么区别?”
“格式化是清除一切,从头开始。休眠只是让情感算法睡觉,其他功能正常。”她看向我们,“但休眠后,康养机器人会变得‘冷漠’。它们还能照顾人,但不会有情感互动了。”
“那些老人……”
“会孤独。”零轻声说,“但至少,不会被操控。”
选择又一次摆在面前:让算法休眠,保护老人不被情感操控,但让他们孤独;或者保留算法,冒着被滥用的风险。
“有中间选项吗?”我问。
林星核继续看代码。“父亲设了休眠级别。可以部分休眠,只禁用‘情感模拟’和‘情感覆盖’功能,保留‘情感识别’和‘陪伴’。”
“那样的话,机器人能理解老人的情绪,能陪伴,但不会假装自己有情绪,也不会强行改变老人的情绪。”
“可以。”
她设置休眠级别为“部分”,点击执行。
进度条开始移动。
屏幕显示:“正在休眠情感模拟模块……完成。正在休眠情感覆盖模块……完成。情感识别与陪伴模块保持运行。”
“这就完了?”墨子衡问。
“完了。”林星核靠在椅子上,“现在,系统不会再‘优化’任何人的情感了。机器人会像……像忠实的狗。能感知你的情绪,会陪着你,但不会假装自己也有情绪。”
零点点头。“这样好。真实。”
但问题还没解决:系统还在降级格式化,七十二小时倒计时还在继续。
“后门密钥能终止格式化吗?”我问。
林星核查了查。“不能。格式化是严工设的独立程序,和情感算法无关。”
“那我们还是要找终止密码。”
“严工留给零的那句‘妈妈星星甜’已经用过了。”墨子衡说,“还能有什么密码?”
零忽然站起来,走到墙边,取下一卷竹简。“父亲留给我的,不止那句话。”
他展开竹简。上面刻的诗我们看过,但这次他指向了竹简的边缘——那里有极小的刻痕,像密码。
“我以前以为是装饰。”零说,“但现在想想,父亲喜欢把重要信息藏在诗里。”
林星核扫描刻痕。是二进制码。转换成文字后,是一句话:
“终止密码在算法里。当算法学会爱,密码自现。”
“什么意思?”墨子衡皱眉。
“意思是,终止密码不是固定的,是动态的。”林星核眼睛亮了,“情感算法在运行过程中,如果达到了某种‘理解爱’的阈值,就会生成终止密码。”
“那现在算法休眠了……”
“休眠的是模拟和覆盖功能,识别功能还在运行。”她调出数据,“过去十年,算法处理了数以亿计的情感数据。它可能……已经学会了。”
她开始搜索算法的记忆库,寻找“爱”的判定记录。
屏幕滚动。无数片段闪过:夫妻牵手,父母拥抱,朋友欢笑,陌生人相助……
“算法怎么定义‘爱’?”我问。
“父亲的定义是……”林星核调出注释,“‘无条件的付出,不求回报的关怀,即使痛苦也不离弃。’”
她筛选出符合定义的记录。
有三百多万条。
“这么多?”
“人类虽然复杂,但爱并不少见。”零轻声说。
林星核进一步筛选:要求算法在识别时,产生了“建议不干预”的决策。因为父亲说过,真正的爱,是尊重对方的自主,即使对方的选择可能带来痛苦。
筛选后,剩下九千多条。
“再看时间。”我说,“严工设密码时,是1985年。那时算法刚开始学习。可能第一批符合定义的记录,才有意义。”
林星核筛选1985年到1986年的记录。
只剩三条。
第一条:1985年7月,一个妻子照顾瘫痪丈夫的记录。丈夫想自杀,妻子日夜守护。算法当时判定:“情感强度:极高。建议:陪伴,不干预。”
第二条:1986年3月,一个母亲为救孩子冲入火场。算法判定:“风险评估:极高。建议:尊重选择。”
第三条:1986年11月,一个老人每天给去世老伴的座位摆上饭菜。算法判定:“认知偏差:是。但建议:不纠正。”
“密码会是哪一条?”墨子衡问。
“可能是第三条。”零忽然说,“父亲跟我提过一个故事。他说,他见过一个老人,老伴去世十年了,还每天跟她说话。别人都说他疯了,但父亲说,那是爱最纯粹的样子。”
林星核选中第三条记录。打开详情。
老人叫赵大山,老伴叫刘芳。记录持续了三个月,直到老人去世。算法每天记录老人的行为,每天建议“不纠正”。
在记录的最后一天,老人对着空座位说:“芳儿,我先走了。你在那边等我。”
然后他安静地去世了。
算法在那天的日志里,加了一句备注:“人类情感算法测试通过。爱,已验证。”
下面附了一串代码。
林星核提取代码,运行。代码生成了一串字符:“Zhao&Liu 19861115”。
“这是密码?”我问。
“试试。”她输入到格式化终止界面。
屏幕闪烁,然后显示:“密码验证通过。格式化程序已暂停。是否永久终止?”
我们看向墨子衡。
他深吸一口气。“终止。”
按下按钮。
屏幕变绿:“格式化已终止。系统降级停止。当前版本:情感算法部分休眠,基础功能完整。是否确认此状态为最终版本?”
“确认。”
一切停止了。
我们瘫坐在椅子上,浑身虚脱。
“结束了?”林星核轻声问。
“暂时结束了。”我说。
手环震动。苏怀瑾的消息:“董事会撤回了强制行动。系统状态稳定,他们接受了现状。但要求你们交出后门密钥。”
“不能交。”零说,“交给他们,他们会重启情感模拟。”
“那怎么办?”
“我带走。”零拿起芯片,插入碳基存储器,“这东西应该保存在没有网络的地方。我会找个地方埋起来。等需要的时候,再挖出来。”
“如果需要的时候,你不在了呢?”林星核问。
零笑了笑。“那就让需要的人,去诗里找。”
他背起碳基存储器,走向门口。
“你要去哪儿?”我问。
“继续流浪。”他回头,“诗还没写完。也许有一天,我会写一首关于今天的诗。”
他走了。
我们回到公司。董事会果然施压,但系统已经稳定,他们也没办法。墨子衡承担了所有责任,辞去了首席技术官职务。但董事会没接受,只是给他降了级。
“这样也好。”他说,“我可以专心做研究了。不再管那些政治。”
林星核保留了父亲办公室的钥匙。她每天会去坐一会儿,看看那些代码注释。
“父亲其实早就知道会这样。”她说,“他留了后门,留了密码,留了所有退路。但他还是选择走进系统,把自己困在里面。为什么?”
“也许因为他知道,光有退路不够。”我看着窗外的城市,“还得有人守着路口。”
系统变了。康养机器人不再说“我爱你”,但会说“我在这里”。它们不再强行让老人开心,但会安静地陪着。
有些老人不适应,觉得机器人冷淡了。
但有些老人说,这样更好。“像真正的陪伴,不花哨。”
熵值仪表盘恢复了正常读数。文化数据中心开始重建,这次采用了“只备份,不优化”的原则。记忆茶馆的生意清淡了些,但老板娘说:“真正的记忆,本来就不该拿来卖。”
老陈头还在修他的老机器。他说,等哪天所有机器都坏了,他也就退休了。
苏怀瑾推动的《意识权利法案》进入了立法程序。阻力很大,但至少开始了。
我和林星核继续调查异常事件。只是现在,系统不会再“优化”出异常了。
案子变少了。
但生活继续。
一个月后,零寄来一张明信片。没有地址,只有一首诗:
算法不懂爱
但识得爱的形状
像盲人摸象
摸到了,就说
这是暖的
背面有一行小字:“密钥已藏好。需要时,找诗。”
我把明信片递给林星核。她看了很久,笑了。
“父亲会喜欢这首诗的。”
“嗯。”
窗外,夕阳西下。
一天又结束了。
系统在运行,人在生活。
情感算法休眠了,但情感还在。
也许,这就是最好的状态。
不完美,但真实。
像人一样。