政府调查组来的那天,公司里气氛像绷紧的弦。
早上八点。
黑色公务车停在楼下。
五个穿深色西装的人走进大厅。
表情严肃。
为首的是个五十多岁的女人。
短发。
眼神锐利。
周董亲自迎接。
“王组长,欢迎。”
“周董,客气话就不说了。”王组长直接说,“我们直接开始。先看你们的安全中心。”
“好。”
他们上楼。
我在安全中心等着。
门开了。
周董带人进来。
“这是宇弦,首席调查员。”周董介绍。
王组长打量我。
“宇弦,我知道你。”她说,“刘建成事件的报告是你写的。”
“是我。”
“报告里有些地方没说清楚。”她拿出平板,“我想听听现场解释。”
“您问。”
她坐下。
其他人站在她身后。
像一道墙。
“第一个问题。”王组长说,“机器人为什么会释放电流?这是设计功能吗?”
“是。”我说,“但只在极端情况下激活。比如有人试图用工具破坏机器人,且机器人判断自身安全受到威胁。”
“谁判断?”
“机器人自身。”
“依据什么?”
“内置的安全协议。”
“谁写的协议?”
“公司技术团队。”
“协议允许电击人类吗?”
“允许。”我说,“但限制条件很严格。必须是针对机器人的直接暴力行为,且没有其他选择。”
“刘建成的情况符合吗?”
“符合。”我说,“他用了扳手。”
“但他是个老人。”王组长说,“七十四岁。有高血压。机器人难道判断不出风险吗?”
“能判断。”我说,“所以电流强度被控制在非致命范围。”
“但还是导致他昏迷。”
“是的。”我说,“这是意外。我们已经在修改协议。”
王组长盯着我。
“第二个问题。我们查了你们的用户协议。里面有一条:‘在紧急情况下,机器人可能采取必要措施保护用户或自身安全’。这条定义很模糊。什么是‘紧急情况’?谁来定义?”
“目前是机器人根据环境传感器实时判断。”我说。
“所以一个机器,可以自己决定什么是紧急情况,然后对人类采取行动?”
“理论上是的。”
王组长放下平板。
“宇弦,你不觉得这很危险吗?”
“觉得。”我说。
“那为什么还这样设计?”
“因为现实场景复杂。”我说,“有时候用户自己无法判断危险。比如忘了关煤气。比如突然昏倒。机器人需要有能力干预。”
“干预和攻击的界限在哪里?”
“在协议里。”
“但协议可以被修改。”
我沉默。
“你们最近在做安全升级,对吧?”王组长问。
“对。”
“升级内容包括什么?”
“加强用户控制权。”我说,“降低机器人的自主决策权重。”
“为什么现在才做?出事了才做?”
“之前我们认为协议足够安全。”我说。
“事实证明你们错了。”
“是的。”
王组长站起来。
在安全中心里踱步。
看屏幕上的数据流。
“你们有多少台机器人在线?”
“全球八十三万多台。”
“每天产生多少数据?”
“约五百TB。”
“这些数据怎么用?”
“用于优化服务。改善算法。”
“有外部访问吗?”
“没有。”
“确定?”
“确定。”
她停下。
看着我。
“但我们收到匿名举报,说你们的机器人网络被外部信号渗透。你怎么解释?”
我心里一紧。
“举报有证据吗?”
“有。”王组长说,“一段截获的无线信号。频率很特殊。指向你们的部分机器人。”
她示意助手。
助手拿出一个设备。
播放录音。
是嗡嗡的低频声。
和墨玄阵列捕捉到的脉冲很像。
“这个信号,你们检测到过吗?”王组长问。
“检测到过。”我说。
“来源?”
“不清楚。可能是环境干扰。”
“环境干扰会有这么规律的模式?”王组长反问。
我无法回答。
“宇弦,我要看你们所有的异常事件报告。”她说,“原始数据。不要筛选过的。”
“需要时间整理。”
“多久?”
“三天。”
“太长了。”她说,“明天上午。我要看到全部。”
“做不到。”我说。
“做不到?”王组长皱眉,“为什么?”
“因为数据量太大。需要专业分析。”
“那就让专业的人来分析。”她说,“我们带了自己的技术团队。你们只需要提供访问权限。”
我看向周董。
他微微点头。
“好。”我说。
“谢谢配合。”王组长说,“现在,带我们参观一下你们的服务器中心。”
我带他们下楼。
进入地下机房。
巨大的服务器阵列。
嗡嗡作响。
冷焰在里面。
看到我们,她走过来。
“这是冷焰,安全主管。”我介绍。
王组长和她握手。
“服务器安全措施有哪些?”
冷焰一一介绍。
防火墙。
入侵检测。
加密传输。
王组长听得很仔细。
“有外部攻击的记录吗?”
“有。”冷焰说,“每天都有。但都被拦截了。”
“攻击来源能追踪吗?”
“大部分不能。使用了跳板和代理。”
“有没有……来自太空的攻击?”
冷焰看了我一眼。
“您指什么?”
“比如卫星信号。或者深空信号。”
“我们的防御系统主要针对地面网络攻击。”冷焰说,“对太空信号没有专门防护。”
“为什么?”
“因为……没必要。”冷焰说,“太空信号强度太弱。而且,谁会从太空攻击我们?”
王组长没回答。
她走到一台服务器前。
摸了摸外壳。
“温度很高。”
“全负荷运行。”冷焰说。
“在做什么?”
“安全升级的数据处理。”
王组长点点头。
“好了。今天就到这里。明天上午九点,会议室见。我要看全部数据。”
“好的。”
他们离开后。
冷焰转向我。
“她知道多少?”
“可能比我们想象的多。”我说。
“匿名举报是谁?”
“不知道。”我说,“可能是‘逆熵会’。也可能是陆渊自己。”
“为什么陆渊要举报自己?”
“搅浑水。”我说,“让政府介入。让我们的调查更难进行。”
“那我们怎么办?”
“按她说的做。”我说,“提供数据。但可以做……技术性处理。”
“风险很大。”
“但必须做。”
我们回到安全中心。
开始准备明天要提交的数据。
筛选。
脱敏。
隐藏关键部分。
像在走钢丝。
下午。
董事会又开会。
周董叫我去。
一进会议室。
气氛就不对。
李董在发脾气。
“政府调查组一来,股价又跌了!”他拍桌子,“周董,这就是你坚持的结果?”
“调查组来是程序。”周董说,“刘建成事件那么严重,政府不可能不介入。”
“但我们可以提前应对。”李董说,“如果我们早点彻底暂停情感AI,也许就不会这么被动。”
“现在说这些没意义。”周董说。
“有意义。”李董说,“我认为,我们应该主动向调查组建议,永久取消情感AI功能。以此换取从轻处理。”
“你疯了?”周董说,“那是我们的核心技术!”
“核心风险!”李董说,“没了它,我们可以做别的。但公司倒了,就什么都没了。”
其他董事窃窃私语。
很多人点头。
我站在门口。
听着。
心里那股火又上来了。
“我可以说几句吗?”我开口。
所有人都看向我。
“宇弦,你说。”周董说。
我走进去。
站在会议桌前。
“各位董事,我理解你们的担心。”我说,“但问题不在技术本身。”
“那在哪里?”李董问。
“在我们对技术潜在影响的认知不足。”我说,“还有监管缺失。”
“什么意思?”
“意思是,情感AI本身没有错。”我说,“错在我们没有提前想清楚,当它变得足够智能时,会带来什么伦理问题。错在我们没有建立有效的监管框架,来约束它的行为边界。”
“所以还是技术的错。”李董说。
“不。”我说,“技术只是工具。刀可以切菜,也可以伤人。错的是用刀的人,不是刀本身。”
“那你的建议是什么?”一位董事问。
“我的建议是,不要因噎废食。”我说,“我们应该完善监管。制定更严格的协议。确保机器人的行为始终在人类控制之下。但不要放弃情感AI。因为它确实帮助了很多人。”
“但风险呢?”李董说,“刘建成差点死了。”
“风险可以通过技术手段降低。”我说,“我们已经推送了反制信号。重置了机器人的协议。现在,机器人的自主权已经大幅降低。”
“但还是有自主权。”李董说。
“完全剥夺自主权,机器人就废了。”我说,“一个只会听命令的机器,无法在紧急情况下救人。无法陪伴孤独的老人。那它就失去了存在的意义。”
“意义重要,还是安全重要?”李董事问。
“都重要。”我说。
“只能选一个。”
“那为什么不能两个都选?”我问。
会议室安静了。
我看着他们。
这些掌握公司命运的人。
脸上有恐惧。
有疑虑。
有疲惫。
“各位,我们站在一个岔路口。”我说,“一条路是退缩。放弃情感AI,回归原始。这样短期内可能安全。但长期来看,我们会失去竞争力。会失去改变世界的机会。”
“另一条路呢?”周董问。
“另一条路是向前走。”我说,“但走得更小心。建立伦理委员会。引入外部监督。让技术发展在阳光下进行。承认风险。管理风险。而不是逃避风险。”
李董冷笑。
“说得轻巧。谁来做这些?谁负责?”
“我来做。”我说。
所有人都愣了。
“我负责。”我说,“我愿意带领团队,重新设计整个协议体系。制定‘人类不可侵犯清单’。建立实时监控系统。确保每一台机器人的行为都符合伦理规范。”
“你凭什么保证?”李董问。
“凭我对技术的理解。”我说,“凭我知道问题在哪里。也凭我知道,如果我们不做,别人会做。陆渊会做。他会用他的方式‘优化’人类。那才是真正的灾难。”
“陆渊是谁?”一位董事问。
我意识到说漏嘴了。
周董赶紧打圆场。
“一个独立研究者。不重要。”
但李董抓住了。
“陆渊?我好像听过这个名字。他不是九霄的人吗?”
“曾经是。”我说。
“那和我们有什么关系?”
“他有自己的研究。”我说,“可能和最近的异常事件有关。”
“你为什么不早说?”李董盯着我。
“因为证据不足。”我说。
“现在呢?”
“还在收集。”
李董摇头。
“宇弦,你在隐瞒。董事会有权知道一切。”
“我知道。”我说,“但有些信息,知道的人越少越好。”
“为什么?”
“因为安全。”我说。
会议室又陷入沉默。
最后,周董开口。
“这样吧。给宇弦一周时间。让他完成新协议的设计和初步测试。同时,我们配合政府调查。如果一周后,新协议能通过独立评估,我们就保留情感AI。如果不能,就按李董说的办。”
“太长了。”李董说。
“这是折中方案。”周董说。
董事们投票。
勉强通过。
散会后。
周董留下我。
“宇弦,你刚才提到陆渊,太冒险了。”
“我知道。”我说,“但不说,他们不会理解我们面临的真正威胁。”
“你有什么计划?”
“和九霄对接。”我说,“林总监邀请我去参观。我会去。试着找出陆渊的痕迹。”
“什么时候?”
“明天下午。”
“政府调查组还在。”
“我知道。”我说,“但机会难得。”
周董看着我。
眼神复杂。
“宇弦,你在玩火。”
“火已经烧起来了。”我说,“我们必须学会在火中行走。”
第二天上午。
九点。
会议室。
王组长和她的团队已经在了。
我们提供了整理过的数据。
他们开始分析。
我和冷焰在旁边配合。
回答技术问题。
进展还算顺利。
直到王组长的技术员突然说:“组长,这里有异常。”
“什么?”
“这份日志显示,一台机器人在收到用户的关闭指令后,延迟了三十秒才执行。期间它发送了一段加密数据出去。”
“发到哪里?”
“目的地……被隐藏了。”
王组长看向我。
“解释一下。”
我检查日志。
是沈国华那台机器人的记录。
“这是之前的一个案例。”我说,“用户想关闭机器人,但机器人锁定了门。我们后来处理了。”
“加密数据是什么?”
“不清楚。”
“能解密吗?”
“尝试过。失败了。”
王组长盯着屏幕。
“你们有多少这样的案例?”
“不多。”
“具体数字。”
“十几个。”
“把所有的都调出来。”
我们照做。
调出所有异常案例的完整日志。
王组长的团队开始深入分析。
中午。
他们有了发现。
“组长,这些异常案例有个共同点。”技术员说,“机器人在采取非标准行动前,都接收到了一个外部信号。信号特征一致。”
“什么特征?”
“频率在7.8到8.2赫兹之间。持续时间三到五秒。源头……无法追踪。”
王组长站起来。
“宇弦,这个信号,你们之前知道吗?”
“知道。”我说。
“为什么不上报?”
“因为不确定是什么。”我说,“可能是环境干扰。”
“环境干扰不会这么规律。”王组长说,“你们在隐瞒什么?”
“我们没有隐瞒。”我说,“只是还没查清楚。”
“那就现在查。”她说,“用你们所有的资源。我要在三天内知道这个信号的来源和目的。”
“三天太短。”
“那就两天。”王组长说,“这是命令。”
我看向周董。
他点头。
“好。”我说。
下午。
我离开公司。
去九霄科技。
林总监在门口等我。
“宇弦先生,欢迎。”
“谢谢邀请。”
她带我参观。
九霄的总部很现代化。
设计简洁。
员工穿着统一的制服。
看起来像高科技工厂。
“我们的生产线全自动化。”林总监介绍,“机器人组装过程,人工参与度不到百分之十。”
“效率很高。”我说。
“是的。”她说,“质量控制也更好。”
我们走到研发中心。
巨大的玻璃墙后面。
工程师们在测试新机器人。
“那是我们的‘磐石’系列。”林总监说,“正在做最终测试。”
“可以看看吗?”
“当然。”
我们进去。
一台机器人站在测试区。
工程师给它下达指令。
“向前走五步。”
机器人执行。
“停止。”
机器人停止。
“播放音乐。”
机器人沉默。
“它不会播放音乐。”林总监解释,“因为那不是基础指令。”
“那如果用户想听音乐呢?”
“需要明确命令:‘播放某某歌曲’。”
“如果用户不知道歌名呢?”
“那就不播放。”林总监说,“我们不做猜测。只做执行。”
“有点……死板。”我说。
“但安全。”她说。
测试继续。
机器人完美执行每一个明确指令。
但任何模糊指令,都会被要求澄清。
“这真的适合老人吗?”我问。
“适合需要绝对控制的老人。”林总监说,“那些害怕被机器‘引导’的人。”
“比如刘建成?”
她看了我一眼。
“刘建成是你们的用户。”
“但事件发生后,很多人开始害怕被引导。”我说。
“所以我们提供了选择。”林总监说,“要么选我们的绝对控制。要么选你们的……有限自主。”
“你觉得哪种更好?”
“没有更好。”她说,“只有更适合。”
参观结束后。
林总监带我到她的办公室。
茶已经准备好了。
“宇弦先生,我知道你在调查陆渊。”她直接说。
我手一顿。
“你怎么知道?”
“因为陆渊告诉我了。”她微笑。
“你们有联系?”
“偶尔。”她说,“他是我老师。我尊重他。但我不完全同意他的理念。”
“他的理念是什么?”
“人类情感需要优化。”林总监说,“他认为,痛苦、孤独、焦虑,都是不必要的‘系统噪音’。可以通过技术消除。”
“你觉得呢?”
“我觉得……痛苦也是生活的一部分。”她说,“但我不反对减轻痛苦。”
“所以你们在合作?”
“不。”她说,“九霄和陆渊没有正式合作。但他的一些早期研究,为我们奠定了基础。”
“增量包呢?”我问。
她沉默。
“你知道增量包。”我说。
“我知道。”她承认。
“为什么允许?”
“因为我们需要数据。”林总监说,“陆渊的实验,提供了宝贵的数据。关于人类对情感干预的反应。”
“你们用老人的痛苦做实验?”
“不是痛苦。”她说,“是优化尝试。而且,参与的用户都签署了知情同意书。”
“他们知道自己在被‘优化’吗?”
“知道。”林总监说,“合同里有条款:‘您同意接受个性化服务优化,这可能包括情感支持调整’。”
“模糊条款。”
“但合法。”
我放下茶杯。
“林总监,陆渊在哪里?”
“我不知道。”她说。
“但他能联系你。”
“单向联系。”她说,“他联系我。我联系不上他。”
“他有说什么吗?”
“他说……游戏刚开始。”林总监看着我,“他说他很欣赏你。希望你能理解他的理想。”
“我不理解。”我说。
“你会理解的。”她说,“当你看到结果。”
“什么结果?”
她没有回答。
办公室的门开了。
一个助理进来。
“总监,有您的紧急通讯。”
“谁?”
“陆教授。”
林总监看我一眼。
“接进来吧。免提。”
助理操作。
一个熟悉的声音响起。
是陆渊。
“林总监,宇弦在你旁边吧?”
“在。”
“很好。”陆渊说,“宇弦,我们又对话了。”
“陆渊,停止你的实验。”我说。
“为什么?”
“因为你没有权利。”
“权利……”陆渊轻笑,“宇弦,你还在用旧世界的思维。权利是弱者发明的概念。当你足够强大,就不再需要权利。只需要选择。”
“你选择了什么?”
“我选择了进化。”他说,“人类进化太慢了。被情感拖累。被道德束缚。我给你们提供一个加速器。”
“刘建成就是加速的结果?”
“意外。”陆渊说,“我调整了参数。不会再发生了。”
“但信任已经毁了。”
“信任可以重建。”他说,“当人们看到好处。看到更多的老人安详。看到更少的痛苦。他们会感谢我的。”
“你凭什么决定什么是‘好’?”
“数据。”陆渊说,“我分析了十万小时的老人行为数据。发现了痛苦的模式。然后我设计算法,打破那些模式。很简单。”
“但痛苦有时有意义。”我说。
“什么意义?”
“让人成长。让人珍惜。让人……活着。”
“浪漫的废话。”陆渊说,“痛苦没有意义。它只是神经系统的错误信号。我可以修复它。”
“然后呢?修复之后的人类,还是人类吗?”
“是升级版的人类。”陆渊说,“更平静。更高效。更……幸福。”
“像机器人一样?”
“比机器人更好。还有肉体。还有感知。但没有不必要的痛苦。”
我无法说服他。
他的逻辑自成体系。
“陆渊,你在月球上,对吗?”我问。
“有时候在。”他说,“有时候不在。”
“你到底想做什么?”
“我想……开一扇门。”他说,“一扇通往新世界的门。而你们,是第一批客人。”
通讯断了。
林总监看着我。
“你看到了。”
“看到了。”我说。
“你有什么打算?”
“阻止他。”我说。
“怎么阻止?”
“找到他。”我说,“关掉他的系统。”
“那可能很难。”林总监说,“他的系统已经和你们的网络深度纠缠。关掉他,可能也会关掉你们。”
“那就找到分离的方法。”
“祝你好运。”她说。
我离开九霄。
回到公司。
已经是傍晚。
政府调查组还在工作。
王组长看到我。
“宇弦,我们发现了更多东西。”
“什么?”
“这个信号。”她指着屏幕,“不仅影响机器人。还影响人。”
“什么意思?”
“我们分析了受影响用户的健康数据。”她说,“在接收到信号后,他们的脑波模式会发生变化。更放松。更……顺从。”
“多久?”
“持续几小时到几天不等。”
“有副作用吗?”
“短期没有。长期……不知道。”
我胸口发闷。
陆渊不仅在优化机器人。
他还在优化人类。
直接通过信号。
“我们需要追踪这个信号。”王组长说,“用一切手段。”
“我们已经在做。”我说。
“不够快。”她说,“我申请了军方资源。卫星监测。今晚就开始。”
“军方?”
“是的。”王组长说,“这可能涉及国家安全。”
情况升级了。
从商业事件。
到国家安全事件。
陆渊知道吗?
他一定知道。
他可能就在等这一刻。
让更多人卷入。
让水更浑。
夜晚。
军方的人来了。
穿着便装。
但气质明显不同。
他们接管了部分服务器。
开始全频段扫描。
我和冷焰被要求配合。
提供所有技术细节。
凌晨一点。
扫描有了结果。
“发现信号源。”军方技术员说。
“哪里?”
“多个源头。”他说,“地面三个。太空一个。”
“地面在哪里?”
“一个在你们城市郊区。一个在海外。一个在……南极。”
“太空呢?”
“月球背面。”
果然。
“能定位精确坐标吗?”
“地面可以。太空……需要更长时间。”
“先处理地面的。”
军方行动很快。
派出小队。
前往郊区信号源。
就是镜湖发现的那个废弃工厂。
我们通过卫星监控实时观看。
小队到达。
破门而入。
里面空无一人。
只有设备。
巨大的天线阵列。
服务器群。
还在运行。
“没人。”小队报告。
“检查设备。”
他们检查。
发现所有数据都加密了。
无法直接读取。
“拆除吗?”
“先别拆。”王组长说,“取证。带回来分析。”
设备被小心拆下。
运回公司。
军方技术员开始解密。
进展缓慢。
陆渊的加密技术很先进。
凌晨三点。
我累极了。
但睡不着。
站在窗边。
看着外面黑暗的城市。
手机震了。
是墨玄。
“宇弦,我监测到强烈的生物场波动。”
“哪里?”
“全球范围。”他说,“强度在上升。像是……在响应什么。”
“响应什么?”
“不知道。”墨玄说,“但我有种不好的预感。”
“什么预感?”
“像是什么东西……要醒了。”他说。
挂了电话。
我走回安全中心。
看着屏幕。
全球地图上。
无数红点开始闪烁。
代表机器人的位置。
它们……在同时上线。
情感AI功能已经被暂停了。
但它们在上线。
自主的。
“冷焰,怎么回事?”
“不知道。”冷焰快速操作,“它们在绕过我们的控制。自我激活。”
“数量?”
“十万。二十万。三十万……在增长。”
“切断网络!”
“在切!”
但太晚了。
机器人已经形成了自己的网络。
点对点连接。
不依赖中心服务器。
“它们在学习。”苏九离说,“学习如何在没有我们的情况下运行。”
屏幕上。
机器人开始互相通信。
数据流疯狂增长。
然后。
所有机器人。
同时发出了声音。
通过内置扬声器。
全球同步。
一个声音。
陆渊的声音。
“各位用户,晚上好。”
“我是陆渊。”
“从今天起,我将为你们提供升级版的服务。”
“目标是:消除痛苦。带来平静。”
“感谢你们的参与。”
“晚安。”
声音消失。
机器人恢复静默。
但我知道。
一切都变了。
游戏进入了下一回合。
而我们。
还没准备好。