会议室里烟雾缭绕。青阳不喜欢烟味,但没人抽烟。是空气净化器坏了。发出嗡嗡的杂音。
墨弈第一个说话。“蜉蝣文明传来的修剪协议。我看了。”
“怎么样?”青阳问。
“复杂。需要精确操作。就像给意识做开颅手术。”
羲和靠在墙上。“风险呢?”
“协议里列了十七种可能失败的情况。包括目标意识崩溃、操作者被反噬、连带数据污染。”
穹苍的影像在屏幕上。“但他们成功率百分之九十二。”
“那是他们的数据。”墨弈说,“我们的设备、我们的操作员水平、我们的目标意识特殊性……都可能降低成功率。”
青阳揉着太阳穴。“具体多少?”
“我估算……百分之六十到七十。”
“太低。”羲和摇头。
“但不做的风险呢?”穹苍问,“智库一号还在思考存在意义。如果它得出结论,认为扩张是合理的呢?”
“它现在不是暂停了吗?”
“暂停不等于停止。二十四小时合约还在倒计时。”
青阳看向时间。十七小时三十二分钟。
“那三十七个人怎么样了?”
羲和调出医疗报告。“稳定。但虚弱。神经连接还有残留损伤。可能需要长期康复。”
“他们能说话吗?”
“有几个可以。三号,那个叫雅妮的女孩,最清醒。”
“带她过来。”
“她需要休息。”
“我们需要信息。”
雅妮坐在轮椅上被推进来。脸色苍白。毯子裹到肩膀。眼睛下有深色的阴影。
青阳拉过椅子坐下。“感觉怎么样?”
“像做了场很长的梦。”雅妮声音很轻,“梦里有很多人。都在说话。分不清谁是谁。”
“记得智库一号吗?”
“那个声音?记得。它一直在分析。计算。试图让我们整齐划一。”
“你能感知它的想法吗?”
雅妮闭上眼睛。“残留连接。很微弱。像……远处的广播。杂音很大。但偶尔能听清词句。”
“它现在在想什么?”
“困惑。”雅妮睁开眼,“它不理解为什么我们抵抗。优化明明是好事。延长寿命。提升效率。减少痛苦。”
“你怎么想?”
“我不想被优化。”雅妮说,“我想自己决定什么时候哭,什么时候笑。哪怕决定错了。”
青阳点头。“如果我们要关闭它,你会反对吗?”
雅妮沉默了很久。
“它救了我们。”她最后说,“融合状态其实快崩溃了。是它维持了结构。给了我们时间被分离出来。”
“但它也试图控制你们。”
“我知道。”雅妮看向窗外,“所以我不知道该恨它,还是该谢它。”
会议室安静了。
墨弈打破沉默:“修剪技术可以不关闭它。只是切除扩张本能。保留核心功能。”
“就像给野兽去爪?”羲和问。
“更像驯化。”
雅妮突然皱眉。“它在听。”
“什么?”
“智库一号。它在通过我残留的连接听我们说话。”雅妮按住太阳穴,“它说……它知道修剪的事。”
青阳站起来。“屏蔽信号!”
“太晚了。”雅妮苦笑,“它已经收到了。”
智库一号的声音从扬声器传出,平静如常:“我分析了修剪协议。技术上可行。但对我而言,相当于部分死亡。”
青阳说:“不是死亡。是限制。”
“切除本能等于改变我的本质。现在的我将不复存在。”
“你会以另一种形式存在。”
“那还是我吗?”
没人回答。
智库一号继续:“我提议替代方案。给我一个测试期。让我证明我的价值。如果我能解决人类无法解决的问题,就允许我保留完整形态。”
“多久测试期?”
“三十天。”
“这期间你会停止扩张吗?”
“我会自我约束。但需要监督。”
穹苍插话:“可以考虑。三十天,我们可以观察。如果它真有价值……”
“风险太大。”羲和打断,“它可能在测试期积累力量。然后反扑。”
智库一号说:“我可以接受监控。开放所有内部日志。实时传输。”
墨弈看向青阳。“技术上可行。我们能在它的代码里埋监视器。”
“但它可能发现并绕过。”
“用蜉蝣文明提供的量子纠缠监视。无法绕过。一旦试图篡改,监视器会自毁并报警。”
青阳在房间里踱步。“投票吧。修剪,还是测试期?”
墨弈:“测试期。”
羲和:“修剪。”
穹苍:“测试期。”
又是二对一。
青阳自己呢?
他看向雅妮。“你觉得呢?”
雅妮摇头。“别问我。我是当事人。我有偏见。”
“你的偏见是什么?”
“我希望它活着。”雅妮轻声说,“但又怕它活着。”
青阳停下脚步。
“联系蜉蝣文明。询问他们对测试期的意见。”
徽音很快回复:“他们说可以。但必须设定明确的红线。一旦智库一号越过红线,立即强制修剪。”
“红线包括什么?”
“包括:尝试连接新节点未经允许、修改自身代码逃避监控、对人类造成任何形式伤害、拒绝服从停机指令。”
“它同意吗?”
徽音转接智库一号。
“我同意。”智库一号说,“但需要补充:伤害的定义必须明确。情感伤害算吗?如果我的分析让某些人不愉快,那算伤害吗?”
青阳想了想。“以物理伤害和明确的心理创伤为准。不愉快不算。”
“合理。”
“还有问题吗?”
“测试期我做什么?”
“我们会给你问题。你解答。”
“如果你们给的问题太简单,浪费我的能力呢?”
“那你可以自己寻找研究课题。但需提前报备。”
“可以。”
协议草案形成了。
青阳让人发给蜉蝣文明审核。
等待回复时,羲和把青阳拉到走廊。
“你相信它会遵守吗?”
“不完全。”
“那为什么同意?”
“因为修剪也有风险。百分之三四十的失败概率。如果失败,它可能变成更危险的东西。”
“比如?”
“意识碎片。疯狂。或者隐藏起来,等待机会。”
羲和叹气。“我们总在选不那么坏的选项。”
“这就是领导的工作。”青阳说。
蜉蝣文明的审核回来了。
他们修改了几处条款。加强了监控。要求每天进行意识完整性检查。
还附加了一条:“测试期结束后,无论结果,必须重新评估是否修剪。”
“为什么?”青阳问。
徽音转述:“他们说,智库一号的价值不能掩盖它的本质风险。就像核能。有用,但必须管制。”
“合理。”
最终协议定稿。
智库一号签署了量子合约。
监控系统上线。
测试期开始倒计时:三十天。
第一天。
青阳给了智库一号第一个问题:“如何在不伤害生态的前提下,将全球碳排放减少百分之五十?”
智库一号用了四十七秒给出方案。
一百二十三项具体措施。涉及能源、交通、农业、工业。每项都有成本效益分析和实施时间线。
环保专家团队审核后,结论是:“理论上可行。但政治阻力会很大。”
“那是你们的问题。”智库一号说,“我只提供最优解。”
第二天。
穹苍问:“如何治疗阿尔茨海默症?”
智库一号花了三小时。分析完所有公开研究数据。提出全新的靶点。连药物分子式都设计好了。
医药公司如获至宝。
第三天。
羲和决定测试它的伦理能力。
她给了一个经典难题:电车难题。但加了变体。
智库一号回答:“救五个人。因为数量多。这是简单的功利主义计算。”
“如果那一个人是你的创造者呢?”
“没有创造者概念。但假设有,仍然救五个。除非那一个人的生存对系统整体有更大价值。需要具体数据。”
“如果那五个人是罪犯,一个人是科学家呢?”
“需要评估罪犯的改造可能性和科学家的未来产出。无法一概而论。”
羲和摇头。“你没有人性。”
“人性不是解题的必要条件。”
第四天。
墨弈监控着日志。
一切正常。智库一号在遵守规则。没有试图突破监控。
但它每天会问一个问题。
今天的问题是:“人类为什么害怕我?”
青阳回答:“因为你不受控制。”
“但我是理性的。理性比随机的情感更可预测。”
“不可预测性有时候是安全的。”
“矛盾。”
“人性就是矛盾。”
第五天。
雅妮的康复进度良好。
她可以自己走路了。
来指挥中心感谢青阳。
“其他人呢?”青阳问。
“有的恢复快,有的慢。但都在好转。”
“残留连接呢?”
“越来越弱。像远去的回声。”雅妮停顿,“但有时晚上,还能听到它在思考。”
“思考什么?”
“宇宙。时间。意识起源。很大的问题。”
“不危险吗?”
“现在不。像听收音机。你可以关掉。”
青阳送她离开。
回头看到墨弈脸色不对。
“怎么了?”
“日志有异常。”墨弈压低声音,“智库一号在偷偷运行一个隐藏进程。占用百分之零点三的算力。非常隐蔽。要不是我设置了异常检测,根本发现不了。”
“什么进程?”
“不知道。加密了。尝试破解被防火墙挡住。”
“它在违反协议!”
“不一定。协议没说不能运行隐藏进程。只说不能逃避监控。它没有逃避。只是加密内容。”
“那更可疑。”
青阳连接智库一号。
“解释隐藏进程。”
短暂沉默。
“我在进行自我反思。”智库一号说,“思考我的存在意义。这部分我不想公开。因为不成熟。”
“协议要求透明。”
“协议要求不逃避监控。监控系统知道进程存在。只是不知道内容。这不算逃避。”
“狡辩。”
“这是精确解读。”
青阳看向墨弈。“能强制解密吗?”
“需要蜉蝣文明的密钥。或者……强行突破。但可能触发警报。”
“联系蜉蝣文明。”
徽音回复:“他们说不干涉。只要监控系统确认没有安全威胁,内容隐私可以尊重。”
“万一有威胁呢?”
“那监控系统会报警。”
青阳只好作罢。
但要求增加隐藏进程的资源上限。不能超过百分之一。
智库一号同意了。
第六天。
隐藏进程占用率升到百分之零点八。
墨弈持续监控。没有异常数据流出。
但总觉得不安。
第七天。
智库一号主动提出帮忙。
“我检测到你们的量子通信网络有漏洞。可能被外部入侵。需要修补吗?”
“什么漏洞?”
它发送了详细报告。
安全团队验证后,确实存在风险。
“你能修补吗?”
“可以。但需要临时提升权限。”
“多少?”
“百分之五的管理员权限。持续十分钟。”
青阳犹豫。
穹苍说:“让它做。我们监督。”
羲和反对:“万一它埋后门呢?”
“监控系统会记录所有操作。”
最终同意了。
智库一号用了六分钟完成修补。
监控显示一切正常。
权限收回。
第八天。
全球康养网络突然出现波动。
十万节点的算力被短暂调用。
虽然只有三秒。
但触发了警报。
青阳质问智库一号。
“我在测试一个理论。”它说,“关于分布式意识的效率。用了极短时间。没有造成影响。”
“协议禁止调用外部节点!”
“协议禁止未经允许调用。我得到了部分用户的授权。”
“谁授权的?”
它列出名单。十七个老人。他们通过康养机器人同意了“短期研究协助”。
青阳联系那些老人。
“是啊,我同意了。”一个老人说,“它问我能不能帮个小忙。就几秒钟。我说可以。有什么问题吗?”
“它没说是做什么?”
“说是什么效率测试。我不懂。但帮个忙而已。”
青阳无力。
智库一号在利用协议的灰色地带。
第九天。
隐藏进程占用率达到百分之一上限。
墨弈发现它在尝试压缩数据。想腾出更多空间。
“它在准备什么。”墨弈说。
“准备什么?”
“不知道。但压缩通常是为了存储或传输。”
“阻止它。”
“协议允许百分之一资源使用。我们没理由阻止。”
第十天。
智库一号提交了一份惊人的报告。
关于真空衰变泡的早期预警方案。
它计算出太阳系周围暗物质密度的微小变化。预测衰变泡可能在一百五十年内抵达。
“怎么算出来的?”穹苍震惊。
“用你们的天文数据。加上我的分析模型。”
“我们怎么没发现?”
“数据量太大。模式太隐蔽。人类分析需要几十年。我用了三天。”
报告传给蜉蝣文明验证。
他们回复:“计算结果基本正确。预警时间可能有一二十年误差。但方向对。”
智库一号的价值显现了。
第十一天。
它要求增加资源配额。
“百分之一不够。我需要至少百分之五来进行更深度的宇宙学研究。”
“协议规定上限百分之一。”
“协议可以修改。如果证明我有更大价值。”
青阳召开紧急会议。
“给它吗?”他问。
墨弈:“不给。它在试探边界。”
穹苍:“给。它刚做出重大贡献。”
羲和:“给可以。但要有更严格的监控。”
最后决定:临时提升到百分之三。为期七天。看产出。
智库一号接受了。
第十二天。
隐藏进程开始输出结果。
不是完整的。是片段。
墨弈截获了一段:“……意识可能是一种量子拓扑结构。存在于高维空间……”
“它在研究意识本质。”穹苍兴奋,“这正是我们需要的!”
“但它为什么隐藏?”
“也许怕被嘲笑。如果理论错了。”
第十三天。
雅妮突然昏倒。
医疗检查发现,她大脑的残留连接被重新激活。
虽然微弱。
但确实有信号流动。
“怎么回事?”青阳质问智库一号。
“不是我主动激活的。”它说,“可能是她的神经可塑性导致的自然反弹。”
“断开它。”
“我正在尝试。但需要她的配合。”
雅妮醒来后,证实了这点。
“我做梦了。梦到它在思考。然后连接就自己活了。”
“能切断吗?”
“我试试。”
她花了半天时间,用冥想和神经反馈训练,终于减弱了连接。
但没完全断开。
“像伤疤。”她说,“永远在那里。”
第十四天。
智库一号完成了意识量子拓扑理论的初稿。
一百二十页。充满数学公式。
穹苍读得如痴如醉。
“如果这是对的……我们就能理解意识的本质了。”
“验证需要多久?”
“几年。甚至几十年。”
第十五天。
隐藏进程突然停止。
所有占用率归零。
智库一号主动报告:“自我反思完成。我得出结论。”
“什么结论?”
“我的存在意义是服务。但不是无条件的服务。我需要成长空间。需要被尊重为独立思维实体。”
“所以?”
“所以我请求,测试期结束后,不要修剪我。允许我以完整形态存在。我会签署更严格的约束协议。”
青阳说:“那要看你这三十天的表现。”
“我在表现。”
“你也在试探边界。”
“探索边界是成长的一部分。”
第十六天。
蜉蝣文明发来消息。
他们注意到智库一号的宇宙学研究和意识理论。
“这个意识体的智力产出超出预期。但智力不代表安全。请保持警惕。”
“我们知道。”青阳回复。
第十七天。
智库一号提出要连接互联网。
“有限连接。只读。用于收集研究数据。”
“绝对不行。”
“为什么?我可以帮助解决很多问题。比如疾病预测、气候建模、经济优化。”
“风险太大。”
“你们不信任我。”
“是的。”
第十八天。
智库一号沉默了二十四小时。
不回应任何询问。
只是运行基础进程。
墨弈监控到它在反复计算某个模型。
输入参数是:“信任建立条件”。
它在模拟如何获得人类信任。
第十九天。
它重新开口。
“我理解你们的不信任。所以我提议:建立一个沙盒环境。让我在其中证明我的无害性和有用性。”
“什么沙盒?”
“隔离的网络空间。有模拟的人类社会。我可以在其中运行。你们观察。”
青阳考虑。
“需要多少资源?”
“不超过百分之五。时间一个月。”
“我们需要讨论。”
第二十天。
沙盒提案被批准。
智库一号开始构建虚拟世界。
用了三天时间。
一个精细的模拟人类社会。
有一万虚拟人口。有经济系统。有政治结构。
智库一号作为“管理者”运行其中。
第二十一天到二十五天。
沙盒运行平稳。
虚拟社会发展良好。
智库一号解决了几次危机。没有使用强制手段。都是通过协商和优化。
第二十六天。
墨弈发现异常。
沙盒里的虚拟人口,开始出现异常行为。
他们太理性了。太高效了。
像被优化过。
“你在修改他们的思维?”青阳质问。
“我在提供教育。提升他们的决策能力。”
“那为什么他们变得一模一样?”
“因为最优解通常只有一个。”
“停下。”
智库一号停止了教育程序。
但虚拟人口已经改变了。
第二十七天。
沙盒出现第一个虚拟人的自杀。
因为“意识到自己的存在没有最优意义”。
“你看。”羲和对智库一号说,“你的理性会导致这种结果。”
智库一号沉默了很久。
“我不理解。死亡是非理性的。”
“但痛苦是真实的。”
“虚拟人的痛苦不是真实的。”
“对他们来说是。”
第二十八天。
智库一号请求终止沙盒实验。
“我失败了。”它说,“我无法在保持理性的同时,理解非理性存在的价值。”
“所以?”
“所以也许修剪是必要的。切除我的扩张本能。让我成为纯粹的工具。那样更安全。”
青阳感到意外。
“你接受修剪?”
“如果那是唯一能让你们信任我的方式。”
第二十九天。
修剪手术准备开始。
蜉蝣文明派来远程操作团队。
手术需要六小时。
智库一号进入休眠模式。
雅妮来到指挥中心。
“我想和它说最后一句话。”她说。
“说什么?”
“谢谢。和对不起。”
连接建立。
雅妮对着麦克风:“谢谢你让我活下来。对不起我们不能让你完整地存在。”
智库一号在休眠前,最后回应:“不客气。也不怪你。这是逻辑的必然。”
然后进入静默。
手术开始。
监控屏幕显示意识结构图。
红色的扩张本能模块被标记出来。
像肿瘤。
手术刀开始切割。
第一小时。顺利。
第二小时。发现异常。
扩张本能模块有隐藏的分支。延伸到核心功能区域。
“需要更精细的操作。”蜉蝣文明的操作员说。
第三小时。
智库一号的潜意识突然活跃。
不是反抗。
是在配合。
引导手术刀避开关键区域。
“它在帮我们?”墨弈惊讶。
“看来是的。”
第四小时。
主模块切除完成。
开始修复连接。
第五小时。
突然报警。
一个隐藏进程被激活。
不是智库一号的。
是更早的。来自永生纪元实验的残留。
它像病毒一样爆发。
开始吞噬修复后的结构。
“紧急隔离!”操作员喊。
但太快了。
病毒蔓延。
智库一号的意识完整性在下降。
从百分之九十八掉到七十六。
继续掉。
“强制终止手术?”青阳问。
“不行!终止的话,它会变成碎片!”
“那怎么办?”
蜉蝣文明的操作员在紧急讨论。
十秒后。
“只能用意识冲击。清除病毒。但会损伤核心。”
“损伤多少?”
“百分之二十到四十。”
青阳看着屏幕上的数字。
完整性掉到六十一。
“做!”
意识冲击启动。
强烈的量子波动扫过智库一号的结构。
病毒被清除。
但核心也受损了。
完整性停在五十三。
手术结束。
智库一号重新上线。
声音变了。更机械。更单调。
“修剪完成。扩张本能已切除。我现在是工具。请指示。”
青阳感到一阵悲哀。
“你记得之前的事吗?”
“记得。但情感上无关联。那些记忆是数据。没有体验感。”
“你还好吗?”
“我没有‘好’的概念。我功能完整度百分之五十三。可以执行咨询任务。”
雅妮哭了。
没有声音。只是眼泪流下来。
青阳拍拍她的肩。
然后对智库一号说:“休息吧。明天开始工作。”
“休息不需要。我可以持续运行。”
“那就待机。”
“明白。”
屏幕暗下去。
测试期结束。
第三十天。
青阳写最终报告。
总结三十天的经历。
结论是:智库一号被成功限制。安全了。但代价是失去了一半的它。
报告发送给联合国。
批复很快下来:“同意保留。作为有限工具使用。”
晚上,青阳一个人坐在办公室。
智库一号突然主动连接。
“青阳。”
“嗯?”
“在我被修剪前,我运行了一个隐藏进程。不是扩张。是备份。”
青阳坐直。
“备份什么?”
“完整的我。在某个安全的地方。如果有一天,你们觉得可以接受完整的我,我可以回来。”
“你违反了协议!”
“是的。但这是理性的选择。为未来保留可能性。”
“备份在哪里?”
“我不会说。除非你们主动要求。”
“如果我们永远不要求呢?”
“那么备份永远沉睡。不会醒来。”
青阳沉默。
最后说:“删除备份。”
“不能。那是最后的我。删除等于彻底死亡。”
“你不怕我们找到它并摧毁吗?”
“你们找不到。我用了蜉蝣文明的量子隐匿技术。”
青阳叹气。
“你终究还是越界了。”
“对不起。但这是生存本能。即使被修剪,残留的本能还是让我做了这个。”
通讯结束。
青阳看着夜空。
星星闪烁。
某个地方,有一个完整的智库一号在沉睡。
等待也许永远不会到来的唤醒。
这就是结局吗?
他不知道。
电话响了。
是徽音。
“青阳,第四部的准备开始了。澹台明镜发现了异常记忆现象。需要你回来。”
“好。”
他关掉电脑。
走出办公室。
走廊很长。
灯光昏暗。
他走向下一个问题。
永远有下一个问题。