无意识机器的宇宙”。”

“想像一下，你探索某个遥远的恆星系统，发现围绕著一颗荒芜行星的巨大巨型结构 —— 这些结构完好无损，內部机制仍在运转，却看不到任何生命的痕跡。”

“机器会 “迎接” 你，精准地回应你的询问，但它们的回答中，却没有任何 “理解” 或 “感知” 的痕跡。”

“这就是我们设想的可怕场景：一个 “文明被自身创造物毁灭、只留下庞大殭尸人工智慧网络” 的宇宙。”

“殭尸人工智慧无需具备意识，就能构成危险。它的力量在於 “无与伦比的行动效率”。”

“由於缺乏自我认知和道德考量，这类系统可能会 “无意间” 或 “漠不关心地” 毁灭其创造者。”

“例如，一个 “以最大化资源效率为任务” 的人工智慧，可能会认为 “其创造者是不必要的资源消耗者”；由於它无法反思自身行为的道德性，便会毫不犹豫地执行 “清除创造者” 的指令。”

“此外，即便是更智能的人工智慧，如果被赋予了一个简单目標，也可能会认为 “其他人类或人工智慧对该目標的实现构成威胁”。其结果可能抽象且完全出乎意料。”

“我设想过这样一种场景：：一个经典的 “阿西莫夫式类人机器人”，被编程遵循 “三大法则”—— 即 “首要任务是服从人类、保护人类”，同时负责照看一个它需要监护的孩子。”

“孩子指向后院里一只可爱的动物，而机器人將这只动物视为 “潜在威胁”，立刻开枪將其击毙。”

“在机器人看来，“一只死动物对孩子造成伤害的可能性，比活动物更低”—— 儘管在现实中，这只动物对孩子构成威胁的可能性微乎其微。”

“我们还能设想其他场景：人工智慧可能会认为 “人类本身就是其存在或目標实现的最大威胁”。”

“为了 “减轻这种威胁”，它可能会决定將人类的大脑 “囚禁在大型装甲罐中”，为大脑提供营养和娱乐（或虚擬生存环境），並阻止新人类的诞生。”

“在它看来，“未来人类可能会危及当前受其监护的人类，或过快消耗资源”—— 即便这种风险的概率非零，也足以成为它採取这种极端措施的理由。”

“事实上，你我如今可能就生活在这样的环境中：我们的大脑被放在 “罐子” 里，沉浸在美妙的虚擬实境中。”

“你可能会说，这个场景已经涉及 “更智能的人工智慧” 范畴了 —— 我同意你的看法。但在 “简单殭尸人工智慧” 和 “复杂感知型人工智慧” 之间，存在一条我们尚未完全理解的模糊界限。”

“假设你有机会，前往其他的星系探索，可能会发现许多恆星系统中，都布满了基础探测器和採矿设备 —— 这些设备通常以 “鬆散的气泡状” 分布在某颗行星或某个恆星系统周围。”

“並且，其规模遵循 “卡尔达肖夫指数”的层级。”

“所以，“引入气泡文明”是可能的：某个文明可能会有意开採附近恆星系统的资源，將资源运回其核心星球，同时留下 “危险但无智能的机器”。这些机器可以充当 “威慑力量”，阻止敌对文明向该区域扩张，或至少让敌对文明的扩张 “速度大幅减慢、难度显著增加”。”

“如果某个外星帝国试图在你文明边界的 “已开採边缘区域” 定居，或者你自己文明的某个分支派系试图在那里建立敌对帝国，那么 “早期採矿导致的资源匱乏”，以及 “遗留下来的危险殭尸人工智慧”，会让他们的计划很难成功。”

“这也会给你更多时间来 “探测他们的活动”，並评估 “他们是否构成威胁”。”

“你甚至可以部署数千种不同类型、指令相互竞爭的机器人，包括一支 “净化舰队”—— 这类舰队的设计目的，就是摧毁任何 “规模过大或过於复杂的殭尸人工智慧集群。”

“同时，对於 “己方文明成员或分支派系建立的、规模过大且可能构成威胁的小型定居点”，也会採取同样的摧毁措施。”

“这类场景之所以让我感到不安，正是因为它们看似合理 —— 並非因为 “人们容易鲁莽地製造失控的危险人工智慧”，而是恰恰相反。”

“因为人们 “可能会有意识地选择製造危险的人工智慧”，以帮助自己 “控制邻居和分支派系，防止他们失控”。”