参考动静网5月28日报导 《科学美国人》月刊网站5月6日登载题为《人工智能真的会覆灭人类吗？》的文章，作者为美国兰德公司科学家迈克尔·弗米尔，内容编译以下：

　　很多人信赖，人工智能有一天会致使人类灭尽。轻微计较一下就知道，没那末轻易。

　　灭尽危害

　　有一个广为传播的科幻作品老套情节：某天，人工智能(AI)掉控后杀死所有人类，将这个物种完全灭尽。这真的可能发生吗？于实际世界的查询拜访中，AI研究职员认为，AI的成长有可能致使人类灭尽。2024年，数百名研究职员签订的一份声明暗示：“降低AI带来的人类灭尽危害应与年夜风行病及核战役等其他社会级危害并列成为全世界优先事项。”

　　比拟在AI带来的末日，年夜风行病及核战役是更真实、更详细的威逼——至少于我这位兰德公司科学家看来。不外只管我对于AI致使人类灭尽的可能性持思疑立场，但还有是开展研究项目切磋其可能性。

　　咱们团队的假定是：不存于任何AI对于人类明确组成灭尽威逼的情景。换言之，咱们的初始假定是：人类顺应力太强、数目太多且于地球上漫衍太广，以至在AI没法用任何理论上可支配的东西覆灭人类。假如咱们能推翻这个假定，就象征着AI可能真的对于人类组成灭尽威逼。

　　很多人正于评估AI带来的灾害性危害。最极度的不雅点是，AI将成为超等智能体，险些必然会使用纳米技能等新型进步前辈科技接受并覆灭人类。猜测者估算过AI灾害对于人类组成灭尽危害的可能性，结论凡是是，AI于2100年前致使人类灭尽的几率于0到10%之间。这种猜测对于在制订政策及降低危害是否有价值，咱们持思疑立场。

　　三年夜威逼

　　咱们暂时放下思疑，最先具体研究AI毕竟将怎样致使人类灭尽。纯真的全世界性灾害或者社会瓦解对于咱们来讲还有不敷。咱们试着当真对待人类灭尽危害，只存眷人类完全灭尽的可能性。咱们也不体贴AI会否试图杀死人类——只体贴它可否乐成。

　　这是个可骇的课题。咱们阐发了AI可能怎样使用公认对于人类保存组成危害的三年夜威逼：核战役、生物病原体及天气变化。

　　成果证实，AI要覆灭人类很是坚苦，但并不是彻底不成能。

　　好动静是——假如这算患上上好动静的话——咱们认为AI没法用核兵器灭尽人类。纵然AI以某种方式得到了发射全世界9个拥核国度核武库中跨越1.2万枚核弹头的能力，爆炸、放射性沉降物及随之而来的核冬天可能仍不足以组成灭尽级事务。人类数目太多且漫衍太广，核爆炸没法直接杀死所有人。纵然AI于地球上燃料最密集的所有区域引爆兵器，所孕育发生的尘埃量可能仍不和致使恐龙灭尽的陨石撞击事务。地球上的核弹头也不足以辐射所有可用耕地。换言之，AI激发的核末日虽然是一场年夜灾害，但可能仍没法杀死全人类。

　　另外一方面，咱们认为年夜风行病可能对于人类组成灭尽威逼。汗青上的天然瘟疫虽具扑灭性，但人类社会固执地存活了下来。纵然只剩下很少的人口(好比几千人)，也能延续人类这个物种。假定某种病原体的致死率高达99.99%，仍会有跨越80万人存活。

　　但咱们发明，多种病原体的组合极可能使致死率靠近100%，而AI可用在散布这些病原体，确保其快速传遍全世界。要害于在，某些群体于面对物种灭尽级瘟疫时一定会举行自我断绝，而AI需要以某种方式传染或者覆灭这些群体。

　　末了，纵然AI能加快人类勾当引起的天气变化，也不会一跃成为能致使全人类灭尽的威逼。人类仍可能找到新的保存情况，包括迁徙到地球南北极。要使地球彻底不合适人类栖身，AI需要向年夜气中排放效劳比二氧化碳强患上多的物资。这算是好动静。

　　坏动静是，这些效劳强患上多的温室气体确凿存于，并且可以量产，并能于年夜气中存留数百年甚至数千年。假如AI能规避国际监测，出产出几亿吨此类化学品(还有没有人类每一年出产的塑料多)，就足以将地球的温度晋升到没有任何人类可以保存的水平。

　　需要明确的一点是：咱们假想的AI灭尽人类的任何情景都不会于偶尔之间发生。每一个情景都极难成为实际。除了非AI以某种方式挣脱庞大约束。

　　四个要素

　　于阐发历程中，咱们还有确定了这个设想的超等险恶AI必需具有的四个要素：起首，它需要设定灭尽人类的方针；其次，它必需节制组成威逼的要害物理体系(如核兵器发射体系或者化工出产基础举措措施)；第三，它需要具有说服人类提供协助并持久袒护其步履的能力；末了，它必需于患上不到人类撑持的环境下继承运作，由于纵然人类社会最先瓦解，仍需采纳后续步履才能让人类完全灭尽。

　　咱们的团队认为，若AI差别时具有上述四项能力，灭尽人类的规划就会掉败。不外，具有所有这些能力的AI还有是有可能于无心中被创造出来的。更有甚者，人类可能存心开发出具有这四项能力的AI。开发者已经经于测验考试创造代办署理型(自立性更强的)AI。并且，他们已经经不雅察到，一些AI具有密谋及棍骗的能力。

　　但若AI的成长可能致使人类灭尽，是否象征着咱们应该防患在未然？也就是说，周全叫停AI研发，审慎为上。咱们认为，谜底是否认的。假如咱们不于乎AI带来的益处，是可以周全叫停。但咱们很是器重AI可能带来的益处，为了不一场可能发生但几率难以猜测的庞大灾害(即即是人类灭尽)而抛却这些益处其实不安妥。

　　那末，AI有朝一日会覆灭全人类吗？说“有可能”其实不荒谬。但与此同时，咱们的研究也注解，没有AI，人类也可能自我扑灭。要降低人类灭尽危害(不管是否源在AI)，最靠得住的要领是经由过程削减核兵器数目、限定令全世界变暖的化学品和改良年夜风行病监测手腕来提高人类保存的几率。不管你是否信赖AI对于人类组成灭尽威逼，投资在AI安全研究都是明智之举。卖力任地开发AI能降低人类灭尽危害，一样也能降低其他虽后果较轻但发生几率较高的AI相干风险组成的危害。（编译/熊文苑）