3.3 这些未来技术是否风险极高？甚至可能导致人类灭绝？
答案是肯定的，而且这也意味着我们亟需在风险带来实际影响之前分析它们，并采取措施逐步降低风险。生物技术、纳米技术和人工智能都有出现意外和被滥用的可能。（也可参见“如果这些技术这么危险，是否应该禁止？应该采取什么措施来减少风险？”）
我们可以对风险做一些区分，一些是可控的、影响有限的危害，比如车祸、核反应堆泄漏、大气中的致癌污染物、洪水、火山爆发等等，另一些是可能导致智慧生命灭绝或者带来永久缺陷、丧失未来可能的生存危机。尽管第一类风险也会带来严重后果，确实也可能对直接接触的人类带来致命伤害，但大部分是可修复的，不会直接破坏人类整体的长期发展。人类对可承受危机有长期的斗争经验，一系列制度性和技术性机制被用于降低发生概率。生存危机则另当别论。人类历史的大部分时间里，并不存在重大的生存危机，或至少还没有我们祖先无法应对的。当然，根据定义，生存危机尚未出现。正因如此，我们这个物种可能缺乏认识和掌控这类新危机的准备。此外，降低生存危机是一个全球公共物品（无论是否参与贡献，每个人都会从安全措施中受益），这可能带来潜在的搭便车问题，缺乏足够的利己动机让人们牺牲降低生存危机。因此，超人类主义认为为降低生存性风险而努力是一项道德义务。
未来几十年间最严峻的生存危机可能是人类自己导致的。包括以下内容：
破坏性地使用纳米技术。意外将可以自我复制的纳米机器人投入自然环境中，可能导致整个生物圈被摧毁，这种预想的景象被名叫“灰色黏质假想”（gray goo scenario）。由于分子纳米技术将利用定位组装来建构无机体并开辟新的化学反应通路，所以无法认定限制有机自我复制体扩散的生态制衡机制同样能约束纳米复制体。然而，尽管灰色黏质确实值得担忧，但已经有相对简单的预防措施使危机发生的概率尽可能降到最低（Foresight 研究所在 2002 提出的《分子纳米技术发展指南》）。更会严峻的威胁来自于专门设计的破坏性纳米机器人。恐怖组织甚至个别孤独精神病患者一旦掌握这种技术，除非事先已研发出有效的防御技术，否则可能会造成广泛的破坏，甚至毁灭地球上的生命（责任纳米技术中心（Center for Responsible Nanotechnology）于 2003 警告）。国家之间开展纳米技术军备竞赛失控也可能导致人类最终灭亡（Gubrud 2000 年预警）。基于纳米技术的原材料不难获取、不需要大型制造工厂，且许多破坏性纳米机器的基本元件都是军民两用的事实，反扩散工作将变得非常复杂。这就使监管纳米技术的工作极具难度。虽然纳米防御系统（作为全球免疫系统，识别并清除恶性复制体）理论上可行，但实际建造难度远高于制造一个简单的破坏性复制体。这可能在危险复制体问世和有效的免疫系统研发成功间形成一个全球性防御空窗期。在此期间，纳米组装机器绝对不能落入不法分子之手。
生物战。基因工程的进步不仅能带来医学的改善，还让人有制造有效生物武器的能力。如果 HIV 的传染性就跟普通感冒病毒一样，那会发生什么?试想一下就令人胆战心惊。可能有越来越多人掌握设计此类微生物的相关技术。如果某种病毒的 RNA 序列被发布到互联网上，那么只要一个人有基本的专业知识，可以自由进出实验室，他就能根据描述合成真正的病毒。2002 年，纽约大学石溪分校的一个小型研究团队验证了这一可能性，他们仅根据互联网公开的基因序列，便从零合成了脊髓灰质炎病毒，注射后导致小鼠瘫痪死亡。
人工智能。目前 AI 系统和短期迭代版本并不会对人类生存构成威胁。但一旦超智能被创造出来，对人类友好的价值观就变得至关重要。如果因疏忽或恶意设计出的超智能对人类福祉无动于衷甚至抱有敌意，就可能导致我们灭绝。另一个担忧是，第一代超智能可能因其卓越的规划能力及快速技术开发能力变得极其强大，却仅被设定服务于单一个体或小群体（例如其程序员或委托公司）。这一情景并不意味所有智慧生命的灭绝，但它仍构成生存危机，因为由此导致的未来是人类潜能绝大部分被永久毁掉，只有少数人能享受到后人类时代的福祉。（也可参见“后人类或超级智能机器会对未经增强的人类构成威胁吗？”）
核战争。今天的核武库可能不足以导致所有人类的灭绝，但未来军备竞赛可能导致更大规模的武装升级。同样可以设想，全面核战可能导致现代文明的崩溃，而幸存的人类不一定能重建一个可持续增长、、技术发展的文明。
未知风险。上述所有风险，在一世纪前都不为人知，其中一些在过去二十年间才被清楚认知。未来很可能还存在着我们尚未察觉到的威胁。
如果想更深入了解以上及其他存在的风险，详见博斯特罗姆（Bostrom 2002）。
我们可以通过各种直接或间接方法来评估人类在成为后人类前发生生存性灾难的总概率。虽然任何估计都难免带有主观色彩，但将发生概率设定在 20% 以下恐怕过于乐观，最理想的预估可能远高于此。但根据我们采取的行动，这个数字可能变大或减小。
3.4 如果这些技术这么危险，是否应该禁止？应该采取什么措施来减少风险？
比尔·乔伊（Bill Joy）在 2000 年的一篇文章中主张，我们应该放弃进一步研究机器人、基因工程和纳米技术。他认为这些技术的某些未来应用非常危险，因此应立刻暂停对这些领域的研究。这篇文章在《连线》（wired）杂志上发表后引发广泛关注，部分归因于乔伊本人之前作为技术爱好者的资历（他曾经是一名软件设计师，也是太阳微系统（Sun Microsystems）的联合创始人）
针对乔伊文章的诸多回应指出，我们不可能实现对这些技术的全球禁令；我们不愿意放弃这些技术巨大的潜在益处；最贫困的人对改善境况可能带来的风险具有更高的忍耐度；而且禁令反而可能增加危险性，因为它一方面会延缓这些技术保护性应用的开发，另一方面又会使遵守禁令者相对于违禁群体处于劣势。
另一种更有希望的替代方案是差异化技术发展，即我们试图调控技术发展时序来降低风险。在这种方法中，我们旨在延缓有害技术及其应用的开发，同时加速有益技术——尤其是那些能够防御有害技术的技术发展。对于具有决定性军事应用的技术，如果无法可核查地全面禁止，我们可能需要推动其在负责任国家比潜在敌方更快开发这些技术。（一项禁令是否具备可核查性与可执行性，可能随国际体系或监控技术发展而动态变化。）
就纳米技术而言，理想的发展顺序是在众多独立主体掌握攻击能力前先行部署纳米免疫系统或其他防御措施。一旦某项技术被许多人共享，就很难控制它进一步扩散。就生物技术而言，我们应着力推动疫苗、抗病毒药物、防护装备、传感器及诊断技术的研究，同时尽可能延缓生物战剂及其武器化手段的研发与扩散。对于人工智能而言，只有当其能力接近或超越人类时，重大风险才会显现。彼时，我们应致力于推动友好型 AI 的发展，同时防范不友好或不可靠的 AI 系统。
超级智能是一项尤其值得推广的技术，因其能有效降低多种威胁。超级智能系统可在政策制定方面提供建议，并加速纳米技术的发展进步，从而缩短危险纳米复制器开发与有效防御系统研发之间的风险窗口期。若存在选择余地，先发展超级智能优于先进纳米技术，因为超智能能降低纳米技术的风险，反之则不然。其他具备广泛风险降低作用的技术还包括智能增强、信息技术及监控系统。这些技术既能提升个体与集体智能水平，又能增强必要监管措施的可执行性。因此，有充分理由支持我们尽可能全力推进此类技术研发。当然，我们也应推进那些几乎在任何情境下都有益的非技术发展，例如维护和平与国际合作。
面对未来迫近的生存性风险、有限风险和可承受风险，任何一种灵丹妙药都难以提供充分防护。我们需要构建一系列应对措施，才能在多层次化解各类风险。
应对风险的首要步骤是确认其存在。还需进行更多研究，尤其应该特别注意生存风险，因其严重性及其挑战的特殊性。令人惊讶的是，该领域的研究很少（但请参阅例如莱斯利（Leslie，1996)、博斯特罗姆（Bostrom ，2002) 和里斯（Rees，2003) 等人的初步探索）。鉴于某些技术具有重大军事影响，我们必须将决策的战略维度纳入考量。除了对威胁及可能对策的学术研究外，还必须提高公众意识，推动对长期选择更理性的讨论。
部分较小的生存性风险——如毁灭性小行星撞击，或未来粒子加速器实验中可能扰动亚稳态真空态高度假设性场景——只需较小投入即可大幅降低。相关应对方案——如建立近地危险天体碰撞早期探测系统，或对计划中的高能物理实验实施预审制度——很可能具有成本效益。然而，这些次要风险绝不能转移我们对更可能发生的生存灾难的注意力（参见“这些未来技术是否风险极高？甚至可能导致人类灭绝？”）。
鉴于技术最终可能为人类带来极其丰厚的福祉，我们能否以最优形式获取这些收益并不那么重要，重要的是我们能否真正获得这些收益。出于许多实际目的，采用以下经验法则合乎情理：我们的行动应最大化可接受结果的概率，即实现我们潜力的某种（较为广泛的）可能性；或者用否定性表述来说，我们的行动应当最小化净生存性风险。
参考资料：
Bostrom, N. “Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards,” Journal of Evolution and Technology. Vol. 9 (2002). http://www.nickbostrom.com/existential/risks.html
Center for Responsible Nanotechnology. “Dangers of Nanotechnology”(2003).http://www.crnano.org/dangers.htm
Foresight Institute. “Foresight Guidelines on Molecular Nanotechnology, version 3.7” (2000).http://www.foresight.org/guidelines/current.html
Gubrud, M. “Nanotechnology and International Security,” Fifth Foresight Conference on Molecular Nanotechnology. (1997) http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/index.html
Wimmer, E. et al. “Chemical Synthesis of Poliovirus cDNA: Generation of Infectious Virus in the Absence of Natural Template,” Science, Vol. 257, No. 5583, (2002), pp. 1016-1018.
Bostrom, N. “Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards,” Journal of Evolution and Technology. Vol. 9 (2002). http://www.nickbostrom.com/existential/risks.html
Joy, B. “Why the Future Doesn’t Need Us”. Wired, 8:04 (2000).http://www.wired.com/wired/archive/8.04/joy_pr.html
Leslie, J. The End of the World: The Ethics and Science of Human Extinction. (London: Routledge, 1996).
Rees, M. Our Final Hour. (New York: Basic Books, 2003).
SeeDAO 超人类主义专栏，每周定期发表翻译 Nick Bostrom 教授所著文章，探讨超人类主义的种种问题，欢迎大家一起加入，共同思考不可知的未来。
注：“超人类主义（Transhumanism）”是一种哲学和文化运动，核心思想是通过科技手段——如人工智能、基因工程、脑机接口、生物增强等——增强人的身体、认知与寿命，甚至突破人类生理与心理的局限，实现向“后人类（Posthuman）”的进化。
欢迎感兴趣的朋友联系 SeeDAO 小助手（vx：seedao2023） 回复“超人类主义”进群讨论
END
翻译 | 小蓝
校对、排版 | Lelouch
审核 | SuanNai
【免责声明】市场有风险，投资需谨慎。本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
