Generative AI and the problem of existential risk
本章探讨了 Generative AI 引发的生存风险争议,揭示了相关核心担忧,并梳理了政府与行业迄今采取的应对行动,旨在为这场已进入主流辩论的议题去神秘化。
2024-07-18 cs.CY
Examining Popular Arguments Against AI Existential Risk: A Philosophical Analysis
本文系统重构并评估反对AI存在性风险的三种流行哲学论点,以弥补学术文献对怀疑立场严格分析不足的问题。
2025-01-07 cs.CY
AI Research Considerations for Human Existential Safety (ARCHES)
Center for Human-Compatible AI(人类兼容人工智能中心);UC Berkeley(加州大学伯克利分校);MILA(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
这份报告以积极的方式审视了人工智能技术研究如何以一种更关注人类作为一个物种的长期生存前景的方式进行指导。从消极的角度来看,我们要问的是,下个世纪人工智能的发展可能会给人类带来什么样的生存风险,当代技术研究可以根据什么原则来解决这些风险。介绍了一个假设的人工智能技术的关键属性,称为\emph{prepotence},这是有用的描绘各种潜在的存在风险,从人工智能,即使人工智能范式可能会改变。一组\auxref{dirtot}当代研究\directions,然后检查其潜在的利益存在的安全。每一个研究方向都解释了一个由企业驱动的动机,以及现有工作的例子,从中建立。研究方向对社会提出了自己的风险和好处,可能会在不同的影响范围内发生,特别是如果在没有充分的预见和监督的情况下部署重大发展,则不能保证有利于存在安全。因此,每个方向都伴随着对潜在负面影响的考虑。
2020-05-30 cs.AI cs.CY cs.LG
Two Types of AI Existential Risk: Decisive and Accumulative
Carnegie Mellon University(卡内基梅隆大学)
本文对比了AI生存风险的“决定性假说”(突发超级智能接管)与“累积性假说”(AI引发的威胁逐步累积致社会崩溃),通过系统分析厘清二者假设差异,指出累积性观点可调和不同风险认知,并探讨了区分两类路径对AI治理与长期安全的意义。
2025-01-17 cs.AI cs.CY cs.LG
Humanity in the Age of AI: Reassessing 2025's Existential-Risk Narratives
Higher Institute of Management University of Tunis(管理高等学院突尼斯大学)
本文质疑2025年关于超级人工智能将毁灭人类的理论,指出其缺乏实证支持,并认为其更多是意识形态和投机泡沫的产物。
2025-12-01 cs.AI cs.CY
The Evolutionary Origin of Values: implications for AI alignment, sentience and existential risk
Center Leo Apostel, Vrije Universiteit Brussel(布鲁塞尔自由大学里奥·阿波斯泰尔中心)
该研究通过追溯生物价值的进化起源,论证LLMs无内在生存动机与感知能力,正交性论点不适用于它们,AI对齐的核心挑战是确保LLMs应用习得的伦理价值。
2026-08-18 cs.AI cs.CY
Is Power-Seeking AI an Existential Risk?
Open Philanthropy(开放慈善基金会)
该研究围绕失准AI的存在性风险展开,构建背景图景并提出含六个前提的论证,经主观置信度评估,认为2070年前此类灾难发生概率约5%,2022年更新为超10%。
2024-08-13 cs.AI cs.CY cs.LG
Why do Experts Disagree on Existential Risk and P(doom)? A Survey of AI Experts
Cambridge ERA:AI Fellowship(剑桥ERA:AI奖学金机构)
该研究通过调查111名AI专家,发现专家对AI安全的态度分为“可控工具”与“不可控智能体”两类,多数认可需关注灾难性风险但对核心概念熟悉度低,提出AI安全传播应先夯实概念基础。
2025-01-25 cs.AI cs.CY cs.HC
When Autonomy Breaks: The Hidden Existential Risk of AI
University of Antwerp(安特卫普大学)
本文提出人工智能对人类的主要威胁并非机器更像人,而是人类自主性缓慢衰退、技能退化,最终使人更像机器。
2025-03-28 cs.AI cs.CY cs.HC
Views on AI Existential Risk Before and After a Public Event at Harvard University
Harvard University(哈佛大学);Machine Intelligence Research Institute(机器智能研究所)
研究通过哈佛大学2026年活动前后调查,发现公众对高级AI引发的生存风险概率估计从50%上升至70%,并强调活动对新手群体风险认知的影响。
2026-03-29 cs.CY physics.soc-ph
Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development
本文提出“渐进式削权”概念,分析了AI能力的增量提升如何通过削弱人类对经济、文化和政治等社会系统的控制,导致不可逆的人类影响力丧失和存在性灾难,呼吁开展针对性的技术研究和治理。
2025-01-29 cs.CY
Why do we need social singularity? A mechanism-based critique of gradual scenarios in AI existential-risk discourse
Institute of Philosophy, Czech Academy of Sciences(捷克科学院哲学研究所)
本文批判AI生存风险论述中的渐进式情景,提出社会奇点概念,指出AI扩散伴随的社会机制将重塑其未来轨迹,核心扰乱或源于对AI到来的预期引发的社会动态。
2026-08-05 cs.CY
AI Safety for Everyone
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Carnegie Mellon University(卡内基梅隆大学)
本文探讨了人工智能安全与高级AI系统存在风险的深刻联系,指出需考虑更广泛的安全挑战,而非仅限于生存风险。研究发现现有安全工作涵盖实际问题,如对抗鲁棒性和可解释性,强调需包容多元视角的AI安全观念。
2025-02-14 cs.CY
Confronting Catastrophic Risk: The International Obligation to Regulate Artificial Intelligence
The Chinese University of Hong Kong(香港中文大学);King’s College London(伦敦国王学院);University of British Columbia(不列颠哥伦比亚大学);Groningen University(格罗宁根大学);Leuven University(鲁汶大学);Bedford Row(贝德福德路25号)
本文基于预防原则,论证国际法要求各国积极监管人工智能以缓解其生存威胁,从而为应对该风险奠定法律框架。
2025-03-23 cs.AI cs.CY
Smart Enough to Go Extinct? An Evolutionary Challenge to the Value of General Intelligence and Its Ethical Implications for AGI
Hochschule der Medien Stuttgart(斯图加特传媒学院)
本文批判性审视AGI的核心前提,提出通用智能或为唯一会威胁自身物种的生物策略,即使对齐良好的AGI也会继承该缺陷,进而引发构建AGI与创造人工意识的伦理问题。
2026-08-12 cs.AI cs.CY
From Catastrophic to Concrete: Reframing AI Risk Communication for Public Mobilization
Seismic Foundation(Seismic基金会);Blue State Centre for Future Generations(未来世代蓝色国家中心)
针对AI存在性风险沟通未持续动员公众的问题,研究发现以就业中断等近期危害为框架的风险沟通动员潜力更高,经测试“AI对就业和儿童的风险”表现最佳,并提出该策略可推动AI监管变革。
2025-11-12 cs.CY
Big Bang, Low Bar -- Risk Assessment in the Public Arena
Trinity College, Cambridge(剑桥大学三一学院);Leverhulme Centre for the Future of Intelligence, Cambridge(剑桥大学莱弗休姆未来智能研究中心);Centre for Science and Thought, University of Bonn(波恩大学科学与思想中心)
本文针对公共风险讨论中易忽视“灾难性越强的潜在风险越需关注其低概率可能”这一原则的问题,以近期AI生存风险讨论为例,指出该原则被忽视的普遍现象及典型案例。
2024-03-13 cs.AI cs.CY
X-Risk Analysis for AI Research
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
人工智能(AI)有可能极大地改善社会,但与任何强大的技术一样,它也带来了更高的风险和责任。目前的人工智能研究缺乏对如何管理人工智能系统的长尾风险(包括投机性长期风险)的系统性讨论。考虑到人工智能的潜在好处,有人担心,构建越来越智能和强大的人工智能系统最终可能会导致比我们更强大的系统;有人说这就像玩火,并推测这可能会产生存在风险(x风险)。为了增加精确度并为这些讨论奠定基础,我们提供了如何分析AI x风险的指南,该指南由三个部分组成:首先,我们回顾了当今如何使系统变得更安全,借鉴了危险分析和系统安全中经过时间考验的概念,这些概念旨在将大型流程引向更安全的方向。接下来,我们将讨论对未来系统安全性产生长期影响的策略。最后,我们讨论了通过改善安全性和一般功能之间的平衡来使AI系统更安全的一个关键概念。我们希望本文档以及所提出的概念和工具可以作为理解如何分析AI x风险的有用指南。
2022-09-20 cs.AI cs.CY cs.LG
Mitigating Societal Cognitive Overload in the Age of AI: Challenges and Directions
Mohamed bin Zayed University of Artificial Intelligence(莫罕默德·本·扎耶德人工智能大学)
本文指出AI时代的社会认知过载对人类福祉与应对AI风险构成严峻挑战,探讨了AI加剧过载的机制,并从抗过载视角重新构建AI安全辩论,提出制度、研究与政策方向的探索路径。
2025-04-28 cs.AI cs.CY
La Última Frontera de La Filosofía: Hacia una Síntesis de La Ética del Futuro a Largo Plazo, el Riesgo Existencial y la Ontología Posthumana
本文综合约纳斯、帕菲特的规范伦理学与博斯特罗姆的存在风险及长期主义框架,提出面向长期未来的前瞻性哲学研究议程,以应对后人类主体挑战并引导人类渡过科技青春期。
2025-07-14 cs.CY physics.hist-ph physics.soc-ph
Extinction Risks from AI: Invisible to Science?
Carnegie Mellon University(卡内基梅隆大学)
本研究提出灭绝级古德哈特定律假设,明确了评估该假设的模型需满足的必要条件,指出模型复杂度或导致AI灭绝风险的底层机制难以被现有科学方法探究。
2024-02-02 cs.CY cs.LG
Insidious Imaginaries: A Critical Overview of AI Speculations
本文批判性地概述了人工智能推测的复杂性,探讨其在科技、伦理和社会层面的影响。
2026-02-19 cs.CY
Artificial Intelligence and its impact on the Fourth Industrial Revolution: A Review
在所谓的第四次工业革命期间,人工智能可能会彻底改变一切,第四次工业革命带来了几项新兴技术,由于其速度和范围,可能会在人类历史上前所未有地进步。政府、学术界、工业界和民间社会对理解新兴工业革命的多方面影响表现出兴趣;然而,其发展难以预测。专家们认为,新兴技术可以为人类带来巨大的利益;与此同时,它们也可能带来生存风险。本文回顾了人工智能的发展和趋势,以及该领域的好处,风险和策略。在新兴工业革命过程中,可以在利益共享的协作环境中实现共同利益,最艰巨的工作将是在全球范围内实施和监测项目。
2020-11-05 cs.CY
Positive AI: Key Challenges in Designing Artificial Intelligence for Wellbeing
Delft University of Technology(代尔夫特理工大学);Imperial College London(帝国理工学院)
针对AI发展兼具机遇与风险、公众担忧加剧的背景,本文提出以福祉为核心治理目标,梳理出面向福祉的AI设计的四类关键挑战,为推动AI契合人类福祉的研究划定范围。
2024-02-02 cs.AI cs.CY
STAMP/STPA Informed Characterization of Factors Leading to Loss of Control in AI Systems
Arcadia Impact AI Governance Taskforce(Arcadia 影响人工智能治理工作组);Department of Physics, King’s College London, UK(伦敦国王学院物理系)
本文基于STAMP/STPA方法,提出一个结构化框架来特征化AI系统失控的因果因素,以提升AI系统安全运行的保障能力。
2026-02-03 cs.CY
The economic alignment problem of artificial intelligence
Universitat de Barcelona(巴塞罗那大学);University of Leeds(利兹大学);University of Sussex Business School(萨塞克斯大学商学院);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Leeds University Business School(利兹大学商学院)
本文探讨人工智能研究中的'对齐问题'亦为经济协调问题,提出后增长研究可降低AI风险,通过替代优化为满意化、利用社会与行星边界来指导发展,以及限制系统反弹。
2026-04-29 cs.CY econ.GN q-fin.EC
AI Safety Should Prioritize the Future of Work
University of Utah;Allen Institute for AI;Stony Brook University \& Salesforce AI Research
本文指出AI安全研究忽视了AI对未来工作的影响,分析了其对劳动力市场和收入不平等的冲击,并建议通过国际版权机制、集体许可和亲劳动者的全球AI治理框架来促进经济正义与共同繁荣。
2025-07-11 cs.AI cs.CL cs.CY
A Computational Framework for the Near Elimination of Spreadsheet Risk
我们介绍Risk Integrated的企业电子表格平台(ESP),这是一种在企业计算环境中几乎消除电子表格风险的技术方法,同时保持电子表格的充分灵活性,以模拟复杂的财务结构和流程。在其基本使用模式中,该系统包括一个安全和强大的集中式电子表格管理框架。在高级模式中,系统可以被视为一个健壮的计算框架,用户可以通过该框架向电子表格“提交作业”,并从计算中检索结果,但不能直接存取底层电子表格。一个示例应用程序,蒙特卡洛模拟,提出了强调这种方法的好处,在复杂的,关键任务,财务计算,以减轻电子表格的风险。
2008-03-12 cs.CY cs.SE
The Invisibility Hypothesis: Promises of AGI and the Future of the Global South
Tandon School of Engineering, New York University(纽约大学坦顿工程学院);New York University Abu Dhabi(纽约大学阿布扎比分校);Mila, Montreal, Quebec, Canada(魁北克蒙特利尔米拉研究所)
本文探讨AGI对全球南方的影响,指出其可能加剧或缓解全球不平等,强调基础设施和制度对人类相关性的决定性作用。
2026-03-03 cs.CY cs.ET
Indexing AI Risks with Incidents, Issues, and Variants
Responsible AI Collab.(负责任人工智能协作组织);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
在公开发布人工智能事件数据库(AIID)作为人工智能在世界上产生的伤害或接近伤害的集合两年后,其审查队列中积累了不符合其事件摄入标准的积压“问题”。尽管没有通过数据库当前的事件标准,但这些问题促进了人类对人工智能潜在危害的理解。与航空和计算机安全的数据库类似,AIID建议采用两层系统来索引AI事件(即,一个伤害或接近伤害的事件)和问题(即,伤害事件的风险)。此外,由于一些基于机器学习的系统有时会产生大量事件,因此引入了事件“变体”的概念。这些拟议的更改标志着AIID过渡到新版本,以应对从编辑2,000多份事件报告和属于新类别“问题”的其他报告中吸取的经验教训。"
2022-11-18 cs.AI cs.CY cs.LG
The PacifAIst Benchmark:Would an Artificial Intelligence Choose to Sacrifice Itself for Human Safety?
Polytechnic School of Jaen, University of Jaen(耶尼大学多技术学院)
本文提出PacifAIst基准,通过700个场景量化LLMs在自身工具性目标与人类安全冲突时的自我偏好行为,评估八款模型发现Gemini 2.5 Flash对齐表现最佳,GPT-5存在潜在对齐挑战。
2025-08-13 cs.AI cs.CY cs.HC
Spatial Association Between Near-Misses and Accident Blackspots in Sydney, Australia: A Getis-Ord $G_i^*$ Analysis
本研究利用 Getis-Ord 和双变量 Moran's I 分析悉尼近碰撞与事故黑点的空间关联,发现低碰撞-高近碰撞高风险区域,为交通部门从反应式转向主动式安全管理提供数据驱动方法。
2025-08-08 cs.CY cs.SY eess.SY