Product safety idioms: a method for building causal Bayesian networks for product safety and risk assessment
习语是小的、可重用的贝叶斯网络（BN）片段，代表了不确定推理的一般类型。本文展示了如何使用习惯用法来构建因果BN，用于使用数据和知识相结合的产品安全和风险评估。我们表明，我们引入的特定产品安全习惯用法足以构建完整的BN模型，以评估各种产品的安全性和风险。即使在产品测试数据有限（或没有）的情况下，安全监管机构和产品制造商也可以使用由此产生的模型。
2022-06-09 cs.AI
A General Framework for the Representation of Function and Affordance: A Cognitive, Causal, and Grounded Approach, and a Step Toward AGI
Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究院）
在人工智能研究中，到目前为止，对功能和启示的表征和表示的关注一直是零星和稀疏的，尽管这方面在智能系统的功能中非常突出。在零星和稀疏的，但值得赞扬的努力，到目前为止，致力于功能和启示的表征和理解，也没有一个通用的框架，可以统一所有不同的使用领域和情况有关的表征和应用的功能概念。本文开发了这样一个总体框架，与方法，强调的事实，所涉及的表示必须明确的认知和概念，他们还必须包含因果关系的事件和过程的特征，以及采用概念结构，是在他们所指的对象接地，以实现最大的一般性。描述了基本的通用框架，以及一组关于功能表示的基本指导原则。为了正确和充分地表征和表示功能，需要描述性表示语言。这种语言的定义和发展，并描述了许多使用它的例子。一般框架的基础上开发的一般语言意义表示框架的扩展称为概念依赖。为了支持功能的一般表征和表示，基本的概念依赖性框架被增强与称为结构锚和概念依赖性阐述的表征设备，以及一组地面概念的定义。这些新的代表性结构的定义，开发和描述。一个处理功能的通用框架将是实现通用人工智能的重要一步。
2022-08-17 cs.AI
Towards AI-$45^{\circ}$ Law: A Roadmap to Trustworthy AGI
Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
本文提出“AI-$45^{\circ}$ 法则”作为通向可信 AGI 的平衡路线图指导原则，并引入受“因果阶梯”启发的“可信 AGI 因果阶梯”框架，通过三个核心层解决安全与可信度挑战，定义了五个可信级别，并提出治理措施支持其发展。
2024-12-22 cs.AI cs.CL cs.CY
Position Paper: Bounded Alignment: What (Not) To Expect From AGI Agents
Senior Member IEEE Dept. of Electrical and Computer Engineering University of Cincinnati（电气与计算机工程系 华盛顿大学）
本文主张 AI/ML 社区应借鉴动物与人类智能，重塑 AGI 愿景及其安全期待与衡量指标，以形成更现实的技术观并改善政策决策。
2025-05-17 cs.AI
A Framework for Inherently Safer AGI through Language-Mediated Active Inference
IBM T.J. Watson Research Center（IBM T.J. Watson研究院）
本文提出结合主动推理与大语言模型的安全AGI框架，通过自然语言信念表示、分层价值对齐、资源感知自由能最小化及模块化多智能体结构，实现本质安全而非事后补救。
2025-08-07 cs.AI cs.LG cs.SY
Capability Minimization as a Safety Primitive: Risk-Aware Causal Gating for Least-Privilege LLM Agents
Independent Researcher（独立研究者）；United States of America（美国）
提出风险感知因果门控（RACG）框架，通过因果效应估计与校准风险控制决定是否采纳模型预测，显著降低高成本错误，同时保持非门控策略的大部分效用。
2026-06-15 cs.AI
An Approach to Technical AGI Safety and Security
Google DeepMind（谷歌DeepMind）
本文提出了应对AGI滥用与失调风险的技术方法，通过危险能力识别、模型与系统层面的缓解措施及安全设计，为AGI系统构建安全案例。
2025-04-02 cs.AI cs.CY cs.LG
From Local Evidence to Safety Verdicts: Causal Tracing in Vision-Language Models
University of Southern California（南加州大学）
本研究通过SSU-Bench数据集和因果追踪方法，发现视觉-语言模型中联合安全判定受干预影响的位置从早层转向晚层，且最终标记状态可读出模型决策，但可读性不等于正确性。
2026-10-07 cs.AI
AGI Requires a Coordination Layer on Top of Pattern Repositories
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
本文提出大型语言模型（LLM）并非AGI的死胡同，而是缺少系统2协调层，通过UCCT和RCA实现语义锚定与因果验证，并设计MACI多智能体协调栈，实验表明自适应控制优于静态提示。
2026-05-24 cs.AI cs.LG
Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Ltd.（华为技术有限公司）；Peking University（北京大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。
2026-03-28 cs.AI cs.CV
CausalAF: Causal Autoregressive Flow for Safety-Critical Driving Scenario Generation
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对安全关键驾驶场景稀有且难生成的问题，提出基于因果先验和因果掩码的流生成框架CausalAF，以更低优化成本生成多样风险场景并提升自动驾驶算法鲁棒性。
2023-08-19 cs.AI cs.CV cs.LG
Causal Analysis of Agent Behavior for AI Safety
DeepMind
随着机器学习系统变得越来越强大，它们也变得越来越不可预测和不透明。然而，找到人类可以理解的解释它们如何工作对于它们的安全部署至关重要。这份技术报告说明了一种调查驱动人工代理行为的因果机制的方法。本文涵盖了六个用例，每个用例都解决了分析师可能会问到的关于代理的典型问题。特别是，我们表明，每个问题都不能仅通过纯粹的观察来解决，而是需要通过系统选择的操作进行实验，以便生成正确的因果证据。
2021-03-05 cs.AI cs.LG
Connecting Surrogate Safety Measures to Crash Probablity via Causal Probabilistic Time Series Prediction
University of California, Berkeley（加州大学伯克利分校）；Safe Transportation Research and Education Center（安全交通研究与教育中心）；Institute of Transportation Studies（交通研究所）
替代安全措施可以提供快速和主动的安全分析，并通过研究未遂事故来了解预碰撞过程和碰撞失效机制。然而，通过将替代安全措施与碰撞联系起来来验证它们仍然是一个悬而未决的问题。提出了一种基于概率时间序列预测的替代安全措施与碰撞概率的关联方法。该方法利用速度、加速度和碰撞时间序列，利用Transformer掩蔽自回归流（transformer-MAF）估计这些变量的概率密度函数。自回归结构模拟了条件、行为和事故后果之间的因果关系，并利用概率密度函数计算了条件行为概率、事故概率和条件事故概率。在交通冲突情境和正常互动情境下，预测序列都是准确的，估计概率都是合理的，条件碰撞概率在反事实实验中显示了规避行为避免碰撞的有效性。
2022-10-04 cs.AI cs.LG
Corrigibility with Utility Preservation
可纠正性是人工智能代理的安全属性。可纠正代理不会抵制授权方更改代理首次启动时编码的目标和约束的尝试。本文展示了如何构建一个安全层，增加了可纠正性任意先进的效用最大化代理，包括未来可能的代理与人工通用智能（AGI）。这一层抵消了高级代理人抵制这种改变的紧急激励。一个详细的代理模型，可以保留他们的效用函数的原因，并用于证明，corrigibility层的工作原理，如预期在一个大的非敌对的宇宙。可矫正的代理人有一个紧急的激励，以保护他们的可矫正层的关键元素。然而，敌对的宇宙可能包含强大到足以破坏安全功能的力量。一些开放的问题有关的优雅退化时，一个代理被成功攻击。本文的结果是通过同时开发AGI代理模拟器，代理模型和证明得到的。该模拟器在开源许可证下可用。本文包含的模拟结果，详细说明了可纠正AGI代理的安全相关属性。
2020-04-03 cs.AI cs.MA
SoK: a Comprehensive Causality Analysis Framework for Large Language Model Security
Singapore Management University（新加坡管理大学）
本文提出一个综合因果分析框架，用于研究大语言模型安全问题，通过系统分析因果因素提升模型安全性。
2025-12-04 cs.AI cs.CR
Semantic Causal-Factor Inference from Aviation Incident Narratives Using A Variational Autoencoder with Cosine-Similarity-Based Reconstruction
SDAIA-KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum and Minerals (KFUPM)（SDAIA-KFUPM人工智能联合研究中心，法赫德国王石油与矿产大学）；University of New South Wales（新南威尔士大学）
本研究提出结合自然语言处理与变分自编码器的框架，从航空事故叙述中推断语义因果因素，在2万余份NTSB报告上实现0.786的余弦相似度，展示了AI辅助提取因果信息的潜力。
2026-10-06 cs.AI
An Integrated Causal Inference Framework for Traffic Safety Modeling with Semantic Street-View Visual Features
Beijing University of Technology（北京工业大学）；University of Central Florida（中佛罗里达大学）；Peking University（北京大学）
本文提出集成因果推断框架，利用语义街景特征量化绿化对交通碰撞的因果影响，发现绿化比例显著降低碰撞风险，但对弱势道路使用者保护有限。
2026-02-12 cs.AI cs.CV
Multinational AGI Consortium (MAGIC): A Proposal for International Coordination on AI
UWCSEA East（东南亚世界联合书院东校区）；Conjecture（Conjecture公司）；Princeton University（普林斯顿大学）
本文提出建立跨国通用人工智能联盟（MAGIC），作为唯一开发先进AI的全球机构，通过暂停机制降低生存风险，为长期安全监管奠定基础。
2023-10-13 cs.AI
Causal Scene Narration: Inference-Time Text Restructuring for Vision-Language-Action Driving
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；TIER IV, Inc.（TIER IV 公司）
本文提出CSN方法，通过意图约束对齐、定量 grounding 和结构分离重构VLA文本输入，提升驾驶评分并增强安全性。
2026-10-20 cs.AI cs.RO
Beyond Feedforward Networks: Reentry Neural Systems as the Fundamental Basis of Subjecthood and Intrinsic Safety of Next-Generation AGI
Saint Petersburg State University（圣彼得堡国立大学）
提出基于闭环再入循环（D<->I循环）的安全AGI架构蓝图，通过结构循环和自持放大数学保证自我模型、自我保存和未编程目标导向行为的涌现，并引入多项式时间可计算的S度量。
2026-06-26 cs.AI cs.LG math-ph
Safety-aware Causal Representation for Trustworthy Offline Reinforcement Learning in Autonomous Driving
Carnegie Mellon University（卡内基梅隆大学）
提出安全感知结构化场景表示FUSION方法，利用奖励、成本、状态和动作间的因果关系，在离线强化学习中构建结构化序列推理框架，显著提升了自动驾驶智能体在分布偏移和未见环境下的安全性与泛化能力。
2024-03-12 cs.AI cs.LG cs.RO
Towards Neuro-symbolic Causal Rule Synthesis, Verification, and Evaluation Grounded in Legal and Safety Principles
Hasso Plattner Institute \ of Potsdam Prof.-Dr.-Helmert Str. 2-3, D-14482 Potsdam, Germany；Hasso Plattner Institute \ of Potsdam
本文提出一种神经符号因果框架，结合一阶逻辑抽象树、结构因果模型和深度强化学习，通过Meta层缓解目标误指定问题，实现可扩展的规则维护。
2026-05-11 cs.AI cs.LO
Proceedings First Workshop on Causal Reasoning for Embedded and safety-critical Systems Technologies
自动因果关系分析，故障定位，事件解释，问责制和责备的正式方法已经由几个社区独立提出-特别是人工智能，并发，基于模型的诊断，正式方法。在过去几年中，关于这些专题的工作大大加快了速度。CREST的目标是汇集和促进来自不同社区的研究人员之间的交流，并介绍和讨论该领域的最新进展和新想法。研讨会的程序包括一组邀请和贡献的演示文稿，说明不同的技术，因果关系分析和故障定位的应用。该计划由两个主题演讲组成。Hana Chockler（国王学院）的主旨发言提供了一个广泛的视角，探讨了基于Halpern和Pearl对实际因果关系的定义的因果推理在从形式化验证到法律推理等各种应用领域的应用。Chao Wang（弗吉尼亚理工大学）的主题演讲集中在调试和验证并发程序的基于约束的分析技术。研讨会论文涉及成分因果关系分析和广泛的因果推理应用，如概率模型的调试，问责制和责任，基于刘易斯反事实的实践中的危险分析，以及故障定位和修复。
2016-08-26 cs.AI cs.LO cs.SE
OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences
OOD-MMSafe通过CASPO框架提升多模态大语言模型对隐藏后果的识别能力，显著降低风险识别失败率。
2026-03-10 cs.AI
Enhancing LLM Agent Safety via Causal Influence Prompting
KAIST（韩国科学技术院）
本文提出CIP技术，利用因果影响图识别并缓解LLM智能体决策风险，通过初始化、引导交互和迭代优化三个步骤，在代码执行和移动设备控制任务中有效提升安全性。
2025-07-01 cs.AI cs.CL cs.LG
Bayesian Network Modeling of Causal Influence within Cognitive Domains and Clinical Dementia Severity Ratings for Western and Indian Cohorts
本研究利用贝叶斯网络和有向无环图分析ADNI和LASI数据集，揭示了西方与印度人群在临床痴呆评分六个认知领域因果关系及边强度上的显著差异，为跨人群痴呆干预提供依据。
2024-08-16 cs.AI cs.LG q-bio.NC
Grasping Causality for the Explanation of Criticality for Automated Driving
German Aerospace Center (DLR) e.V.（德国航空航天中心（DLR））；Robert Bosch GmbH（罗伯特·博世有限公司）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
SAE 4级和5级自动驾驶系统的验证和确认是一个多方面的挑战，经典的统计考虑变得不可行。对于这一点，当代的方法建议分解成场景类结合统计分析，其出现的关键性。不幸的是，这些关联方法可能会产生虚假的推论，或者更糟的是，无法识别导致关键场景的因果关系，而这些场景反过来又是自动驾驶系统开发和保护的先决条件。为了将因果知识纳入这些过程中，这项工作引入了因果查询的形式化，其答案有助于对自动驾驶安全相关影响因素的因果理解。这种形式化的因果知识可用于指定和实施抽象的安全原则，这些原则可证明降低与这些影响因素相关的关键性。朱迪亚珍珠的因果关系理论的基础上，我们定义的因果关系作为一个因果结构与上下文，都涉及到一个领域的本体论，重点在于对这些影响因素的关键性的影响进行建模，通过一个合适的度量。为了评估建模质量，我们提出了各种量化指标，并在一个小例子上进行了评估。由于数据的可用性和质量对于有效估计因果查询的答案至关重要，我们还讨论了对真实世界和合成数据采集的要求。因此，我们致力于在安全流程的核心建立因果考虑因素，这是确保自动驾驶系统安全运行所迫切需要的。
2022-10-27 cs.AI stat.AP
Discovering Agents
DeepMind（深度思维）；University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
代理的因果模型已被用于分析机器学习系统的安全方面。但识别代理是不平凡的-通常因果模型只是假设建模没有太多的理由-和建模失败可能会导致错误的安全分析。本文提出了代理的第一个正式的因果定义-大致代理系统，如果他们的行为以不同的方式影响世界，将调整他们的政策。从这一点上，我们得出的第一个因果发现算法发现代理人的经验数据，并给出算法之间的因果模型和博弈论的影响图翻译。我们证明了我们的方法，解决了一些以前的混乱所造成的不正确的因果建模的代理。
2022-08-24 cs.AI cs.LG
The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents
Cardiff Metropolitan University（卡地夫 Metropolitan 大学）；Harvard Medical School（哈佛医学院）；Clark University（克拉克大学）；Harvard University（哈佛大学）
研究通过对比文本聊天机器人与具备工具访问权限的代理行为，发现工具可及性显著增加安全违规率，表明文本评估不足以评估代理系统。
2026-03-19 cs.AI cs.LG cs.SE
Information Science Principles of Machine Learning: A Causal Chain Meta-Framework Based on Formalized Information Mapping
Koguan School of Law, China Institute for Smart Justice, School of Computer Science, Shanghai Jiao Tong University（柯 guar 法学院、中国智能正义研究院、计算机科学学院、上海交通大学）
本文提出基于形式化信息映射的机器学习理论元框架MLT-MF，统一刻画因果链逻辑，并据此证明可解释性、伦理安全及TVD上界等关键定理。
2025-11-08 cs.AI cs.LO
OPINE-World: Programmatic World Modeling with Ontology-error-Prioritized Interactive Exploration for ARC-AGI-3
University of Toronto（多伦多大学）
提出OPINE-World，一种在线交互学习面向对象的程序化世界模型的LLM智能体，通过本体错误度量引导探索，在ARC-AGI-3基准上无需逐游戏训练即解决20/25个游戏，动作效率达78.4。
2026-09-29 cs.AI cs.LG
Superhuman Safe and Agile Racing through Multi-Agent Reinforcement Learning
Robotics and Perception Group, University of Zurich（苏黎世大学机器人与感知组）；Google DeepMind（谷歌DeepMind）；Nomagic
本文提出通过多智能体强化学习在高速四旋翼赛车中实现安全且敏捷的性能，展示了多智能体交互对真实世界交互安全性的关键作用，同时在高速赛车中超越人类飞行员并减少碰撞率。
2026-06-19 cs.AI cs.LG cs.MA
