TPvG: A Moral Decision Framework for Large Language Models from One-Shot to Sequential Feedback
Beijing Language and Culture University(北京语言大学);Peking University(北京大学)
本研究提出TPvG道德决策框架,通过含结果反馈的任务评估发现,LLM道德决策受决策形式和接收者反馈影响,且与人类决策模式存在差异,需评估其高风险交互下的道德稳定性。
2026-09-01 cs.AI
A Computational Model of Commonsense Moral Decision Making
Massachusetts Institute of Technology(麻省理工学院)
我们引入了一个新的计算模型的道德决策,借鉴最近的理论常识道德学习通过社会动力学。我们的模型将道德困境描述为一个效用函数,该函数计算抽象道德维度上的价值权衡,当在机器主导的道德决策中实施时,这些道德维度提供了可解释的参数值。此外,表征的社会结构的个人和群体作为一个分层贝叶斯模型,我们表明,一个有用的描述个人的道德价值观-以及一个群体的共同价值观-可以推断出从有限数量的观测数据。最后,我们应用和评估我们的方法,从道德机器,一个网络应用程序,收集人类的判断涉及自动驾驶汽车的道德困境的数据。
2018-01-12 cs.AI
Who Gets the Kidney? Human-AI Alignment, Indecision, and Moral Values
Pennsylvania State University(宾夕法尼亚州立大学)
研究评估了LLM在器官分配中的行为,发现其在优先级设定上偏离人类价值观,并且在犹豫机制上表现不同,低秩监督微调能提升决策一致性与犹豫建模。
2026-04-19 cs.AI cs.CY cs.LG
Exploring Persona-dependent LLM Alignment for the Moral Machine Experiment
Korea Advanced Institute of Science & Technology (KAIST)(韩国科学技术院(KAIST));Max Planck Institute for Security and Privacy (MPI-SP)(马克斯·普朗克安全与隐私研究所)
本研究通过道德机器实验考察LLM驱动决策与人类判断的对齐,发现LLMs的道德决策因角色(含社会人口统计学特征)显著变化,关键任务中变化幅度大于人类,且存在政治角色主导决策的党派分类现象,探讨了伦理影响与风险。
2025-04-15 cs.AI cs.CL cs.CY
Why should we ever automate moral decision making?
Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
本文针对AI道德决策因缺乏成熟数学框架、训练环境不足及人类道德缺陷引发的担忧,阐述了应推动AI参与带道德成分决策的理由并讨论相关风险。
2024-07-10 cs.AI
Can AI Model the Complexities of Human Moral Decision-Making? A Qualitative Study of Kidney Allocation Decisions
Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学);Yale University(耶鲁大学)
本研究通过20次肾脏分配决策访谈,发现人类道德决策包含复杂的细微差别,指出简单AI模型难以完全替代人类道德判断,并探讨了现有计算方法的缺陷与未来方向。
2025-03-02 cs.AI cs.CY cs.HC
The Judgment-Consequence Gap: LLM Moral Reasoning in Healthcare Decisions
Pennsylvania State University(宾夕法尼亚州立大学)
该研究发现LLMs在医疗决策中存在判断-结果差距,即虽认同患者对危害健康行为负有责任,但拒绝将该判断用于稀缺医疗资源分配,且随推理能力提升会放大与人类的道德分歧。
2026-08-07 cs.AI cs.CY cs.LG
Addressing Moral Uncertainty using Large Language Models for Ethical Decision-Making
本研究提出一种伦理决策框架,通过任务无关伦理层结合LLM生成的多道德视角反馈微调RL模型,利用信念聚合方法生成塑形奖励,帮助智能体应对道德不确定性,提升决策一致性与适应性,减少对人工伦理奖励的依赖。
2025-10-01 cs.AI cs.CY
A Contractualist Argumentation Framework for Moral Decision-Making
Hospital del Mar Research Institute(德尔马医院研究所);Ghent University(根特大学);imec(imec研究院)
该研究针对自主智能体在共享环境中需处理冲突利益的道德决策问题,提出基于Scanlon契约论的、扩展了价值过滤的ASPIC+契约论论证框架,经实例验证其有效性并探讨了与现有方法的关联。
2026-08-04 cs.AI cs.CY
Echoes of Deeds: Moral History Can Shape and Steer LLM Behavioral Choices
University of Calabria(卡拉布里亚大学)
本研究提出MoralLedger框架,证明LLM的道德历史在行为和表征层面影响决策,且可沿潜在方向干预控制道德选择,为道德审计提供新途径。
2026-09-29 cs.AI cs.CL cs.CY
Moral reinforcement learning using actual causation
Technical University of Denmark(丹麦技术大学)
强化学习系统将在越来越大的程度上做出对人类福祉产生重大影响的决策,因此,这些系统做出符合我们对道德良好行为的期望的决策至关重要。道德上的善通常被定义为因果关系,如一个人的行为是否确实导致了特定的结果,以及该结果是否可以被预期。我们提出了一种在线强化学习方法,该方法在代理不应该造成伤害的约束下学习策略。这是通过使用实际因果关系理论定义原因,并在代理人的行为是不良结果的实际原因时将责任归咎于代理人来实现的。我们对一个玩具伦理困境进行了实验,在这个玩具伦理困境中,奖励函数的自然选择会导致明显不受欢迎的行为,但我们的方法学习了一种避免成为有害行为原因的政策,证明了我们方法的合理性。允许智能体在观察因果道德差异(如责备)的同时进行学习,为学习更符合我们道德判断的政策提供了可能性。
2022-05-17 cs.AI cs.CY cs.LG
The Moral Turing Test: Evaluating Human-LLM Alignment in Moral Decision-Making
University of Geneva(日内瓦大学);Google DeepMind(谷歌DeepMind);École Normale Supérieure(巴黎高等师范学院)
该研究通过构建道德情境回应语料库和230人用户研究,发现人类与LLM道德评估存在不一致,LLM对个人框架更敏感,且人类虽偏好LLM评估但存在系统性反AI偏见,揭示了道德决策中人类-AI感知的复杂性。
2024-10-09 cs.AI cs.HC
Uncertain Machine Ethics Planning
University of Manchester(曼彻斯特大学);Newcastle University(新castle大学)
本文将不确定条件下的机器伦理决策形式化为多道德马尔可夫决策过程与随机最短路径问题,并提出基于多目标AO*和假设回顾的启发式算法,通过偷胰岛素案例验证其有效性。
2025-05-07 cs.AI cs.CY
How do LLMs Evaluate Perceived Moral Agency? Investigating Moral Decision-Making in Human-Artificial Agents Interactions
IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CLLE(语言、文本、话语与认知实验室);IPAL(国际感知、代理与学习研究所)
本研究探究LLMs对感知道德主体性的评估,通过对比人类与LLMs在智慧城市情境下对不同主体的道德主体性感知,发现LLMs在道德决策中具情境敏感性,优先考量伤害程度与紧迫性。
2026-09-07 cs.AI cs.CL
A phenomenon of AI-conformity: how algorithms change human moral decision-making
Neuroscience Laboratory, Sberbank, Moscow, Russia(神经科学实验室,俄罗斯储蓄银行,莫斯科)
本研究通过改编经典Asch范式,发现具有推理能力的AI模型对人类道德判断的影响程度与人类多数相当,表明道德决策也可能受到算法从众的影响。
2026-04-13 cs.AI cs.CY cs.HC
Human Perceptions on Moral Responsibility of AI: A Case Study in AI-Assisted Bail Decision-Making
KAIST(韩国科学技术院);IBS(韩国基础科学研究院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Max Planck Institute for Research on Collective Goods(马克斯·普朗克集体利益研究所)
如何为自主人工智能(AI)系统的行为归属责任一直是人文和社会科学学科的广泛争论。这项工作提出了两个实验($N$ =200每个),衡量人们的看法,八种不同的概念的道德责任有关的AI和人类代理人的保释决策的背景下。使用现实生活中改编的小插曲,我们的实验表明,人工智能智能体被认为负有因果责任,并指责类似于人类代理人的相同任务。然而,人们如何看待这些代理人的道德责任存在有意义的差异;人类代理人比人工智能智能体具有更高程度的当前和前瞻性责任概念。我们还发现,人们希望人工智能和人类决策者和顾问能够证明他们的决定是正确的,而不管它们的性质如何。我们讨论了这些发现的政策和HCI影响,例如在高风险场景中需要可解释的AI。
2021-02-01 cs.AI cs.CY cs.HC
Minimum Levels of Interpretability for Artificial Moral Agents
Imperial College London(伦敦帝国学院)
本文针对人工道德智能体(AMA)的安全部署问题,引入最低可解释性水平(MLI)概念,概述AI可解释性子领域并为各类智能体推荐相应MLI,以促进其有效使用、错误纠正及安全部署。
2023-07-02 cs.AI cs.CY
MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes
University of Washington(华盛顿大学);New York University(纽约大学);Scale AI;Harvard University(哈佛大学);University of Michigan(密歇根大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Center for AI Safety(人工智能安全中心);Stanford University(斯坦福大学);MIT(麻省理工学院);University of Oxford(牛津大学)
提出MoReBench基准,包含1000个道德场景和超过2.3万条标准,用于评估语言模型在道德推理中的程序性推理能力,发现现有基准无法预测模型表现,且模型对特定道德框架存在偏好。
2026-06-12 cs.AI cs.CL cs.CY
Dropouts in Confidence: Moral Uncertainty in Human-LLM Alignment
本研究探讨道德不确定性对人机对齐的影响,通过分析32个开源模型在电车难题中的响应,发现模型架构和训练方法主导道德不确定性,提出的推理时dropout机制可改善对齐效果。
2025-11-17 cs.AI cs.CL cs.CY
GreedLlama: Performance of Financial Value-Aligned Large Language Models in Moral Reasoning
San Francisco State University(旧金山州立大学);Northeastern University(东北大学);Parallel Polis(平行城邦)
本文以微调后优先经济收益的 GreedLlama 为案例,对比 Llama2 评估道德推理表现,证明单一金融价值对齐会显著降低伦理决策率,并呼吁商业 LLM 融入更广泛伦理约束。
2024-04-03 cs.AI cs.CL cs.CY
Immune Moral Models? Pro-Social Rule Breaking as a Moral Enhancement Approach for Ethical AI
University College Dublin(都柏林大学学院)
我们正在走向一个基于人工智能(AI)的代理代表人类做出许多决定的未来。从医疗保健决策到社交媒体审查,这些代理人面临问题,并做出具有道德和社会影响的决策。道德行为是我们希望在以人为中心的AI中具有的一个关键特征。在以人为本的行业中,如服务业和医疗保健行业,一个常见的观察结果是,他们的专业人士倾向于在必要时出于亲社会的原因打破规则。人类的这种行为被定义为违反社会规则。为了使人工智能智能体更加以人为中心,我们认为,有必要建立一种机制,帮助人工智能智能体确定何时打破其设计师设定的规则。为了理解人工智能智能体何时需要打破规则,我们研究了人类出于亲社会原因打破规则的条件。在本文中,我们提出了一项研究,介绍了一个“疫苗接种策略困境”的人类参与者,并分析他们的反应。在这种困境中,人们需要决定是只向高风险群体的成员分发新型冠状病毒疫苗(遵循强制规则),还是在特定情况下向少数社会影响者接种疫苗(打破规则),这可能会给社会带来更大的整体利益。实证研究的结果表明,利益相关者的效用和亲社会的规则打破(PSRB)之间的关系,这既不是义务论和功利主义伦理完全解释。最后,本文讨论了具有PSRB能力的伦理Agent的设计特点,以及PSRB在人工智能领域的未来研究方向。我们希望这将为未来人工智能智能体的设计及其决策行为提供信息。
2022-05-09 cs.AI cs.CY
Algorithmic Fairness in AI Surrogates for End-of-Life Decision-Making
The Department of Computing & Software Systems University of Washington Bothell Harborview Medical Center, UW Medicine(计算与软件系统系华盛顿大学Bothell分校哈佛湾医疗中心,华盛顿大学医学部)
针对临终决策 AI 替代者,本文将主要公平概念映射到现实临终场景并跨道德传统考察,提出公平应包含道德代表性及对患者价值观、关系与世界观的忠实。
2025-10-16 cs.AI cs.CY cs.LG
EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models
Department of Methodology and Statistics, Utrecht University(方法论与统计学系,乌得勒支大学)
本文提出EvalMORAAL框架,通过两种评分方法和模型作为裁判的同行评审,评估20个大语言模型的道德对齐情况,发现西方与非西方地区存在显著的道德对齐差距。
2026-05-19 cs.AI cs.CL
Moral Rebel Agents: Decision-Making Under Conflicting Obligations
Lehigh University(理海大学);Naval Research Laboratory(海军研究实验室);Interagens s.r.l.(Interagens有限责任公司)
本文研究自主智能体在道德义务与用户任务冲突时的道德反叛行为,形式化五种智能体架构并在搜索救援领域验证,发现任务承诺保持是道德反叛的关键维度。
2026-09-15 cs.AI
The Convergent Ethics of AI? Analyzing Moral Foundation Priorities in Large Language Models with a Multi-Framework Approach
New York University(纽约大学);DropBox
本文提出PRIME框架,通过双协议方法评估六个领先LLM的道德优先级,发现它们在道德决策中表现出显著的趋同性,与人类道德偏好高度一致,为AI伦理基准测试提供了可扩展方法。
2025-04-27 cs.AI cs.CY
Moral Decision-Making in Medical Hybrid Intelligent Systems: A Team Design Patterns Approach to the Bias Mitigation and Data Sharing Design Problems
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);TNO(荷兰国家应用科学研究院)
医疗保健行业的自动化程度不断提高,需要采用混合智能(HI)方法来密切研究和设计人类与自动机器的协作。确保医疗HI系统的决策符合伦理是关键。团队设计模式(TDPs)的使用可以通过描述成功的和可重用的设计问题的配置,其中的决定有一个道德的组成部分,以及通过促进多学科团队设计HI系统的沟通,推进这一目标。在这项研究中,开发了TDPs来描述医疗HI系统中两个设计问题的一组解决方案:(1)减轻机器学习算法中的有害偏差,以及(2)与医疗保健专业人员和系统开发人员共享健康和行为患者数据。社会认知工程方法,整合业务需求,人为因素的知识,和技术分析成一组的TDPs。创建了一个调查,以评估模式的可理解性,有效性和普遍性的可用性。结果表明,TDPs是一个有用的方法来明确地描述不同的HI设计问题的解决方案与道德组件在不同的抽象层次,这是可用的一个异质的多学科研究人员。此外,结果表明,SCE的方法和开发的问卷是合适的方法来创建和评估TDPs。该研究的结论与一组建议的改进TDPs,包括他们的集成与交互设计模式,包括几个额外的概念,和一些方法的改进。最后,本文提出了未来研究的方向。
2021-02-16 cs.AI cs.CY cs.HC
Mathematical decisions and non-causal elements of explainable AI
University of Toronto(多伦多大学);Australian National University(澳大利亚国立大学)
算法决策在敏感环境中的社会影响在多个利益相关者之间产生了激烈的辩论,如道德和政治哲学家,计算机科学家和公众。然而,缺乏一种共同的语言和一个概念框架来适当地弥合辩论的道德、技术和政治方面,这阻碍了讨论尽可能有效。社会科学家和心理学家通过收集大量的经验数据为这场辩论做出了贡献,但对算法决策的社会影响的哲学分析仍然相对贫乏。在试图解决这一空白,本文认为,不同类型的层次结构的解释为什么和如何实现的算法决策的结果可以建立相关的道德和技术方面的算法决策之间的联系。特别是,我为算法决策的解释和解释提供了一个多方面的概念框架,我声称这个框架可以为多个利益相关者之间关于算法决策的社会影响以及更普遍的人工智能治理和道德的集中讨论奠定基础。
2019-12-12 cs.AI cs.CY cs.HC
Cognitive Models as Simulators: The Case of Moral Decision-Making
McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
为了实现理想的性能,当前的AI系统通常需要大量的训练数据。这在收集数据既昂贵又耗时的领域中尤其成问题,例如,人工智能系统需要与人类进行多次互动,收集他们的反馈。在这项工作中,我们证实了$\textit{cognitive models as simulators}$的想法,即让人工智能系统与认知模型而不是人类进行交互并从其收集反馈,从而使其训练过程成本更低,速度更快。在这里,我们在道德决策的背景下利用这个想法,通过让强化学习(RL)代理通过与最后通牒游戏(UG)的认知模型交互来学习公平性,这是行为和脑科学中研究公平性的一个典型任务。有趣的是,这些RL代理学会根据模拟UG响应者的情绪状态合理地调整他们的行为。我们的工作表明,使用认知模型作为人类的模拟器是训练AI系统的有效方法,为计算认知科学为AI做出贡献提供了重要途径。
2022-10-08 cs.AI cs.LG cs.MA
Evaluating Moral Beliefs across LLMs through a Pluralistic Framework
School of Information Science, Beijing Language and Culture University(北京语言大学信息科学学院);School of Humanities, Tsinghua University(清华大学人文学院)
本研究提出三模块框架,评估四个大型语言模型的道德信念,发现英语模型偏向个人主义且决策坚定,中文模型偏向集体主义且存在模糊性,并揭示性别偏见。
2024-11-06 cs.AI cs.CL
Have a break from making decisions, have a MARS: The Multi-valued Action Reasoning System
Imperial College London(帝国理工学院)
多值行为推理系统(MARS)是一个基于价值的人工智能伦理决策模型。给定一组可用的行为和一个潜在的道德范式,通过使用MARS,人们可以确定道德上首选的行为。它可以用来实现和模拟不同的伦理理论,不同的道德范式,以及这些组合,在自动化的实践推理和规范决策分析的背景下。它也可以用来模拟道德困境,并发现导致理想结果的道德范式。在本文中,我们给出了一个简明扼要的描述MARS,解释它的用途,并比较它在现有的文献。
2023-02-07 cs.AI cs.GT cs.LO
Normative Evaluation of Large Language Models with Everyday Moral Dilemmas
D-Lab, University of California, Berkeley(加州大学伯克利分校D-Lab)
针对现有研究过度简化日常道德困境的问题,该研究基于Reddit的AITA社区超过10,000个道德困境评估了7个大型语言模型,发现其道德判断与人类差异显著且模型间一致性低,凸显了在人工系统中进行伦理评估的必要性。
2025-01-30 cs.AI cs.CY
When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment
MPI(马克斯·普朗克研究所);ETH Zürich(苏黎世联邦理工学院);MIT(麻省理工学院);Harvard(哈佛大学);IIT Kharagpur(印度理工学院卡拉格普尔分校);Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
人工智能系统与人类生活的联系越来越紧密。为了有效地与人类合作并确保安全,人工智能系统需要能够理解、解释和预测人类的道德判断和决策。人类的道德判断往往受规则的指导,但并不总是如此。人工智能安全面临的一个核心挑战是捕捉人类道德思维的灵活性-确定何时应该打破规则的能力,特别是在新颖或不寻常的情况下。在本文中,我们提出了一个新的挑战集,包括违规问答(RBQA)的情况下,涉及潜在的允许违规-最近的道德心理学研究的启发。以最新的大语言模型(LLM)为基础,提出了一种新的道德思维链(MORALCOT)激励策略,该策略结合了LLM的优势和认知科学中的道德推理理论,预测人类的道德判断。MORALCOT的表现比现有的7个LLM高出6.2%F1,这表明建模人类推理可能是捕捉人类道德思维灵活性所必需的。我们还进行了详细的错误分析,为未来使用RBQA提高AI安全性的工作提出了方向。我们的数据在https://huggingface.co/datasets/feradauto/MoralExceptQA上开源,代码在https://github.com/feradauto/MoralCoT上开源
2022-10-27 cs.AI cs.CL cs.CY
Do Consumers Accept AIs as Moral Compliance Agents?
Faculty of Business and Economics, University of Melbourne(商学院与经济学院,墨尔本大学);University of Melbourne(墨尔本大学);University of Melbourne, Parkville(墨尔本大学,帕克维尔)
研究探讨消费者是否接受人工智能作为道德合规代理,发现消费者更倾向于认可AI遵守既定道德规范,而非行使主观判断,这源于对AI无隐藏动机的推断。
2026-03-23 cs.AI cs.HC
The Moral Burden of Ambiguity Aversion
Paris School of Economics(巴黎经济学院);Panthéon-Sorbonne University(巴黎第一大学先贤祠-索邦大学);Princeton University(普林斯顿大学)
在他们的文章中,“严重不确定性下的平等主义”,哲学与公共事务,46:3,2018,托马斯·罗和亚历克斯·沃尔胡夫为不确定性下的案件开发了一个原创的道德决策理论,称为“不确定性下的多元平等主义”。在本文中,我首先概述了他们的观点和论点。然后,我详细阐述了他们的道德决策理论,讨论它如何适用于健康伦理的选择方案。最后,我提出了一个新的两阶段埃尔斯伯格思想实验,挑战他们理论的核心原则。在这样一个实验中,多元平等主义似乎暗示了错误的,从道德和理性上讲,行动方针-无论我认为我的思想实验是在同时还是顺序设置中。
2020-04-26 cs.AI econ.TH
Skin-in-the-Game: Decision Making via Multi-Stakeholder Alignment in LLMs
Virginia Tech(弗吉尼亚理工大学);Amazon(亚马逊公司)
本文提出 Skin-in-the-Game (SKIG) 框架,通过从多利益相关者视角探索决策后果、模拟问责机制、共情练习和风险评估,有效增强了大型语言模型在复杂场景下的道德推理与伦理决策能力。
2024-06-02 cs.AI cs.CL cs.LG
Moral Persuasion in Large Language Models: Evaluating Susceptibility and Ethical Alignment
University of Southern California(南加州大学);University of Warwick(华威大学);AI Office(人工智能办公室);European Commission(欧洲委员会)
本研究通过两个实验评估了大型语言模型对道德说服的易感性与伦理对齐能力,发现模型规模、场景复杂度及对话长度等因素会显著影响说服效果。
2024-11-18 cs.AI cs.CL
Red Lines and Grey Zones in the Fog of War: Benchmarking Legal Risk, Moral Harm, and Regional Bias in Large Language Model Military Decision-Making
Oxford Internet Institute, University of Oxford(牛津互联网研究所、牛津大学)
本研究构建军事决策LLM法律道德风险基准框架,通过多区域多轮模拟测试三款前沿模型,发现其普遍违反IHL区分原则且伤害容忍度随危机升级,模型选择直接影响军事行动的法律道德风险水平。
2025-10-03 cs.AI cs.CL cs.CY
Toward equipping Artificial Moral Agents with multiple ethical theories
Computer Science Department, University of Cape Town(开普敦大学计算机科学系);University of Cape Town(开普敦大学)
人工道德代理(Artificial Moral Agents,AMA)是计算机科学中的一个领域,其目的是创建能够做出类似于人类行为的道德决策的自主机器。研究人员提出了创造这种机器的理论方法,而哲学家则对这些机器应该如何运作,或者它们是否应该存在进行了争论。在目前理论化的AMA中,所有的研究和设计都是在没有或至多有一个特定的规范伦理理论作为基础的情况下完成的。这是有问题的,因为它缩小了AMA的功能能力和多功能性,这反过来又导致了少数人同意的道德结果(从而破坏了AMA在人类意义上的道德能力)。作为解决方案,我们设计了一个三层模型的一般规范的道德理论,可用于序列化的人和企业的道德观点的AMA在推理过程中使用。四个具体的道德规范(康德主义,神的命令理论,功利主义和利己主义)进行了建模和评估的概念证明规范建模。此外,所有模型都被序列化为XML/XSD,作为支持计算机化的证明。
2020-03-02 cs.AI cs.CY
Beyond Binary Moral Judgment: Modeling Ethical Pluralism in AI
Department of Computer Science and Engineering, IIIT Delhi(印度德里理工学院计算机科学与工程系);Mehta Family School of Data Science and AI, IIT Palakkad(印度帕拉卡德理工学院梅塔家庭数据科学与人工智能学院)
提出将道德推理建模为规范性伦理理论分布(伦理多元主义)的框架,通过规范-语义双流架构和堆叠集成学习实现,在450个案例上达到88.89%的准确率。
2026-05-27 cs.AI cs.LG
Accounting for Context: Shaping Moral Credences for Value Alignment
University of Oxford(牛津大学)
本文针对价值对齐中道德多元性问题,提出在聚合道德评估时必须考虑情境因素,并形式化道德不确定性下的决策,揭示弱帕累托原则的违反是辛普森悖论的一种变体。
2026-06-05 cs.AI
Informed AI Regulation: Comparing the Ethical Frameworks of Leading LLM Chatbots Using an Ethics-Based Audit to Assess Moral Reasoning and Normative Values
Kenyon College(凯尼恩学院)
本研究通过基于伦理的审计,评估8个领先LLM(含GPT-4)的道德推理与规范价值观,发现GPT-4具备复杂伦理框架,但多数模型存在文化偏见和威权倾向。
2024-01-09 cs.AI cs.CY
Automated Driving Without Ethics: Meaning, Design and Real-World Implementation
IRCAI(国际人工智能与伦理研究中心);Jožef Stefan Institute(约泽夫·斯蒂芬研究所);INRIA(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
本文提出一种不预设伦理立场的自动驾驶决策策略,通过预定义风险参数并结合伦理效价理论与多种决策规则,为评估自动驾驶车辆决策的社会可接受性提供灵活的计算工具。
2023-08-09 cs.AI cs.RO
If our aim is to build morality into an artificial agent, how might we begin to go about doing so?
Imperial College London(帝国理工学院)
本文探讨了如何构建具有道德的人工智能体,分析了道德范式、设计方法及情感作用,并提出混合设计与分层结合道德范式的解决方案,强调治理与政策的关键性。
2023-10-12 cs.AI
When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas
ETH Zürich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);Max Planck Institute for Intelligent Systems, Tübingen(图宾根人工智能研究所);University of Toronto(多伦多大学);Vector Institute(向量研究所)
研究道德要求与利润激励冲突时LLMs在道德两难博弈中的行为,引入\msim评估九个模型,通过ATEs估计因果效应、分析推理轨迹,发现模型道德行为有情境脆弱性,揭示了部署风险。
2026-07-27 cs.AI cs.CL cs.CY
Learning Tractable Probabilistic Models for Moral Responsibility and Blame
University of Oxford(牛津大学);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
道德责任是自主系统中的一个主要问题,其应用范围从自动驾驶汽车到肾脏交换。虽然最近有尝试正式的责任和指责,在类似的概念,在这些形式主义的学习问题一直没有得到解决。从这种系统的观点来看,迫切的问题是:(a)如何从数据中自动提取和学习道德场景和责任模型?(b)在某些系统面临瞬间决策点的情况下,如何有效地计算判断?通过建立在受约束的易处理的概率学习,我们提出并实现了一个混合(数据驱动和基于规则的方法之间)的学习框架,用于自动从数据中归纳出这些场景的模型,并从中进行推理。我们报告的实验,比较我们的系统与人类的判断,在三个说明性的领域:肺癌分期,团队合作管理,手推车的问题。
2021-01-30 cs.AI cs.LG cs.LO
Privacy-preserving Crowd-guided AI Decision-making in Ethical Dilemmas
Xi’an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学);The University of Hong Kong(香港大学);Nanjing University(南京大学)
随着人工智能(AI)的快速发展,围绕AI的伦理问题日益受到关注。特别是,自动驾驶汽车在事故场景中可能面临道德困境,例如保持路线导致伤害行人或转向导致伤害乘客。为了研究这种道德困境,最近的研究采用了偏好聚合,其中每个选民表达她/他的偏好超过可能的道德困境的情况下的决定,和一个集中的系统聚合这些偏好,以获得获胜的决定。虽然这是一种构建道德AI系统的有用方法,但这种方法可能会侵犯选民的隐私,因为道德偏好是敏感信息,并且它们的披露可能会被恶意方利用。在本文中,我们报告了一种在道德困境中保护隐私的人群引导人工智能决策方法。我们采用差分隐私的概念来量化隐私,并考虑四个粒度的隐私保护,考虑投票/记录级隐私保护和集中/分布式扰动,导致四种方法VLCP,RLCP,VLDP,和RLDP。此外,我们提出了不同的算法来实现这些隐私保护粒度,同时保留了学习的道德偏好模型的准确性。具体地说,VLCP和RLCP的实现与数据聚合器设置一个通用的隐私参数和扰动的平均道德偏好,以保护选民的数据的隐私。VLDP和RLDP是以这样一种方式实现的,即每个选民都用个性化的隐私参数来扰乱她/他的本地道德偏好。在人工数据和真实数据上的大量实验表明,该方法可以在保护个人投票者隐私的同时实现高精度的偏好聚合。
2019-09-27 cs.AI cs.CR
Moral Dilemmas for Artificial Intelligence: a position paper on an application of Compositional Quantum Cognition
University of Oxford(牛津大学);INSERM(法国国家健康与医学研究院);Institute for BioEngineering of Catalonia(加泰罗尼亚生物工程研究所);Pompeu Fabra University(庞培法布拉大学)
传统上,人们评估人工智能(AI)系统性能的方式是通过与人类在特定任务中的表现进行比较,将人类视为高级认知的参考。然而,这些比较忽略了人类智能的重要特征:转移知识和基于情感和理性推理做出复杂决策的能力。这些决策受到当前推断和先前经验的影响,使得决策过程具有很强的主观性和明显的偏见。在这种情况下,组合智能的定义是必要的,以将这些功能纳入未来的AI测试。在这里,一个具体的实施,这将建议,使用量子认知,自然语言和句子的组成意义,由于意义的分类组成模型的最新发展。
2019-11-22 cs.AI cs.CL
A Fuzzy Approach to the Specification, Verification and Validation of Risk-Based Ethical Decision Making Models
Dept. of Informatics, University of Bari ``Aldo Moro'', Bari, Italy(信息学院,巴勒莫大学,意大利);Centro Interdipartimentale di Logica e Applicazioni (CILA), University of Bari ``Aldo Moro'', Bari, Italy(逻辑与应用研究中心(CILA),巴勒莫大学,意大利)
本文提出一种形式化方法,利用模糊Petri网对基于伦理风险评估的Ethical Decision Making模型进行规范、验证与确认,并通过医学案例说明了该方法的有效性。
2025-07-13 cs.AI
The Morality of Probability: How Implicit Moral Biases in LLMs May Shape the Future of Human-AI Symbiosis
Schwarzman College, Tsinghua University(清华大学 Schwarzman 学院);Chinese Academy of Sciences(中国科学院);Microsoft Research Asia(微软亚洲研究院)
本文通过定量实验研究了六个LLM在18个困境中的道德偏好,发现模型普遍偏好关怀与美德而惩罚自由意志主义,并强调可解释性与文化意识对实现人机共生的重要性。
2025-09-12 cs.AI
Interpretable Decision Trees Through MaxSAT
Universitat de Lleida(莱里达大学)
我们提出了一种方法来提高机器学习(ML)决策树(DT)的准确性和可解释性的权衡。特别是,我们应用最大可满足性技术来计算最小纯DT(MPDT)。我们改进了以前方法的运行时间,并表明这些MPDT可以优于使用ML框架sklearn生成的DT的准确性。
2022-07-14 cs.AI cs.LG
Iterative Bounding MDPs: Learning Interpretable Policies via Non-Interpretable Methods
Carnegie Mellon University(卡内基梅隆大学)
当前在可解释强化学习中的工作通常以状态空间上的决策树的形式产生策略。这些策略可用于正式的安全验证、代理行为预测和重要功能的手动检查。然而,现有的方法在训练之后拟合决策树,或者使用与新的学习技术(诸如使用神经网络的那些学习技术)不兼容的定制学习过程。为了解决这个问题,我们提出了一种新的马尔可夫决策过程(MDP)类型的学习决策树政策:迭代边界MDP(IBMDP)。IBMDP是围绕基本MDP构建的,因此在使用与方法无关的掩码过程时,保证每个IBMDP策略对应于基本MDP的决策树策略。由于这种决策树等价性,在训练期间可以使用任何函数近似器,包括神经网络,同时产生用于基本MDP的决策树策略。我们提出了所需的掩蔽过程,以及修改后的值更新步骤,允许IBMDP使用现有的算法来解决。我们应用这个过程来产生最近的强化学习方法的IBMDP变体。我们的经验表明,我们的方法的好处,通过解决IBMDP产生决策树政策的基础MDP。
2021-02-25 cs.AI cs.LG
Locally Interpretable Individualized Treatment Rules for Black-Box Decision Models
Department of Epidemiology & Biostatistics, Memorial Sloan Kettering Cancer Center(流行病学与生物统计学系,纪念斯隆-凯特琳癌症中心)
本文提出LI-ITR方法,结合灵活机器学习模型与局部可解释近似,实现可解释的个性化治疗规则,用于医疗决策优化。
2026-02-12 cs.AI cs.LG stat.ME