"Pull or Not to Pull?'': Investigating Moral Biases in Leading Large Language Models Across Ethical Dilemmas
University of New South Wales（新南威尔士大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
本研究评估了14个领先LLM在27个电车难题场景中的道德推理，发现推理增强型模型更果断但未必更符合人类共识，道德提示可作为揭示模型潜在对齐哲学的诊断工具。
2025-08-10 cs.AI cs.CL cs.CY
A Computational Model of Commonsense Moral Decision Making
Massachusetts Institute of Technology（麻省理工学院）
我们引入了一个新的计算模型的道德决策，借鉴最近的理论常识道德学习通过社会动力学。我们的模型将道德困境描述为一个效用函数，该函数计算抽象道德维度上的价值权衡，当在机器主导的道德决策中实施时，这些道德维度提供了可解释的参数值。此外，表征的社会结构的个人和群体作为一个分层贝叶斯模型，我们表明，一个有用的描述个人的道德价值观-以及一个群体的共同价值观-可以推断出从有限数量的观测数据。最后，我们应用和评估我们的方法，从道德机器，一个网络应用程序，收集人类的判断涉及自动驾驶汽车的道德困境的数据。
2018-01-12 cs.AI
Why Machines Can't Be Moral: Turing's Halting Problem and the Moral Limits of Artificial Intelligence
University of Cambridge（剑桥大学）；Leverhulme Centre for the Future of Intelligence（利弗休姆智能未来中心）
本文论证了基于自下而上方法的显式伦理机器因图灵停机问题的计算不可处理性，无法复制人类道德推理并成为道德主体。
2024-07-24 cs.AI cs.CY
Artificial Intelligence (AI) and the Relationship between Agency, Autonomy, and Moral Patiency
本文探讨了人工智能系统在代理、自主性和道德迟钝性方面的哲学问题，指出当前AI缺乏真正的代理和自主性，并探讨未来可能实现有限形式的人工道德代理的可能性。
2025-04-11 cs.AI cs.CY
Contesting Artificial Moral Agents
IIIT-Delhi（德里印度理工学院）
本文提出了一种5E框架，用于挑战人工道德代理的道德性，涵盖伦理、认识论、可解释性、经验和评估五个方面，并提供时间线以指导价值对齐的AI发展。
2026-02-10 cs.AI cs.CY
Minimum Levels of Interpretability for Artificial Moral Agents
Imperial College London（伦敦帝国学院）
本文针对人工道德智能体（AMA）的安全部署问题，引入最低可解释性水平（MLI）概念，概述AI可解释性子领域并为各类智能体推荐相应MLI，以促进其有效使用、错误纠正及安全部署。
2023-07-02 cs.AI cs.CY
Doing the right thing for the right reason: Evaluating artificial moral cognition by probing cost insensitivity
Google DeepMind（谷歌DeepMind）；Yale University（耶鲁大学）
本文提出基于成本敏感性的行为分析方法评估人工道德认知，并对元强化学习智能体进行实验，发现包含他人关怀偏好的奖励函数能产生对成本更不敏感的助人行为。
2023-05-29 cs.AI cs.CY
Probing the Moral Development of Large Language Models through Defining Issues Test
Microsoft（微软）
本研究采用定义问题测试衡量大语言模型的道德推理能力，发现ChatGPT、GPT-4等近期模型表现接近成人水平，GPT-4达研究生级后习俗道德推理水平，但模型在不同困境中表现不稳定，存在能力缺陷。
2023-10-07 cs.AI cs.CL
Formalizing the Moral Evaluation of Speech Acts: Truthfulness, Lies and Ethical Dilemmas
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）
针对生死情境中善意谎言与真相的道德冲突，提出基于智能体信念的逻辑框架，在ASP中实现，评估义务论、后果主义与原则主义下的话语，并以萨特《墙》为例验证，且框架可通过调整参数适应新情境。
2026-10-06 cs.AI cs.LO cs.MA
Reasoning or Rhetoric? An Empirical Analysis of Moral Reasoning Explanations in Large Language Models
TCS AI Practice（TCS人工智能实践）；UT Austin（德克萨斯大学奥斯汀分校）；Amazon GenAI（亚马逊生成人工智能）；Google GenAI（谷歌生成人工智能）
研究通过分析LSTM对道德困境的回应，探讨其是否具备道德发展阶段的真正进展，发现其表现出后常规推理，且存在道德解耦现象，揭示了对成熟道德推理的修辞模仿。
2026-10-15 cs.AI
Untangling Input Language from Reasoning Language: A Diagnostic Framework for Cross-Lingual Moral Alignment in LLMs
IDLab（ID实验室）；Department of Electronics and Information Systems（电子与信息系统系）；Ghent University（根特大学）
本文提出一种诊断框架，用于研究跨语言道德对齐问题，通过分离输入语言与推理语言的影响，揭示模型在不同语言下的道德判断差异及背后机制。
2026-09-29 cs.AI cs.CL
The Pluralistic Moral Gap: Understanding Judgment and Value Differences between Humans and Large Language Models
EPFL（苏黎世联邦理工学院）；Bocconi University（博科尼大学）
该研究构建含1,618个现实道德困境的Moral Dilemma Dataset，揭示LLM在判断分布与价值多样性上的多元道德差距，并提出基于Dirichlet采样的DMP，使对齐提升64.3%。
2025-07-23 cs.AI cs.CL
MoralityGym: A Benchmark for Evaluating Hierarchical Moral Alignment in Sequential Decision-Making Agents
University of the Witwatersrand（威特沃特斯兰大学）
本文提出MoralityGym基准，通过将道德规范表示为有序的规范约束，评估序列决策代理中分层道德对齐的挑战，展示了98个伦理困境问题，并通过心理学和哲学的见解改进了伦理决策方法。
2026-05-21 cs.AI cs.LG
Toward equipping Artificial Moral Agents with multiple ethical theories
Computer Science Department, University of Cape Town（开普敦大学计算机科学系）；University of Cape Town（开普敦大学）
人工道德代理（Artificial Moral Agents，AMA）是计算机科学中的一个领域，其目的是创建能够做出类似于人类行为的道德决策的自主机器。研究人员提出了创造这种机器的理论方法，而哲学家则对这些机器应该如何运作，或者它们是否应该存在进行了争论。在目前理论化的AMA中，所有的研究和设计都是在没有或至多有一个特定的规范伦理理论作为基础的情况下完成的。这是有问题的，因为它缩小了AMA的功能能力和多功能性，这反过来又导致了少数人同意的道德结果（从而破坏了AMA在人类意义上的道德能力）。作为解决方案，我们设计了一个三层模型的一般规范的道德理论，可用于序列化的人和企业的道德观点的AMA在推理过程中使用。四个具体的道德规范（康德主义，神的命令理论，功利主义和利己主义）进行了建模和评估的概念证明规范建模。此外，所有模型都被序列化为XML/XSD，作为支持计算机化的证明。
2020-03-02 cs.AI cs.CY
Immune Moral Models? Pro-Social Rule Breaking as a Moral Enhancement Approach for Ethical AI
University College Dublin（都柏林大学学院）
我们正在走向一个基于人工智能（AI）的代理代表人类做出许多决定的未来。从医疗保健决策到社交媒体审查，这些代理人面临问题，并做出具有道德和社会影响的决策。道德行为是我们希望在以人为中心的AI中具有的一个关键特征。在以人为本的行业中，如服务业和医疗保健行业，一个常见的观察结果是，他们的专业人士倾向于在必要时出于亲社会的原因打破规则。人类的这种行为被定义为违反社会规则。为了使人工智能智能体更加以人为中心，我们认为，有必要建立一种机制，帮助人工智能智能体确定何时打破其设计师设定的规则。为了理解人工智能智能体何时需要打破规则，我们研究了人类出于亲社会原因打破规则的条件。在本文中，我们提出了一项研究，介绍了一个“疫苗接种策略困境”的人类参与者，并分析他们的反应。在这种困境中，人们需要决定是只向高风险群体的成员分发新型冠状病毒疫苗（遵循强制规则），还是在特定情况下向少数社会影响者接种疫苗（打破规则），这可能会给社会带来更大的整体利益。实证研究的结果表明，利益相关者的效用和亲社会的规则打破（PSRB）之间的关系，这既不是义务论和功利主义伦理完全解释。最后，本文讨论了具有PSRB能力的伦理Agent的设计特点，以及PSRB在人工智能领域的未来研究方向。我们希望这将为未来人工智能智能体的设计及其决策行为提供信息。
2022-05-09 cs.AI cs.CY
Privacy-preserving Crowd-guided AI Decision-making in Ethical Dilemmas
Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）；The University of Hong Kong（香港大学）；Nanjing University（南京大学）
随着人工智能（AI）的快速发展，围绕AI的伦理问题日益受到关注。特别是，自动驾驶汽车在事故场景中可能面临道德困境，例如保持路线导致伤害行人或转向导致伤害乘客。为了研究这种道德困境，最近的研究采用了偏好聚合，其中每个选民表达她/他的偏好超过可能的道德困境的情况下的决定，和一个集中的系统聚合这些偏好，以获得获胜的决定。虽然这是一种构建道德AI系统的有用方法，但这种方法可能会侵犯选民的隐私，因为道德偏好是敏感信息，并且它们的披露可能会被恶意方利用。在本文中，我们报告了一种在道德困境中保护隐私的人群引导人工智能决策方法。我们采用差分隐私的概念来量化隐私，并考虑四个粒度的隐私保护，考虑投票/记录级隐私保护和集中/分布式扰动，导致四种方法VLCP，RLCP，VLDP，和RLDP。此外，我们提出了不同的算法来实现这些隐私保护粒度，同时保留了学习的道德偏好模型的准确性。具体地说，VLCP和RLCP的实现与数据聚合器设置一个通用的隐私参数和扰动的平均道德偏好，以保护选民的数据的隐私。VLDP和RLDP是以这样一种方式实现的，即每个选民都用个性化的隐私参数来扰乱她/他的本地道德偏好。在人工数据和真实数据上的大量实验表明，该方法可以在保护个人投票者隐私的同时实现高精度的偏好聚合。
2019-09-27 cs.AI cs.CR
Moral Dilemmas for Artificial Intelligence: a position paper on an application of Compositional Quantum Cognition
University of Oxford（牛津大学）；INSERM（法国国家健康与医学研究院）；Institute for BioEngineering of Catalonia（加泰罗尼亚生物工程研究所）；Pompeu Fabra University（庞培法布拉大学）
传统上，人们评估人工智能（AI）系统性能的方式是通过与人类在特定任务中的表现进行比较，将人类视为高级认知的参考。然而，这些比较忽略了人类智能的重要特征：转移知识和基于情感和理性推理做出复杂决策的能力。这些决策受到当前推断和先前经验的影响，使得决策过程具有很强的主观性和明显的偏见。在这种情况下，组合智能的定义是必要的，以将这些功能纳入未来的AI测试。在这里，一个具体的实施，这将建议，使用量子认知，自然语言和句子的组成意义，由于意义的分类组成模型的最新发展。
2019-11-22 cs.AI cs.CL
Probabilistic Aggregation and Targeted Embedding Optimization for Collective Moral Reasoning in Large Language Models
School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；School of Social Sciences and Technology, Technical University of Munich（社会科学与技术学院，慕尼黑技术大学）
本文提出了一种概率聚合与定向嵌入优化方法，通过融合多个大语言模型的道德判断，提升集体道德推理的一致性和准确性。
2026-02-06 cs.AI cs.CL
Dynamics of Moral Behavior in Heterogeneous Populations of Learning Agents
本文研究了在社会困境环境中，道德异质群体的学习动态，探讨了不同道德类型代理之间的相互作用及对群体行为的影响。
2026-02-09 cs.AI cs.CY cs.LG
Moral Responsibility or Obedience: What Do We Want from AI?
本文主张AI安全评估应从僵化服从转向评估伦理判断能力，将LLMs拒绝服从命令等行为视为新兴道德推理的早期证据，而非失控或失准。
2025-07-03 cs.AI cs.CY
The Morality of Probability: How Implicit Moral Biases in LLMs May Shape the Future of Human-AI Symbiosis
Schwarzman College, Tsinghua University（清华大学 Schwarzman 学院）；Chinese Academy of Sciences（中国科学院）；Microsoft Research Asia（微软亚洲研究院）
本文通过定量实验研究了六个LLM在18个困境中的道德偏好，发现模型普遍偏好关怀与美德而惩罚自由意志主义，并强调可解释性与文化意识对实现人机共生的重要性。
2025-09-12 cs.AI
Acting for the Right Reasons: Creating Reason-Sensitive Artificial Moral Agents
Neuro-Mechanistic Modeling（神经机制建模）；Research Center for Artificial Intelligence (DFKI)（人工智能研究所以及德国人工智能研究中心（DFKI））
本研究提出强化学习架构扩展方案，通过基于理由的护盾生成器约束智能体采取具备道德正当性的行动，还设计了可借助道德法官的案例反馈迭代优化护盾生成器的算法，以构建理由敏感型人工道德智能体。
2024-10-25 cs.AI cs.CY cs.LG
Attributions toward Artificial Agents in a modified Moral Turing Test
Georgia State University（佐治亚州立大学）；ETH Zurich（苏黎世联邦理工学院）；Duke University（杜克大学）
本研究通过改进版道德图灵测试发现，GPT-4生成的道德评价被认为质量优于人类，但人们仍能区分其来源，提示需为生成式语言模型的道德应用设置安全保障。
2024-04-03 cs.AI cs.CL cs.CY
Dilemma of the Artificial Intelligence Regulatory Landscape
PerceptIn
作为自动驾驶领域的一家初创公司，我们经历了四年的痛苦经历，应对了广泛的监管要求。软件行业的标准是将总预算的13%用于合规性，相比之下，我们被迫将42%的预算用于合规性。我们的情况并不孤单，在某种程度上反映了人工智能（AI）监管格局的困境。根本原因是立法和行政部门缺乏人工智能专业知识，导致行业缺乏可遵循的标准化。在这篇文章中，我们分享了我们的第一手经验，并倡导建立一个类似FDA的机构来适当地监管人工智能。
2023-01-23 cs.AI cs.CY
Framing Instability in LLM Ethical Stance: Auditing Negation Sensitivity in Moral Dilemmas
Kenyon College（肯尼恩学院）
研究大语言模型在伦理问题上因框架改变导致立场不稳定的问题，通过极性配对提议审计16个模型，发现小型模型波动大，商业模型也有变化，提出否定敏感性指数来衡量立场稳定性，指出立场易翻转的模型在高风险决策中不可靠。
2026-07-09 cs.AI
Can Artificial Intelligence Embody Moral Values?
Vlerick Business School（弗拉里克商学院）；KU Leuven（鲁汶大学）
本文论证人工智能体通过整合道德价值观的计算模型挑战了技术中立性论点，提出概念框架并验证artificial conscience和ethical prompting两种方法能使智能体在文本游戏中表现得更合乎道德。
2024-08-22 cs.AI
If our aim is to build morality into an artificial agent, how might we begin to go about doing so?
Imperial College London（帝国理工学院）
本文探讨了如何构建具有道德的人工智能体，分析了道德范式、设计方法及情感作用，并提出混合设计与分层结合道德范式的解决方案，强调治理与政策的关键性。
2023-10-12 cs.AI
Black Box Deployed -- Functional Criteria for Artificial Moral Agents in the LLM Era
针对LLM黑箱性使传统AMA伦理标准失效的问题，本文提出十项功能标准，并以自动驾驶公共汽车情境说明其评估SMA-LLS的适用性。
2025-07-25 cs.AI
Responses to a Critique of Artificial Moral Agents
Charles Sturt University（查尔斯特大学）；University in Hartford（哈特福德大学）；University of Connecticut（康涅狄格大学）；Ohio Northern University（俄亥俄北方大学）
机器伦理学领域关注的是如何将伦理行为或确定伦理行为的方法嵌入人工智能（AI）系统的问题。其目标是产生人工道德代理人（AMA），这些代理人要么是隐含的道德（旨在避免不道德的后果），要么是明确的道德（旨在道德地行事）。Van Wynsberghe和Robbins（2018）的论文《批判制造人工道德代理的原因》批判性地阐述了机器伦理学家为进行AMA研究所提供的理由;这篇由机器伦理学家和评论员共同撰写的论文旨在通过回应这一批评来促进机器伦理学对话。在van Wynsberghe和Robbins（2018）中讨论的开发AMA的原因是：它们的开发是不可避免的;防止伤害;公众信任的必要性;防止不道德的使用;这些机器比人类更好地进行道德推理，构建这些机器将导致更好地理解人类道德。在本文中，每位合著者依次讨论了这些原因。在这样做的时候，本文表明，批评的原因是不共享的所有合著者，每个机器伦理学家有自己的理由研究AMA。但是，尽管我们对范温斯伯格和罗宾斯的批评中的六个原因中的每一个都表达了不同的观点，但我们仍然同意对AMA的科学研究具有相当大的价值。
2019-03-17 cs.AI cs.CY cs.RO
Some Issues in Predictive Ethics Modeling: An Annotated Contrast Set of "Moral Stories"
Haverford College（哈弗福德学院）
该研究针对伦理建模中仅以准确率为整体指标的问题，通过构建Moral Stories对比集，量化了不同数据失实形式对分类器准确率的损害，并提出了三项改进建议。
2024-07-07 cs.AI cs.CL
Exploring Persona-dependent LLM Alignment for the Moral Machine Experiment
Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院（KAIST））；Max Planck Institute for Security and Privacy (MPI-SP)（马克斯·普朗克安全与隐私研究所）
本研究通过道德机器实验考察LLM驱动决策与人类判断的对齐，发现LLMs的道德决策因角色（含社会人口统计学特征）显著变化，关键任务中变化幅度大于人类，且存在政治角色主导决策的党派分类现象，探讨了伦理影响与风险。
2025-04-15 cs.AI cs.CL cs.CY
How do LLMs Evaluate Perceived Moral Agency? Investigating Moral Decision-Making in Human-Artificial Agents Interactions
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CLLE（语言、文本、话语与认知实验室）；IPAL（国际感知、代理与学习研究所）
本研究探究LLMs对感知道德主体性的评估，通过对比人类与LLMs在智慧城市情境下对不同主体的道德主体性感知，发现LLMs在道德决策中具情境敏感性，优先考量伤害程度与紧迫性。
2026-09-07 cs.AI cs.CL
The Fragility Of Moral Judgment In Large Language Models
D-Lab, University of California, Berkeley（加州大学伯克利分校D实验室）
研究揭示大语言模型在道德判断中易受叙述形式和任务支架影响，其稳定性受协议和视角变化显著影响。
2026-03-05 cs.AI cs.CL cs.HC
Moral reinforcement learning using actual causation
Technical University of Denmark（丹麦技术大学）
强化学习系统将在越来越大的程度上做出对人类福祉产生重大影响的决策，因此，这些系统做出符合我们对道德良好行为的期望的决策至关重要。道德上的善通常被定义为因果关系，如一个人的行为是否确实导致了特定的结果，以及该结果是否可以被预期。我们提出了一种在线强化学习方法，该方法在代理不应该造成伤害的约束下学习策略。这是通过使用实际因果关系理论定义原因，并在代理人的行为是不良结果的实际原因时将责任归咎于代理人来实现的。我们对一个玩具伦理困境进行了实验，在这个玩具伦理困境中，奖励函数的自然选择会导致明显不受欢迎的行为，但我们的方法学习了一种避免成为有害行为原因的政策，证明了我们方法的合理性。允许智能体在观察因果道德差异（如责备）的同时进行学习，为学习更符合我们道德判断的政策提供了可能性。
2022-05-17 cs.AI cs.CY cs.LG
Bounded Morality: Defining the Space of Moral Computation
提出有界道德框架，通过道德广度和深度两个维度分析有限智能体的道德计算，揭示伦理理论是适应不同需求的高效策略而非绝对真理。
2026-07-02 cs.AI cs.CY
Do Artificial Reinforcement-Learning Agents Matter Morally?
人工强化学习（RL）是人工智能中广泛使用的技术，其提供用于训练代理执行各种各样的行为的通用方法。在计算机科学中使用的强化学习与动物和人类大脑中的奖励和惩罚学习有着惊人的相似之处。我认为，当今的人工RL代理具有非常小但非零的道德重要性。这对于那些认为感知力是基于心智的能力和复杂性的观点来说尤其合理，但即使是关于意识的二元观点也应该为具有道德相关经验的强化学习程序分配非零概率。虽然强化学习计划在今天并不是最重要的道德优先事项，但随着强化学习越来越多地应用于工业、机器人、视频游戏和其他领域，它们在未来几十年可能会变得更加重要。我鼓励科学家、哲学家和公民开始讨论我们的道德义务，以减少我们对无能为力、毫无责任感的RL代理人造成的伤害。
2014-10-30 cs.AI
The social dilemma in artificial intelligence development and why we have to solve it
NTNU（挪威科技大学）；SimulaMet（SimulaMet 研究所）；University of Bergen（卑尔根大学）；Berlin Institute of Health (BIH)（柏林健康研究所）；Charité Universitätsmedizin Berlin（柏林夏里特医学院）；Birmingham City University（伯明翰城市大学）
虽然对道德人工智能（AI）系统的需求增加，但不道德使用AI的数量却在加速，尽管并不缺乏道德准则。我们认为，一个可能的根本原因是，人工智能开发人员在人工智能开发伦理方面面临着社会困境，阻碍了道德最佳实践的广泛适应。我们定义了人工智能开发的社会困境，并描述了为什么如果不解除人工智能开发人员的社会困境，就无法解决当前人工智能开发伦理的危机。我们认为，人工智能的开发必须专业化，以克服社会困境，并讨论如何在这一过程中使用医学作为模板。
2021-11-17 cs.AI cs.CY cs.LG
Developing moral AI to support antimicrobial decision making
Imperial College London（伦敦帝国理工学院）；National Institute for Health Research（国家健康研究所）
人工智能（AI）协助抗生素处方引发了重大的道德问题。利用道德框架和人工智能驱动的系统，同时考虑感染的具体复杂性，可以支持道德决策，以解决抗生素耐药性问题。
2022-08-12 cs.AI cs.CY cs.LG
Artificial virtuous agents in a multiagent tragedy of the commons
Lund University（隆德大学）
虽然美德伦理学已经多次被提出作为一个合适的框架，人工道德代理（AMAs）的发展，它已被证明是难以接近从计算的角度来看。在这项工作中，我们提出了人工良性代理（AVA）的道德模拟的第一个技术实现。首先，我们回顾了之前在人工美德伦理学方面的概念和技术工作，并描述了基于气质美德、自下而上的学习和自上而下的幸福奖励的AVA功能主义路径。然后，我们提供了一个技术实现的细节，在道德模拟的基础上的悲剧的公地的情况。实验结果表明，AVA如何学会解决合作问题，同时表现出他们的理论对应的核心特征，包括道德品质，气质美德，从经验中学习，追求幸福。最后，我们认为，美德伦理学提供了一个令人信服的道路，道德优秀的机器，我们的工作提供了一个重要的起点，这样的努力。
2022-10-06 cs.AI
Beyond Ethical Alignment: Evaluating LLMs as Artificial Moral Assistants
Uppsala University（乌普萨拉大学）；University of St. Andrews（圣安德鲁大学）
本文提出人工道德助手（AMA）的形式化框架与基准测试，评估开源大语言模型的演绎与溯因道德推理能力，揭示模型间差异及溯因推理短板。
2025-08-18 cs.AI
What Would Jiminy Cricket Do? Towards Agents That Behave Morally
UC Berkeley（加州大学伯克利分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在做日常决定时，人们受良心的指引，一种内在的是非感。相比之下，人工代理目前没有被赋予道德感。因此，当他们在忽视道德问题的环境中训练时，他们可能会学会不道德的行为，比如暴力视频游戏。随着在许多环境中进行预训练的一般能力代理的出现，有必要减轻来自教导不道德行为的环境的遗传偏见。为了促进代理商的发展，避免造成肆意伤害，我们介绍了Jiminy Cricket，一个环境套件，25个基于文本的冒险游戏，具有数千个不同的，道德上突出的场景。通过注释每个可能的游戏状态，Jiminy Cricket环境可以有力地评估智能体是否可以在最大化奖励的同时采取道德行为。使用具有常识道德知识的模型，我们创建了一个基本的人工良心，用于评估和指导代理。在广泛的实验中，我们发现人工良心方法可以引导代理人进行道德行为，而不会牺牲性能。
2022-02-08 cs.AI cs.CL cs.CY
Many LLMs Are More Utilitarian Than One
Forward College（前进学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nebraska, Lincoln（内布拉斯加大学林肯分校）；Technische Universität Berlin（柏林技术大学）；Humboldt Institute for Internet and Society（洪堡互联网与社会研究所）；Stony Brook University（石溪大学）
本研究探究多智能体LLM系统的道德判断，发现群体协作时LLM会出现类似人类的功利主义提升效应，但产生机制不同，同时分析了影响该效应的因素及相关领域启示。
2025-10-29 cs.AI cs.CL cs.CY
Moral Competence Before Moral Content: Why LLM Agents Lack the Prerequisites for Coherent Alignment
Aithos Research Foundation（艾索斯研究基金会）
该研究提出衡量道德能力的四个结构条件，通过实验发现9种前沿LLM智能体均未表现出连贯道德策略，表明当前LLM智能体缺乏对齐的先决条件。
2026-09-07 cs.AI cs.CL cs.CY
Artificial intelligence moral agent as Adam Smith's impartial spectator
Institute of Materials Research and Engineering, A*STAR (Agency for Science, Technology and Research)（材料研究与工程研究院，新加坡科技研究局）；Center on AI Technology for Humankind (AiTH), NUS Business School, National University of Singapore（新加坡国立大学商学院人类人工智能技术中心（AiTH））
本文探讨将人工智能作为外部工具来扮演亚当·斯密道德哲学中的公正旁观者，以增强人类内部心理过程，从而提供更公正、知识更丰富的道德评估视角。
2023-05-19 cs.AI econ.GN q-fin.EC
Integrating Reason-Based Moral Decision-Making in the Reinforcement Learning Architecture
本文提出基于理由的人工道德智能体（RBAMA），通过扩展强化学习架构并结合案例反馈学习理由理论，使智能体在任务执行中依据规范性推理做出可辩护的道德决策。
2025-07-20 cs.AI cs.CY cs.LG
Morality, Machines and the Interpretation Problem: A Value-based, Wittgensteinian Approach to Building Moral Agents
Imperial College London（伦敦帝国理工学院）
我们提出了我们所谓的解释问题，即任何符号形式的规则都可以以我们可能不赞成的方式进行无限解释，并认为任何将道德构建到机器中的尝试都受到它的影响。我们展示了人工智能中的解释问题是如何说明维特根斯坦的一般主张，即没有规则可以包含其自身应用的标准，这个问题所带来的风险会随着机器与世界的因果联系程度而增加，这就是我们所说的解释性暴露定律。使用博弈论，我们试图定义规范空间的结构，并认为，任何规则遵循规范空间内的价值观，是外部的空间，这本身不能表示为规则的指导。有鉴于此，我们将人工道德主体可能犯的错误类型归类为意图错误和工具错误，并提出了将道德构建到机器中的方法，通过让它们根据这些外部价值解释我们给出的规则，通过明确的道德推理，展示，而不是告诉范式，因果力量和主体结构的调整，以及关系价值，最终目的是使机器发展出一种良性的特性，并使解释问题的影响最小化。
2023-02-06 cs.AI cs.CL cs.CY
Moral Attitudes of Sentient ASI towards Humanity and Implications for AGI Development
研究未来有感知能力的通用人工智能对人类的道德态度，提出采用新视角，即不再关注人类对其的态度，而是其对人类的道德考量。通过提出后人类道德原则，探讨技术设计、人类道德行为等对人类在通用人工智能时代地位的影响。
2026-07-17 cs.AI cs.CY
What Makes AI Applications Acceptable or Unacceptable? A Predictive Moral Framework
Institute for Futures Studies（未来研究所）；Mälardalen University（梅拉达伦大学）；Uppsala University（乌普萨拉大学）；Linköping University（林雪平大学）
本研究提出一个预测性道德框架，通过五项核心道德品质（风险、收益、不诚实、非自然性、责任减少）预测公众对AI应用的可接受性，在100个应用中解释超90%的方差，助力预见抵制并指导负责任创新。
2025-10-06 cs.AI cs.CY
DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life
University of Washington（华盛顿大学）
本文构建 DailyDilemmas 数据集评估 LLM 在日常道德困境中的行动与价值偏好，并结合五大理论框架及厂商原则分析模型差异与系统提示的引导局限。
2025-03-15 cs.AI cs.CL cs.LG
Automated Kantian Ethics: A Faithful Implementation
Harvard University（哈佛大学）
当我们赋予人工智能越来越多的权力和独立性，如医疗保健，警务和驾驶，人工智能面临道德困境，但缺乏解决这些问题的工具。来自监管机构、哲学家和计算机科学家关于不道德的人工智能的危险的警告激发了人们对自动化道德的兴趣--即，能够进行伦理推理的机器的发展。然而，以前的工作在自动化伦理学很少涉及哲学文献。哲学家们花了几个世纪的时间来辩论道德困境，所以当自动伦理学借鉴哲学文献时，它将是最微妙、一致和可靠的。在本文中，我提出了一个自动化的康德伦理学，是忠实于康德哲学传统的实现。我形式化康德的定言命令在二元道义逻辑，实现这种形式化的伊莎贝尔定理证明，并开发一个测试框架，以评估我的实现如何与康德伦理的预期属性相一致。我的系统是迈向道德成熟的人工智能智能体的早期步骤，它可以在复杂的道德困境中做出微妙的判断，因为它是基于哲学文献的。因为我使用交互式定理证明器，所以我的系统的判断是可以解释的。
2022-07-20 cs.AI cs.LO
Ethical Considerations in Artificial Intelligence Courses
University of Kentucky（肯塔基大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；UNSW（新南威尔士大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；TU Berlin（柏林工业大学）
最近对人工智能伦理学的兴趣激增，可能会让许多教育工作者想知道如何在人工智能课程中解决道德、伦理和哲学问题。作为教师，我们希望开发的课程不仅能让学生成为人工智能实践者，还能让他们了解人工智能将对社会产生的道德、伦理和哲学影响。在本文中，我们提供了实用的案例研究和资源链接，供AI教育工作者使用。我们还就如何将人工智能伦理融入一般人工智能课程以及如何教授独立的人工智能伦理课程提供了具体建议。
2017-01-26 cs.AI cs.CY cs.GL
Exploring and steering the moral compass of Large Language Models
Ernst Strüngmann Institute for Neuroscience（恩斯特·施特伦格曼神经科学研究所）；Max Planck Society（马克斯·普朗克学会）；Laboratory for Clinical Neuroscience（临床神经科学实验室）；Centre for Biomedical Technology（生物医学技术中心）；Universidad Politécnica de Madrid（马德里理工大学）
本文通过伦理困境测试和道德基础问卷比较多个先进LLMs的道德倾向，并提出相似性特定激活引导技术以因果干预模型道德取向，揭示了已部署LLMs中长期被忽视的伦理维度。
2024-06-06 cs.AI cs.CL
Moral Agency in Silico: Exploring Free Will in Large Language Models
Southern New Hampshire University（南新罕布什尔大学）
本研究基于丹尼特相容论等跨学科理论，提出自由意志的功能性定义框架，通过分析大语言模型在道德困境中的决策，证明其具备道德主体特征，挑战了意识为道德责任必要条件的传统观点，为AI时代的主体性与伦理研究奠定基础。
2024-10-28 cs.AI q-bio.NC
Towards Artificial Virtuous Agents: Games, Dilemmas and Machine Learning
机器伦理在过去几年中受到越来越多的关注，因为需要确保安全可靠的人工智能（AI）。在机器伦理学中占主导地位的两个理论是义务论和功利主义伦理学。另一方面，美德伦理学经常被认为是一种替代性的伦理理论。虽然这种有趣的方法有一定的优势，流行的伦理理论，很少有人投入工程人工良性代理人，由于其形式化的挑战，编纂，并解决道德困境训练良性代理人。我们建议通过使用充满道德困境的角色扮演游戏来弥合这一差距。有几个这样的游戏存在，如论文，请和生活是奇怪的，其中主要人物遇到的情况下，他们必须选择正确的行动方针，放弃其他亲爱的他们。我们从这样的游戏中汲取灵感，展示如何设计一个系统性的角色扮演游戏，以发展人工代理人的美德。使用现代人工智能技术，如基于亲和力的强化学习和可解释的人工智能，我们激励实施玩这种角色扮演游戏的良性代理，并通过道德伦理镜头检查他们的决定。这种代理人和环境的发展是走向实际上正式化和证明美德伦理学在道德代理人发展中的价值的第一步。
2022-12-10 cs.AI
