What's in a Name? Auditing Large Language Models for Race and Gender Bias
Stanford Law School（斯坦福法学院）
本研究通过审计设计发现GPT-4等大型语言模型在建议中系统性地歧视与少数种族和女性相关的名字，尤其是黑人女性，并指出数值锚点可缓解偏见，强调部署时审计的必要性。
2025-01-24 cs.AI cs.CL cs.CY
Measuring Political Bias in Large Language Models: What Is Said and How It Is Said
Centre for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
本文提出从生成内容的内容实质与词汇风格两个维度衡量LLMs的政治偏见，并在11个开源模型上验证了该框架的可扩展性与可解释性。
2024-03-27 cs.AI cs.CL
Generative Discrimination: What Happens When Generative AI Exhibits Bias, and What Can Be Done About It
本章探讨了生成式AI加剧歧视的风险，将歧视性输出分为贬损内容与代表性不足的隐蔽偏见，主张更新欧盟法律（如《AI法案》）以强制测试审计并追究提供者责任。
2024-06-26 cs.AI cs.CY
Bias in ontologies -- a preliminary assessment
University of Cape Town（开普敦大学）
在计算和IT中，本体论形式的逻辑理论和类似的人工制品被用于结构化、注释和查询数据等，从而影响关于什么被馈送到算法中的数据分析。算法偏见是一个众所周知的概念，但是在为算法输入提供结构化机制的本体论的上下文中，偏差意味着什么呢？偏见的来源是什么？它们如何在本体论中表现出来？我们检查和列举类型的偏见相关的本体论，以及它们是否是明确的或隐含的。这八种类型的例子说明了从现存的生产级本体和样本的文献。然后，我们评估了三个同时开发的COVID-19本体论的偏见，并在每个本体论中检测到不同程度的偏见类型子集。这第一个特点的目的是有助于本体论的道德方面的敏感性，主要是关于信息和知识的表示。
2021-01-20 cs.AI
What's a Good Prediction? Challenges in evaluating an agent's knowledge
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；DeepMind（深度思维）
通过学习与任务无关的世界模型来构建通用知识，可以帮助智能体解决具有挑战性的问题。然而，构建和评估这些模型仍然是一个开放的挑战。评估模型的最常见方法是评估其相对于可观察值的准确性。然而，普遍依赖估计的准确性作为知识有用性的代理，有可能使我们误入歧途。我们展示了准确性和实用性之间的冲突，通过一系列说明性的例子，包括思想实验和经验的例子在MineCraft，使用一般价值函数框架（GVF）。在确定了评估代理的知识的挑战，我们提出了一种替代的评价方法，不断出现在网上持续学习设置，我们建议通过检查内部学习过程，特别是GVF的功能的相关性，预测任务在手的评价。本文通过使用预测，预测知识的一个组成部分，这是尚未探索的第一次看评估预测。
2021-04-13 cs.AI cs.LG
Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models
本文提出一种直接量化不同身份视角下社会感知的新策略及聚合度量指标，用于细粒度、全面地测量大语言模型中的多维社会偏见。
2024-06-06 cs.AI cs.CL cs.CY
What Makes a Good Diffusion Planner for Decision Making?
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
通过在离线强化学习下训练评估超6000个扩散模型，系统研究了扩散规划的关键组件，发现反常规设计能提升性能，并据此提出了在标准基准上达到最先进水平的基线。
2025-03-01 cs.AI cs.LG
What You Train Is What You Get: Gender Bias, Training Composition, and Post-Hoc Mitigation in Audio Deepfake Detection
School of Computing, Wichita State University（威奇托州立大学计算学院）；Institut national de la recherche scientifique (INRS–EMT)（国家科学研究院（INRS–EMT））；INRS-UQO Mixed Research Unit on Cybersecurity（INRS-UQO网络安全混合研究单位）
研究音频深度伪造检测中的性别偏见，通过在不同性别构成训练集上训练特定攻击模型，使用ResNet18分类器及评估六种校准方法，发现训练数据构成影响偏差方向，事后方法只能部分缓解差异，强调性别公平需在训练时解决。
2026-07-14 cs.AI cs.SD
What makes ImageNet good for transfer learning?
Berkeley Artificial Intelligence Research (BAIR) Laboratory（伯克利人工智能研究实验室）；UC Berkeley（加州大学伯克利分校）
ImageNet训练的深度特征在广泛的传输任务上取得的巨大成功引出了一个问题：ImageNet数据集的哪些属性对于学习良好的通用特征至关重要？这项工作提供了这个问题的各个方面的实证调查：更多的预训练数据总是更好？特征质量如何取决于每个类的训练样本数量？添加更多的对象类是否会提高性能？对于相同的数据预算，应该如何将数据划分为类？细粒度识别对于学习好的特征是必要的吗？给定相同数量的训练类，是粗类好还是细类好？哪一个更好：更多的类还是每个类更多的例子？为了回答这些问题和相关问题，我们在ImageNet数据集的各个子集上预训练了CNN特征，并评估了PASCAL检测、PASCAL动作分类和SUN场景分类任务的传输性能。我们的总体研究结果表明，大多数的变化，在选择前训练数据长期认为是至关重要的不显着影响转移性能。给定相同数量的训练类，是粗类好还是细类好？哪一个更好：更多的类还是每个类更多的例子？
2016-12-10 cs.AI cs.CV cs.LG
AI for the Common Good?! Pitfalls, challenges, and Ethics Pen-Testing
KU Leuven（鲁汶大学）
最近，许多人工智能研究人员和从业者已经开始研究涉及“做好”人工智能的研究愿景。这是为人工智能研究和实践注入伦理思维的一般驱动力的一部分。当前道德准则中的一个常见主题是要求人工智能对所有人都有好处，或者：为共同利益做出贡献。但是什么是共同利益，想要成为好人就足够了吗？通过四个引导性问题，我将从人工智能的角度说明在确定什么是共同利益以及如何通过人工智能增强共同利益时面临的挑战和陷阱。问题是：什么是问题/什么是问题？谁来定义这个问题？知识的作用是什么？什么是重要的副作用和动力学？该插图将使用来自“AI for Social Good”领域的示例，更具体地说是“Data Science for Social Good”。即使这些问题的重要性在抽象层面上是众所周知的，但在实践中却没有得到充分的提问，正如对该领域最近会议的99份文稿进行的探索性研究所表明的那样。将这些挑战和陷阱转化为积极的建议，作为结论，我将利用计算机科学思维和实践的另一个特征来使这些障碍可见并削弱它们：“攻击”作为改进设计的方法。这导致了道德笔测试的建议，作为帮助人工智能设计更好地为共同利益做出贡献的方法。
2018-11-01 cs.AI cs.CY
What we learned while automating bias detection in AI hiring systems for compliance with NYC Local Law 144
本文总结了在自动化纽约市地方法律第144条AI招聘偏见审计中获得的经验，提出了关键挑战与最佳实践，以支持其他地区制定类似法规。
2024-12-13 cs.AI cs.CY
What's a good imputation to predict with missing values?
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；IJCLab（直线加速器实验室）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
如何在有缺失值的数据上学习一个好的预测器？大多数努力集中在第一次插补，以及可能和第二次学习的完整的数据，以预测结果。然而，这种普遍的做法没有理论基础。在这里，我们表明，对于几乎所有的插补函数，一个强大的学习器的插补然后回归过程是贝叶斯最优的。这一结果适用于所有缺失值机制，与传统的统计结果相反，传统的统计结果需要随机缺失设置才能在概率建模中使用插补。此外，它意味着完美的条件填补是不需要良好的预测渐近。事实上，我们证明了在完全插补数据上，最好的回归函数通常是不连续的，这使得它很难学习。相反，精心设计插补以保持回归函数不变，只是将问题转移到学习不连续插补上。相反，我们建议，它是更容易学习插补和回归联合。我们提出了这样一个程序，适应NeuMiss，一个神经网络捕获的条件链接观察到的和未观察到的变量无论丢失值的模式。实验证明，联合填补和回归通过NeuMiss是优于各种两步程序在我们的实验中，有限数量的样本。
2021-11-30 cs.AI cs.LG stat.ML
AI Biases as Asymmetries: A Review to Guide Practice
Morgan State University（摩根州立大学）
本文提出将AI偏见重新理解为对对称性标准的违反，区分错误偏见、不平等偏见和过程偏见三类不对称，并系统分析它们在AI开发与应用流程中何时有益、有害或不可避免，从而为偏见的测量与治理提供实践指导。
2025-03-10 cs.AI cs.CY cs.LG
What Makes a "Good" Data Augmentation in Knowledge Distillation -- A Statistical Perspective
Northeastern University（东北大学）；MERL（三菱电机研究实验室）
知识蒸馏（KD）是一种通用的神经网络训练方法，它使用教师模型来指导学生模型。现有的工作主要从网络输出侧（例如，试图设计一个更好的KD损失函数），而很少有人试图从输入端理解它。特别是，它与数据增强（DA）的相互作用还没有得到很好的理解。在本文中，我们问：为什么有些DA方案（例如，CutMix）在KD中固有地表现得比其他人好得多？是什么让一个“好”的检察官在KD？我们的调查从统计的角度表明，一个好的DA计划应该减少师生交叉熵的协方差。一个实用的度量，教师的平均概率（T。stddev），进一步提出并充分证明经验。除了理论上的理解，我们还介绍了一个新的基于熵的数据混合DA计划，CutMixPick，进一步提高CutMix。广泛的实证研究支持我们的主张，并证明我们如何可以收获相当大的性能收益，只是通过使用一个更好的DA计划在知识蒸馏。
2023-02-21 cs.AI cs.CV cs.LG
Too Much of a Good Thing: When sim2real Efforts Impede Policy Learning (And What to Do About It)
Apptronik；University of Texas at Austin（得克萨斯大学奥斯汀分校）
本文指出 sim2real 努力与策略学习之间存在激励错位，导致模拟器锁定和策略探索不足，并提出通过 sim2sim2real 范式仅以机器人运动学为设计约束的潜在解决方案。
2026-06-03 cs.AI cs.RO
Ethical AI for Social Good
University of Central Florida（中佛罗里达大学）
AI for Social Good（AI4SG）的概念在信息社会和AI社区都获得了发展势头。通过基于人工智能的解决方案的所有进步，它可以有效地解决社会问题。然而，到目前为止，只有一个基本的把握是什么构成AI社会有益的原则上，什么构成AI4SG在现实中，以及什么是需要确保它的政策和法规。本文填补了真空，通过解决道德方面是至关重要的未来AI4SG的努力。其中一些特征对人工智能来说是新的，而另一些特征由于其使用而具有更大的重要性。
2021-07-14 cs.AI cs.CY
AI Virtue: What is "Good" Knowledge in the Age of Artificial Intelligence?
本文运用数字人文方法，分析2024年553篇AI论文中的认知美德，以“创造力”为例，探讨评估AI知识价值的框架，强调面向未来的“生成性”价值。
2026-07-07 cs.AI cs.CY
What Makes a Good Dataset for Symbol Description Reading?
IBM Research Europe（IBM欧洲研究院）；University of Rostock（罗斯托克大学）
本文针对数学标识符描述阅读任务，提出含7508个标注实例的MFQuAD数据集，并改进短语排名方法，通过实验建立性能基线并总结有效数据集特征。
2023-04-17 cs.AI cs.CL
On the Limits of Design: What Are the Conceptual Constraints on Designing Artificial Intelligence for Social Good?
Oxford Internet Institute, University of Oxford（牛津大学牛津互联网研究院）
人工智能AI可以通过帮助降低成本、提高效率并为复杂问题提供新的解决方案，为社会带来实质性的好处。以Floridi关于如何设计“信息圈”的概念为出发点，在本章中，我将考虑这样一个问题：设计的局限性是什么，即设计人工智能以造福社会的概念约束是什么？本章的主要论点是，虽然设计是塑造技术和社会的有用概念工具，但设计未来社会的集体努力受到内部和外部因素的制约。设计的内部约束进行了讨论，唤起哈丁的思想实验关于“公共悲剧”。此外，哈耶克对“宇宙”和“出租车”的经典区分被用来划分设计的外部约束。最后，提出了五个设计原则，旨在帮助决策者管理设计的内部和外部约束。设计未来社会的成功方法需要考虑复杂系统的涌现特性，为意外发现和社会技术共同进化留出空间。
2021-11-07 cs.AI cs.CY econ.GN
What Makes a Good Terminal-Agent Benchmark Task: A Guideline for Adversarial, Difficult, and Legible Evaluation Design
本文探讨了如何设计有效的终端-智能体基准任务，指出任务应具备对抗性、难度和可理解性，以避免常见的失败模式，并通过实证证据表明超过15%的基准任务存在奖励可 hack 的问题。
2026-04-30 cs.AI
What makes a good feedforward computational graph?
Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）
本文研究前馈计算图的理想特性，提出保真度和混合时间两个互补度量，通过理论分析与模型性能关联验证了其在评估图选择上的有效性。
2025-05-30 cs.AI cs.LG cs.SI
ActionCodec: What Makes for Good Action Tokenizers
Tsinghua University（清华大学）；Fudan University（复旦大学）；Tianjin University（天津大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出ActionCodec，通过信息论原则提升动作分词性能，实现无需机器人预训练的VLA模型新SOTA。
2026-10-09 cs.AI cs.RO
What Makes Good Multilingual Reasoning? Disentangling Traces with Measurable Features
University of Maryland（马里兰大学）；Johns Hopkins University（约翰霍普金斯大学）
本文通过定义可测量的推理特征，研究多语言环境下有效推理的特征，并发现这些特征在不同语言中的关联强度差异显著，挑战了以英语为中心的奖励设计。
2026-09-22 cs.AI cs.CL
Frequency Fitness Assignment: Optimization without Bias for Good Solutions can be Efficient
Hefei University（合肥学院）；Hochschule Zittau/Görlitz（齐陶/格尔利茨应用技术大学）
适应度分配过程将候选解决方案的特征（例如目标值）转换为标量适应度，然后将其作为选择的基础。在频率适应度分配（FFA）下，对应于目标值的适应度是其在选择步骤中的遭遇频率，并且受到最小化。FFA创建的算法不会偏向于更好的解决方案，并且在目标函数值的所有内射变换下都是不变的。我们研究了FFA对两个理论启发的最先进的EA，贪婪（2+1）GA和自调整（1+（lambda，lambda））GA的性能的影响。FFA在一些对他们来说很难的问题上显着提高了他们的性能。在我们的实验中，一个基于FFA的算法表现出的平均运行时间似乎是多项式的理论为基础的基准问题，在我们的研究中，包括陷阱，跳跃和高原。我们提出了两种混合的方法，使用直接和基于FFA的优化，并发现它们表现良好。所有基于FFA的算法在可满足性问题上的表现也优于任何纯算法变体。
2022-05-25 cs.AI cs.NE math.CO
What Makes a Good Response? An Empirical Analysis of Quality in Qualitative Interviews
Johns Hopkins University（约翰霍普金斯大学）
本文通过实证分析，探讨了定性访谈中哪些因素能预测回应质量，发现直接相关性是主要预测因素，同时指出某些常用指标不具预测性。
2026-04-06 cs.AI cs.CL
What Makes a Good and Useful Summary? Incorporating Users in Automatic Summarization Research
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
自动文本摘要多年来取得了很大的进展，并在许多应用中使用，影响了许多人的生活。尽管有这样的发展，有意义的研究很少调查如何在自动摘要目前的研究重点与用户的需求一致。为了弥合这一差距，我们提出了一个调查方法，可用于调查用户的自动生成的摘要的需求。重要的是，这些需求取决于目标群体。因此，我们设计的调查可以很容易地进行调整，以调查不同的用户组。在这项工作中，我们专注于大学生，他们在学习期间广泛使用摘要。我们发现，目前的研究方向的自动摘要社区不完全符合学生的需求。受我们的研究结果的启发，我们提出了在未来的自动摘要研究中减轻这种不匹配的方法：我们提出了影响自动生成摘要的设计，开发和评估的研究方向。
2022-04-29 cs.AI cs.CL cs.HC
