Criminal Liability of Generative Artificial Intelligence Providers for User-Generated Child Sexual Abuse Material
University of Passau（巴伐利亚大学）
本文探讨生成式人工智能在生成儿童性虐待材料中的刑事责任问题，分析了用户与模型提供者之间的法律责任，并提出相关法律和技术考量。
2026-01-07 cs.AI cs.CY
Ghosting the Machine: Judicial Resistance to a Recidivism Risk Assessment Instrument
本研究通过访谈宾州23名刑事法官等的调研，发现法官普遍忽视再犯风险评估工具，指出其未被使用源于三类组织因素的相互作用，揭示组织影响对专业算法抵制的作用，为反对风险评估工具提供实证支持。
2023-06-11 cs.CY
Risk Scores, Label Bias, and Everything but the Kitchen Sink
本文指出在存在标签偏差的风险评估中，若特征与代理变量及真实结果的条件相关性符号相反则应排除该特征，并以犯罪风险评估为例说明。
2023-05-22 cs.CY stat.AP
Uncertainty in Criminal Justice Algorithms: simulation studies of the Pennsylvania Additive Classification Tool
很多注意力已经支付给算法相关的量刑，保释金的设置，假释决定和累犯，而较少关注已支付给监狱算法，这些算法用于确定一个被监禁的个人的生活经验。在本文中，我们研究了这样一个算法，宾夕法尼亚州添加剂分类工具（PACT），分配监管级别被监禁的个人。我们以刑事司法算法经常被分析的方式分析PACT：即，我们为PACT训练训练一个准确的机器学习模型;我们研究它在性别，年龄和种族方面的公平性;我们确定哪些特征是最重要的。除了这些传统的计算，我们提出并进行了一些新的方法来研究这样的算法。我们建议将注意力转移到结果的可变性上，而不是关注结果本身，特别是因为许多cerceral算法被重复使用，并且可能会传播不确定性。通过进行几次分配监管级别的模拟，我们揭示了PACT等工具的问题方面。
2021-12-01 cs.CY
Alternative Fairness and Accuracy Optimization in Criminal Justice
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出在刑事司法中通过优化误差损失和控制假阴性率差异来提升公平与准确性的方法，并提供部署框架以确保决策系统的合法性。
2025-12-18 cs.AI cs.CY cs.LG
AI & Racial Equity: Understanding Sentiment Analysis Artificial Intelligence, Data Security, and Systemic Theory in Criminal Justice Systems
Systemic Justice Institute, Harvard Law School（哈佛法学院系统正义研究所）
人工智能的各种形式的影响，无论是加剧或减少种族系统的不公正已经在这个应用研究工作进行了探讨。以识别，分析和辩论系统性问题的每个主题领域为基础，研究了在种族敏感环境中使用算法自动化人类决策的优点和缺点。通过对历史系统模式、隐含偏见、现有算法风险和法律影响的分析，人们断言，基于自然语言处理的人工智能，如风险评估工具，具有种族差异的结果。它的结论是，需要更多的诉讼政策来规范和限制内部政府机构和企业如何利用算法，隐私和安全风险，以及审计要求，以偏离种族不公正的结果和过去的做法。
2022-01-03 cs.CL cs.CY
Fairness Evaluation in Presence of Biased Noisy Labels
风险评估工具在全国各地广泛使用，为刑事司法系统内的决策提供信息。最近，人们对这类工具是否可能带有种族偏见的问题给予了相当大的关注。在这种类型的评估中，一个基本问题是模型的训练和评估是基于一个变量（逮捕），该变量可能代表一个更重要的未观察结果（进攻）的嘈杂版本。我们提出了一个敏感性分析框架，用于评估如何假设的噪音跨组影响的预测偏差属性的风险评估模型作为一个预测的再犯。我们在两个真实世界的刑事司法数据集上的实验结果表明，即使是观察到的标签中的微小偏差也可能会对基于噪声结果的分析结论提出质疑。
2020-03-30 cs.CY stat.ME
Concerning the Responsible Use of AI in the US Criminal Justice System
本文探讨了AI在美国刑事司法系统中的应用及其黑箱问题，强调为维护宪法权利与程序公平，必须确保AI决策透明，并呼吁定期审计以解决偏见和问责问题。
2025-05-30 cs.CY
A Comparative User Study of Human Predictions in Algorithm-Supported Recidivism Risk Assessment
本研究通过用户实验和焦点小组，发现算法支持能提升累犯风险评估的预测准确性，但显著增益仅见于专业用户，且专业人士认为自动化系统适合辅助而非完全替代人工判断。
2022-01-27 cs.CY
Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）；University of Maryland（马里兰大学）；Cambridge University（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
随着算法越来越多地用于做出影响人类生活的重要决策，从社会福利分配到预测犯罪累犯风险，人们对算法决策的公平性提出了担忧。大多数关于算法公平性的先前作品规范性地规定了应该如何做出公平的决定。相比之下，在这里，我们连续调查用户如何感知和推理算法决策的公平性。这项工作的一个关键贡献是我们提出的框架，以了解为什么人们认为某些功能是公平或不公平的算法中使用。我们的框架确定了八个属性的功能，如相关性，意志性和可靠性，作为潜在的考虑因素，告知人们的道德判断的公平性的功能使用决策算法。我们通过对576人进行的一系列基于ESTA的调查来验证我们的框架。我们发现，基于一个人对我们示例场景中某个特征的八个潜在属性的评估，我们可以准确地（> 85%）预测这个人是否会认为该特征的使用是公平的。我们的发现具有重要意义。在高层次上，我们表明，人们的不公平的关注是多方面的，并认为未来的研究需要解决歧视以外的不公平的关注。在低层次上，我们发现人们对公平性的判断存在相当大的分歧。我们找出分歧的根源，并指出解决这些分歧的可能途径。
2018-02-26 cs.CY cs.LG stat.ML
A safety risk assessment framework for children's online safety based on a novel safety weakness assessment approach
针对现有通用安全评估方法难以适配儿童网络安全独特挑战的问题，提出基于自动化数学推理的可解释系统性儿童网络安全弱点评估框架，可助力落实安全设计并推动适龄网络安全教育研究。
2024-01-26 cs.CR cs.CY
Counterfactual Risk Assessments, Evaluation, and Fairness
Carnegie Mellon University（卡内基梅隆大学）
医学风险评估越来越多地用于帮助人类在高风险环境中做出决策，如医学，刑事司法和教育。在每一种情况下，风险评估工具的目的都是为医疗或释放条件等行动提供信息，其目的往往是降低再次入院或累犯等不良事件的可能性。问题是，大多数工具都是根据历史数据进行训练和评估的，其中观察到的结果取决于历史决策政策。因此，这些工具反映了历史政策下的风险，而不是该工具旨在提供信息的不同决策选项下的风险。即使构建工具来预测特定决策下的风险，它们也经常被不正确地评估为目标结果的预测因子。专注于评估任务，在本文中，我们定义了常见的预测性能和算法的公平性指标，我们认为更适合于决策环境的反事实的类似物。我们介绍了一种新的方法，估计建议的指标使用双重稳健估计。我们提供的理论结果表明，只有在强的条件下，公平性，根据标准度量和反事实度量同时举行。因此，在标准公平度量中以均等为目标的公平促进方法可能-正如我们的经验所示，确实-在反事实模拟中引起更大的不平衡。我们提供的合成数据和现实世界的儿童福利数据集的实证比较，以证明所提出的方法如何提高标准实践。
2020-01-10 cs.CY cs.LG stat.AP
Algorithmic Risk Assessments Can Alter Human Decision-Making Processes in High-Stakes Government Contexts
University of Michigan（密歇根大学）；Harvard University（哈佛大学）
各国政府在做出重要决策时越来越多地转向算法风险评估，比如是否在审判前释放刑事被告。政策制定者断言，为公务员提供算法建议将改善人类风险预测，从而导致更好的（例如，更公平的决定。然而，由于许多政策决策需要在降低风险与竞争目标之间取得平衡，因此提高预测的准确性并不一定会提高决策的质量。如果风险评估让人们更加关注以牺牲其他价值为代价来降低风险，那么这些算法将减少公共政策的实施，即使它们导致更准确的预测。通过一项有2,140名外行参与者模拟两个高风险政府环境的实验，我们提供了第一个直接证据，证明风险评估可以系统地改变人们如何将风险因素纳入决策。这些变化抵消了提高预测准确性的潜在好处。在我们实验的审前设置中，风险评估使参与者对感知风险的增加更加敏感;这种转变使审前拘留中的种族差异增加了1.9%。在我们实验中的政府贷款设置中，风险评估使参与者更加厌恶风险;这一转变使政府援助减少了8.3%。这些结果表明，试图通过将预测算法纳入多方面的政策决策来改善公共政策的潜在限制和危害。如果这些观察到的行为在实践中发生，向公务员提交风险评估将在公共政策中产生意想不到的和不公正的转变，而不受民主审议或监督。
2021-08-12 cs.AI cs.CY cs.HC
Partial Identification Approach to Counterfactual Fairness Assessment
Columbia University（哥伦比亚大学）；Syracuse University（Syracuse大学）
针对反事实公平性度量难以从观测数据中评估的问题，本文提出基于部分识别的贝叶斯方法，以高置信度推导度量边界，并在COMPAS数据集上验证了算法，揭示了种族、年龄对再犯风险评分的不同效应。
2025-09-30 cs.AI cs.CY cs.LG
Determining Training Needs for Cloud Infrastructure Investigations using I-STRIDE
随着越来越多的企业和用户采用云计算服务，安全漏洞将越来越多地被发现和利用。在调查云中的潜在犯罪事件方面存在许多技术和政治挑战。然而，安全专家仍然必须能够以有条不紊、严格和合法的方式获取和分析数据。这项工作将STRIDE基于资产的风险评估方法应用于云计算基础设施，以确定和评估组织应对和调查云计算环境中违规行为的能力。建议对STRIDE风险评估模型进行扩展，以帮助组织快速应对事件，同时确保尽可能获取最大数量的数字证据并确保其完整性。此外，所提出的模型允许组织在事件发生之前评估其事件响应者的需求和能力。
2015-02-18 cs.CY
Experimental Evaluation of Algorithm-Assisted Human Decision-Making: Application to Pretrial Public Safety Assessment
尽管在我们的日常生活中越来越依赖全自动算法决策，但人类仍然会做出非常重要的决策。正如在商业、医疗保健和公共政策中经常看到的那样，算法产生的建议被提供给人类决策者，以指导他们的决策。虽然有大量文献对这种算法推荐的偏见和公平性进行了评估，但一个被忽视的问题是，它们是否有助于人类做出更好的决策。我们开发了一种统计方法，用于实验评估算法建议对人类决策的因果影响。我们还展示了如何检查算法建议是否提高了人类决策的公平性，并在各种设置下得出最佳决策规则。我们将提出的方法应用于有史以来第一次随机对照试验的初步数据，该试验评估了刑事司法系统中的审前公共安全评估（PSA）。《公共安全法》的一个目标是帮助法官决定哪些被捕的人应该被释放。在现有的初步数据的基础上，我们发现，提供PSA的法官对法官的决定和随后的被捕者的行为几乎没有整体的影响。然而，我们的分析产生了一些潜在的暗示性证据表明，PSA可能有助于避免对女性被捕者做出不必要的严厉决定，而无论其风险水平如何，同时鼓励法官对被认为有风险的男性被捕者做出更严格的决定。在公平性方面，《公共服务法案》似乎增加了对男性的性别偏见，而对法官裁决中现有的种族差异几乎没有影响。最后，我们发现，除非新犯罪的成本足够高，否则PSA的建议可能会不必要地严厉。
2021-12-11 cs.CY stat.AP stat.ME
SwissCovid: a critical analysis of risk assessment by Swiss authorities
在推出SwissCovid接触者追踪应用程序之前，进行了官方的公共安全测试。在这次审计中，Serge Vaudenay教授和Martin Vuagnoux博士描述了该应用程序的一系列问题，包括已知误报攻击的新变体，利用Google和Apple曝光通知框架中的加密弱点篡改发出的蓝牙信标。另外，第一作者描述了利用流氓应用程序或SDK的重新识别攻击。瑞士网络安全机构和瑞士公共卫生当局的回应是，这些攻击不太可能发生，因为它们需要攻击者与目标的物理接近度（尽管承认攻击者可能超过两米）。袭击者在瑞士的实际存在被认为是重要的，因为这意味着这些袭击者将属于瑞士刑法典的范围。我们通过一个例子表明，在最初描述的场景中必须考虑更多种类的对手，并且这些攻击可以由对手在瑞士没有任何实际存在的情况下进行。这直接违背了瑞士公共当局评估与SwissCovid相关风险的官方调查结果。为了进一步推进讨论，我们简要讨论了COVID-19和SwissCovid在人群中流行的攻击面和危害的增长。虽然本文的重点是瑞士，但我们强调核心技术发现和网络安全问题与许多接触者追踪工作相关。
2020-06-22 cs.CR cs.CY
Exploring AI-Enabled Test Practice, Affect, and Test Outcomes in Language Assessment
本研究通过多邻国英语测试（DET）开展大规模观察性研究，探索人工智能赋能的自动化题目生成（AIG）练习测试对考生分数、情感及分数共享的影响，为高风险语言评估中AI支持的测试准备提供实践参考。
2025-08-23 cs.CY
Teaching Python programming with automatic assessment and feedback provision
我们描述了一种自动反馈的方法，为学生学习编程和计算方法的Python。我们从2009年开始实施、使用和改进这个系统，以满足不断增长的学生人数，并总结了使用它的设计和经验。核心思想是使用一个单元测试框架：教师创建一组单元测试，通过运行这些测试来测试学生代码。通过我们的实施，学生通常会提交作业进行评估，并在提交后几分钟内通过电子邮件收到反馈。测试的选择和向学生报告的选择是为了优化学生的教育价值。该系统非常显着地减少了工作人员的时间来确定学生的解决方案是否正确，并转移计算实验室的学生接触时间的重点从评估正确性提供指导。自动反馈的自定进度性质支持以学生为中心的学习方法。学生可以重复提交他们的工作，并迭代地改进他们的解决方案，并享受使用该系统。我们包括使用它在一个班的425名学生的系统和数据的评估。
2015-09-11 cs.CY
Hybrid Design Tools - Image Quality Assessment of a Digitally Augmented Blackboard Integrated System
在过去的二十年里，交互式白板（IWB）作为一种教学工具被广泛使用。这些电路板的可用性教学学科的复杂图纸是必要的，我们认为在多个方面值得商榷。在以前的研究中，我们提出了一种替代IWB作为黑板增强与最低限度的必要的数字元素。目前的研究继续我们以前的混合设计工具的研究，分析开发的混合系统的局限性的感知质量的图像被反复捕获，注释，并重新投射到电路板上。我们通过评估黑板上的投影和重投影图像的质量来验证混合系统，在广泛而现实的案例研究中使用客观测量和主观人类感知。基于目前的研究所取得的成果，我们得出结论，建议的混合系统提供了良好的质量支持，需要复杂的图纸和董事会的互动教学学科。
2019-01-21 cs.CY cs.MM
Algorithms that "Don't See Color": Comparing Biases in Lookalike and Special Ad Audiences
研究人员和记者一再表明，信贷、就业、医疗保健或刑事司法等领域常用的算法可能会产生歧视性影响。一些组织试图通过简单地从算法的输入中删除敏感特征来减轻这些影响。在本文中，我们将利用一个独特的机会探索这种方法的局限性。2019年，Facebook同意通过从一种算法的输入中删除某些敏感特征来解决诉讼，该算法识别的用户与广告商提供的广告定位用户相似，使广告商可以使用该算法的修改和未修改版本。我们开发的方法来衡量偏见沿线的性别，年龄和种族的观众创建的修改后的算法，相对于未修改的。我们的研究结果提供了实验证据，证明仅仅从现实世界的算法系统的输入中删除人口特征无法防止有偏见的输出。因此，使用算法来帮助调解获得重要生活机会的组织应该考虑其他方法来减轻歧视性影响。
2022-05-31 cs.CY
