FairPrune: Achieving Fairness Through Pruning for Dermatological Disease Diagnosis
Guangdong Provincial People’s Hospital（广东省人民医院）；University of Notre Dame（圣母大学）；University of Pittsburgh（匹兹堡大学）
许多研究表明，基于深度学习的医学图像分类模型可能会对某些人口统计属性（如种族、性别和年龄）表现出偏见。现有的偏差缓解方法主要集中在学习去偏模型，这可能不一定保证所有的敏感信息可以被删除，并且通常伴随着特权和非特权群体的相当大的准确性下降。为了解决这个问题，我们提出了一种方法，FairPrune，通过修剪来实现公平性。传统上，修剪用于减少模型大小以进行有效的推理。然而，我们表明，修剪也可以是一个强大的工具，以实现公平。我们的观察是，在修剪过程中，模型中的每个参数对不同群体的准确性有不同的重要性。通过基于该重要性差异修剪参数，我们可以减小特权组和非特权组之间的准确性差异，以在不大幅降低准确性的情况下提高公平性。为此，我们使用预训练模型参数的二阶导数来量化每个参数相对于每组模型准确性的重要性。在两个皮肤病变诊断数据集上的实验表明，该方法可以大大提高公平性，同时保持两组的平均准确率尽可能高。
2022-03-04 cs.CV cs.LG eess.IV
FedCD: A Fairness-aware Federated Cognitive Diagnosis Framework
Anhui University（安徽大学）；University of Exeter（埃克塞特大学）
针对联邦认知诊断中的数据质量导致的公平性问题，提出公平感知框架FedCD，通过参数解耦个性化策略和公平感知聚合，实现隐私保护下的精准公平诊断，并在三个真实数据集上验证有效性。
2025-08-02 cs.CY cs.LG
FairPilot: An Explorative System for Hyperparameter Tuning through the Lens of Fairness
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出交互式系统FairPilot，通过探索模型、超参数与公平性定义组合，以交互式地图展示Pareto前沿，帮助用户在高风险决策中负责任地选择兼顾公平性的最佳ML模型。
2023-04-10 cs.LG
Enhancing Fairness in Skin Lesion Classification for Medical Diagnosis Using Prune Learning
University of Hull（赫尔大学）；Leeds Teaching Hospitals NHS Trust（利兹教学医院 NHS信托）
针对皮肤病变分类模型的肤色偏差问题，提出基于剪枝学习的公平性算法，通过计算网络特征偏度去除肤色相关冗余通道，在降本缩模的同时提升诊断公平性与实用性。
2025-08-31 cs.AI cs.CV cs.CY
Path-Specific Causal Reasoning for Fairness-aware Cognitive Diagnosis
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；Institute of Dataspace, Hefei Comprehensive National Science Center（合肥综合性国家科学中心数据空间研究院）
本文提出路径特定因果推理框架PSCRF，通过解耦学生敏感属性、消除敏感相关捷径并施加多因素约束，在认知诊断中同时实现公平性与诊断性能。
2024-06-05 cs.IR cs.LG
Fairness-Aware Fine-Tuning of Vision-Language Models for Medical Glaucoma Diagnosis
Department of Computer Science, University of Rochester, NY, USA（罗切斯特大学计算机科学系）；Biostatistics and Health Data Science, School of Medicine, Indiana University, Indianapolis, IN, USA（印第安纳大学医学院生物统计学与健康数据科学系）；Department of Computer Science, University of Central Florida, FL, USA（佛罗里达州立大学计算机科学系）
本文提出公平性感知的低秩适应方法，通过三种机制减少医疗影像诊断中的种族差异，实现高效公平的青光眼诊断。
2026-03-10 cs.CV cs.LG
Fairness in Multi-modal Medical Diagnosis with Demonstration Selection
Arizona State University（亚利桑那州立大学）；University of Rochester（罗切斯特大学）；University of Virginia（弗吉尼亚大学）；UCL（伦敦大学学院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Central Florida（佛罗里达中央大学）
本文提出FADS方法，通过基于聚类的采样提升多模态医学影像诊断的公平性，减少性别、种族和族裔相关差异，同时保持高准确性。
2025-11-24 cs.CV cs.CY cs.LG
FairTargetSim: An Interactive Simulator for Understanding and Explaining the Fairness Effects of Target Variable Definition
University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）；Utrecht University（乌得勒支大学）；Accenture（埃森哲）
本文提出交互式开源模拟器 FairTargetSim (FTS)，通过算法招聘等真实数据示例，帮助开发者及利益相关者理解和解释目标变量定义对机器学习公平性的下游影响。
2025-07-14 cs.AI cs.CY cs.LG
Fairness Begins with State: Purifying Latent Preferences for Hierarchical Reinforcement Learning in Interactive Recommendation
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究所）；Chongqing School, University of Chinese Academy of Sciences（中国科学院大学重庆学院）；The First Affiliated Hospital, University of Science and Technology of China（中国科学技术大学第一附属医院）；City University of Hong Kong（香港城市大学）
本文提出DSRM-HRL框架，通过净化潜在偏好解决交互推荐中的公平与准确冲突，实现推荐效用与曝光公平的平衡。
2026-03-04 cs.AI cs.LG
Co-training partial domain adaptation networks for industrial Fault Diagnosis
针对工业故障诊断中的部分域适应难题，提出交互式残差域适应网络IRDAN，通过域专属模型、残差域适应模块、交互式学习及停止准则提升性能，经实验验证效果优异。
2024-11-04 cs.LG
dalex: Responsible Machine Learning with Interactive Explainability and Fairness in Python
Warsaw University of Technology（华沙理工大学）；Faculty of Mathematics and Information Science（数学与信息科学学院）；Samsung Research & Development Institute（三星研发研究院）
可用数据量的增加、计算能力的提高以及对更高性能的不断追求导致预测模型的复杂性不断增加。它们的黑箱性质导致不透明债务现象，增加了歧视的风险，缺乏可重复性，以及由于数据漂移而导致的性能下降。为了管理这些风险，良好的MLOps实践要求更好地验证模型性能和公平性，更高的可解释性和持续监控。更深层次的模型透明性的必要性不仅出现在科学和社会领域，也出现在关于人工智能的新兴法律法规中。为了促进负责任的机器学习模型的开发，我们展示了dalex，这是一个Python包，它实现了用于交互式模型探索的模型不可知接口。它采用了通过开发各种负责任的机器学习工具而精心制作的设计;因此，它旨在统一现有的解决方案。这个库的源代码和文档可以在https://python.drwhy.ai/的开放许可下获得。
2021-10-11 cs.HC cs.LG cs.SE
Improving Fairness of Automated Chest X-ray Diagnosis by Contrastive Learning
Weill Cornell Medicine（威尔康奈尔医学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对放射学领域CXR诊断模型公平性提升方法不足的问题，提出基于监督对比学习的AI模型，通过正负样本生成公平嵌入再微调，在两个公开数据集上验证其可显著降低各子群体的诊断偏差。
2024-01-25 cs.CV cs.LG eess.IV
Survey on Causal-based Machine Learning Fairness Notions
INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；IPP（巴黎理工学院）
解决公平性问题对于安全地使用机器学习算法来支持对人们生活产生关键影响的决策至关重要，例如招聘，虐待儿童，疾病诊断，贷款发放等。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的观点，即使用因果关系是适当解决公平问题的必要条件。本文研究了一个详尽的清单，基于cabinet的公平概念，并研究其在现实世界中的应用场景。由于大多数基于因果关系的公平性概念是根据不可观察的量来定义的（例如，干预措施和反事实），在实践中部署它们需要使用观测数据来计算或估计这些数量。本文提供了一个全面的报告，不同的方法来推断因果量的观测数据，包括可识别性（珍珠的SCM框架）和估计（潜在的结果框架）。这份调查报告的主要贡献是（1）一个指导方针，以帮助选择一个合适的公平概念给定一个特定的现实世界的情况下，（2）根据珍珠的因果关系阶梯的公平概念的排名，表明它是多么困难，在实践中部署每个概念。
2022-06-07 cs.LG
Fairness-aware Model-agnostic Positive and Unlabeled Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
随着机器学习在高风险决策问题中的应用越来越多，对某些社会群体的潜在算法偏见对个人和整个社会造成了负面影响。在现实世界的场景中，许多这样的问题涉及积极的和未标记的数据，如医疗诊断，犯罪风险评估和推荐系统。例如，在医疗诊断中，只有诊断出的疾病才会被记录（阳性），而其他疾病则不会被记录（未标记）。尽管在（半）监督和无监督环境中有大量关于公平性感知机器学习的现有工作，但在上述积极和无标签学习（PUL）背景下，公平性问题在很大程度上没有得到充分探讨，在这种情况下，它通常更严重。在本文中，为了缓解这种紧张局势，我们提出了一个公平意识的PUL方法命名为FairPUL。特别是，对于来自两个群体的个体的二进制分类，我们的目标是在两个群体中实现相似的真阳性率和假阳性率作为我们的公平性度量。在分析PUL最优公平分类器的基础上，我们设计了一个模型无关的后处理框架，同时利用正例和未标记的例子。我们的框架被证明是统计上一致的分类误差和公平性度量。在合成数据集和真实数据集上的实验表明，我们的框架在PUL和公平分类方面都优于最先进的框架。
2022-06-19 cs.CY cs.LG
The Skincare project, an interactive deep learning system for differential diagnosis of malignant skin lesions. Technical Report
German Research Center for Artificial Intelligence（德国人工智能研究中心）
皮肤科医生的短缺导致寻求皮肤科护理的患者等待时间很长。此外，据报道，全科医生的诊断准确率低于人工智能软件的准确率。本文介绍了护肤项目（H2020，EIT Digital）。贡献包括基于交互式机器学习（IML）的临床决策支持技术，这是数字欧洲医疗保健基础设施的参考架构（也参考EIT MCPS），用于聚合数字化患者信息的技术组件，以及将决策支持技术集成到临床试验台环境中。然而，其主要贡献是为患者和医生提供皮肤病学诊断和决策支持系统，这是一个用于恶性皮肤病变鉴别诊断的交互式深度学习系统。在本文中，我们描述了它的功能和用户界面，以促进机器从人类输入中学习。基线深度学习系统提供了最先进的结果，并有可能增强全科医生甚至皮肤科医生的能力，该系统是使用来自皮肤病学图像数据库（ISIC）的去识别病例开发和验证的，该数据库有大约20000个用于开发和验证的病例，由委员会认证的皮肤科医生提供，定义了每个病例的参考标准。ISIC允许进行鉴别诊断，这是一个八种诊断的排名列表，用于在诊断模糊的常见环境中规划治疗。我们给出了护肤项目的成果的总体描述，我们专注于IML中支持人与机器之间的通信和协调的步骤。这是医疗领域未来认知助手发展的一个组成部分，我们描述了必要的智能用户界面。
2020-05-19 cs.CV cs.LG eess.IV
Evaluating Machine Learning-based Skin Cancer Diagnosis
该研究基于 HAM10000 评估 MobileNet 模型与自定义 CNN 的皮肤癌分类性能，结合显著性图、积分梯度及均等几率分析可解释性与肤色公平性，并用校准后处理降低误诊差异。
2024-09-04 cs.CV cs.LG eess.IV
Fairness in the Eyes of the Data: Certifying Machine-Learning Models
Tel-Aviv University（特拉维夫大学）；The Hebrew University of Jerusalem（希伯来大学）；Bar-Ilan University（巴伊兰大学）；Aarhus University（奥胡斯大学）；IISc Bangalore（印度科学学院班加罗尔分院）
我们提出了一个框架，允许验证的公平程度的模型的基础上的互动和隐私保护测试。该框架验证任何经过训练的模型，无论其训练过程和架构如何。因此，它允许我们根据经验评估多个公平性定义的任何深度学习模型。我们处理两种情况，其中测试数据是私人的，只有测试人员或公开提前知道，甚至模型创建者。我们调查所提出的方法的合理性，使用理论分析和目前的统计保证的互动测试。最后，我们提供了一种加密技术来自动化公平性测试和认证推理，只有黑盒访问手头的模型，同时隐藏参与者的敏感数据。
2021-06-25 cs.AI cs.CR cs.LG
LLM-as-an-Investigator: Evidence-First Agentic Reasoning for Robust Interactive Problem Diagnosis
University of Calabria（卡拉布里亚大学）；University of Cambridge（剑桥大学）
提出证据优先的AI方法LLM-as-an-Investigator，通过估计问题歧义、生成假设、提问澄清并更新概率，避免过早接受用户假设，提升诊断准确性。
2026-10-16 cs.AI cs.CE cs.ET
Can Machine Learning Assist in Diagnosis of Primary Immune Thrombocytopenia? A feasibility study
Queen Mary University of London（伦敦玛丽女王大学）；Barts Health NHS Trust（巴特保健国民保健信托基金）
本研究探讨了在非急性门诊环境中利用常规血液检查和人口统计学数据，通过多种机器学习模型辅助诊断原发性免疫性血小板减少症（ITP）的可行性，发现Decision Tree和Random Forest模型表现最优且公平，并揭示了预测性能与公平性之间的权衡。
2024-05-31 cs.AI cs.LG
Visual Model Selection using Feature Importance Clusters in Fairness-Performance Similarity Optimized Space
Leiden Institute of Advanced Computer Science (LIACS), Leiden University（莱顿高级计算机科学研究所（LIACS）、莱顿大学）；Netherlands Organization for Applied Scientific Research (TNO)（荷兰应用科学研究院（TNO））
本文提出一个交互式框架，利用弱监督度量学习和k-means聚类在公平性-性能相似性优化空间中组织模型，帮助利益相关者选择符合其需求的模型。
2025-10-25 cs.LG
A Human-Centered Approach to Interactive Machine Learning
University of Alberta（阿尔伯塔大学）
交互式机器学习（IML）社区旨在通过开发自动决策系统来增强人类随着时间的推移进行学习和决策的能力。这种交互代表了多个智能系统--人类和机器之间的协作。缺乏对所涉及的人的适当考虑可能导致有问题的系统行为，以及公平性，问责制和透明度问题。这项工作提出了一个以人为本的思想方法，应用IML方法。本指南旨在供人工智能从业者使用，他们将人为因素纳入工作中。这些从业者负责相互作用的人类的健康，安全和福祉。对公众互动负责的义务意味着正直、诚实、公平地行事，并遵守适用的法律法规。有了这些价值观和原则，我们作为一个研究社区可以更好地实现增强人类能力的集体目标。本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2019-05-15 cs.CY cs.HC cs.LG
Exploring Fairness in Educational Data Mining in the Context of the Right to be Forgotten
Iowa State University（爱荷华州立大学）
本文针对教育数据挖掘中被遗忘权背景下，提出选择性遗忘攻击以破坏模型公平性且保持预测精度，并设计优化框架生成恶意遗忘请求，通过多数据集实验验证有效性。
2024-05-29 cs.LG
ExplainBench: A Benchmark Framework for Local Model Explanations in Fairness-Critical Applications
Independent Researcher（独立研究者）
本文提出开源基准框架 ExplainBench，通过统一算法封装、端到端流程及保真度等指标，在公平性敏感数据集上可复现地比较局部解释方法。
2025-05-31 cs.LG
Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness
IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
减轻算法偏见是机器学习模型开发和部署中的一项关键任务。虽然有几个工具包可以帮助机器学习从业者解决公平性问题，但人们对从业者用来评估模型公平性的策略以及影响其评估的因素知之甚少，特别是在文本分类的背景下。评价模型公平性的两种常用方法是群体公平性和个体公平性。我们与机器学习从业者（n=24）进行了一项研究，以了解用于评估模型的策略。向从业者提出的问题（群体与个人公平性）影响他们认为公平的模型。与会者重点关注与低估/高估相关的风险以及与身份令牌操作相关的模型敏感性。我们发现公平性评估策略涉及个人经验或用户如何形成身份令牌组来测试模型的公平性。我们提供了交互式工具的建议，用于评估文本分类的公平性。
2023-03-01 cs.CY cs.HC cs.LG
Neuron Incidence Redistribution for Fairness in Medical Image Classification
Neuron Incidence Redistribution for Fairness in Medical Image Classification（神经发生再分配用于医学图像分类）
本文提出了一种轻量级的正则化方法Neuron Incidence Redistribution (NIR)，通过减少预测概率加权平均激活值的方差来提升医疗图像分类中的公平性，实验结果显示在不同年龄和性别组别中，TPR和FPR的不平等现象显著降低。
2026-05-19 cs.CV cs.LG
An Interactive Automation for Human Biliary Tree Diagnosis Using Computer Vision
Applied Science Private University（应用科学私立大学）；Jadara University（贾达拉大学）；Princess Sumaya University for Technology（苏玛雅公主科技大学）；King Hussein Medical Center（侯赛因国王医疗中心）
胆道系统是一个连接肝脏和胆囊的管道网络，胆囊是肝脏下面的器官。胆管是胆道系统中的主要管道。胆管的扩张是人体中更主要问题的关键指标，例如结石和肿瘤，这些问题通常由胰腺或乏特氏乳头引起。在许多情况下，胆管扩张的检测对于初学者或未经训练的医务人员来说可能是具有挑战性的。即使是专业人士也无法用肉眼发现胆管扩张。这项研究提出了一个独特的基于视觉的模型胆道树初步诊断。为了从磁共振图像中分割胆管树，框架使用了不同的图像处理方法（MRI）。在图像的感兴趣区域被分割之后，对其进行大量计算以提取10个特征，包括长轴和短轴、胆管面积、胆管树面积、紧密度以及一些纹理特征（对比度、均值、方差和相关性）。这项研究使用了约旦安曼侯赛因国王医疗中心的图像数据库，其中包括200张MRI图像，100例正常病例和100例胆管扩张患者。在提取特征之后，使用各种分类器来根据患者的健康状况（正常或扩张）确定患者的状况。研究结果表明，所提取的特征在准确性和曲线下面积方面与所有分类器表现良好。这项研究的独特之处在于，它使用自动方法从MRI图像中分割胆管树，并将检索到的特征与胆管树状态科学地关联起来，这在文献中从未做过。
2022-09-10 cs.CV cs.LG eess.IV
Learning Fair Scoring Functions: Bipartite Ranking under ROC-based Fairness Constraints
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）
人工智能的许多应用涉及使用其属性的学习函数对个体进行评分。然后，这些预测性风险分数用于基于分数是否超过特定阈值来做出决策，该阈值可以根据上下文而变化。在信贷和医疗诊断等关键应用中，授予此类系统的授权水平将在很大程度上取决于如何回答公平性问题。在本文中，我们研究的公平性问题的学习评分功能从二进制标记的数据，一个经典的学习任务，称为二分排名。我们认为，ROC曲线的功能性质，在这种情况下，排名准确性的黄金标准措施，导致制定公平性约束的几种方式。我们介绍了一般家庭的公平性定义的基础上的AUC和ROC曲线，并表明我们的ROC为基础的约束可以实例化，使分类器通过阈值的评分函数满足分类公平性所需的阈值范围。我们建立了泛化界的评分功能的限制下学习，设计实用的学习算法，并显示我们的方法与真实和合成数据的数值实验的相关性。
2021-02-25 cs.LG stat.ML
Towards Trustworthy Audio Deepfake Detection: A Systematic Framework for Diagnosing and Mitigating Gender Bias
School of Computing, Wichita State University（维克托利亚州立大学计算机学院）；Institut national de la recherche scientifique (INRS-EMT)（国家科学研究机构（INRS-EMT））；INRS-UQO Mixed Research Unit on Cybersecurity（INRS-UQO网络安全混合研究单位）
本文提出首个诊断优先框架，通过诊断偏见来源并针对性缓解，评估了AASIST和Wav2Vec2+ResNet18模型在ASVSpoof5上的表现，发现偏见源于声学表示差异、特征中性别泄露及评估结构不对称，提出新的公平性正则化方法，有效降低不公平性。
2026-05-09 cs.LG cs.SD
Technical Challenges for Training Fair Neural Networks
University of Maryland, College Park（马里兰大学帕克分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
随着机器学习算法在应用程序中的广泛部署，人们对其预测的公平性提出了许多担忧，特别是在高风险环境中（如面部识别和医学成像）。为了回应这些关注，社会提出并正式确定了各种公平的概念以及纠正不公平行为的方法。虽然公平性约束已经被广泛研究了经典模型，但对深度神经网络施加公平性的方法的有效性尚不清楚。在本文中，我们观察到这些大型模型过度拟合公平目标，并产生一系列意想不到的和不希望的后果。我们使用最先进的架构对面部识别和自动医疗诊断数据集进行实验。
2021-02-12 cs.AI cs.CY cs.LG
An Explainable and Fair AI Tool for PCOS Risk Assessment: Calibration, Subgroup Equity, and Interactive Clinical Deployment
本文提出经公平性审计的可解释PCOS风险预测机器学习框架，对比多种校准模型的性能与亚组公平性，最终选用平衡校准度与可解释性的随机森林模型，配套交互式网页界面支撑临床落地。
2025-11-08 cs.CY cs.HC cs.LG
The What-If Tool: Interactive Probing of Machine Learning Models
Google Research（谷歌研究院）
开发和部署机器学习（ML）系统的一个关键挑战是了解它们在各种输入下的性能。为了应对这一挑战，我们创建了What-If Tool，这是一个开源应用程序，允许从业者以最少的编码来探测，可视化和分析ML系统。假设工具允许从业者在假设情况下测试性能，分析不同数据特征的重要性，并跨多个模型和输入数据子集可视化模型行为。它还允许从业者根据多个ML公平性指标来衡量系统。我们描述了该工具的设计，并报告了不同组织的实际使用情况。
2019-10-03 cs.LG stat.ML
A System for Real-Time Interactive Analysis of Deep Learning Training
Microsoft Research（微软研究院）
在深度学习模型的训练过程中进行诊断或探索性分析是一项挑战，但对于在增量观察的指导下做出一系列决策来说，这往往是必要的。目前用于此目的的可用系统仅限于监视必须在训练过程开始之前指定的记录数据。每次需要新的信息时，在训练过程中需要停止-改变-重新启动的循环。这些限制使得交互式探索和诊断任务变得困难，在模型开发过程中强加了冗长乏味的迭代。我们提出了一个新的系统，使用户能够执行交互式查询的实时进程生成实时的【形】信息，可以在多个表面上呈现多种格式的几个所需的可视化的形式同时。为了实现这一目标，我们使用许多数据科学家已经熟悉的map-reduce范式，将深度学习训练过程的各种探索性检查和诊断任务建模为流的规范。我们的设计实现了通用性和可扩展性，通过定义组合原语，这是一个根本不同的方法比目前可用的系统。我们系统的开源实现可以在https://github.com/microsoft/tensorwatch上作为TensorWatch项目获得。
2020-01-07 cs.HC cs.LG stat.ML
Fairness-Aware Interpretable Modeling (FAIM) for Trustworthy Machine Learning in Healthcare
Duke-NUS Medical School（杜克-新加坡国立大学医学院）；Singapore General Hospital（新加坡中央医院）；National University of Singapore（新加坡国立大学）；Duke University（杜克大学）
针对医疗等高风险领域机器学习模型的公平性问题，提出可解释框架FAIM，结合交互式界面与临床专业知识，在真实数据集上实现性能不下降的同时显著缓解偏见，提供多学科参与的定制化AI公平建模模式。
2024-03-08 cs.AI cs.CY cs.LG
Achieving Reliable and Fair Skin Lesion Diagnosis via Unsupervised Domain Adaptation
Tulane University（杜兰大学）
本文研究标注稀缺下的皮肤病变诊断，提出并比较单源、组合源与多源UDA方案，证明多源UDA可提升分类性能、缓解标签偏移影响并增强少数群体公平性。
2024-04-16 cs.CV cs.CY cs.LG
MEDFAIR: Benchmarking Fairness for Medical Imaging
University of Edinburgh（爱丁堡大学）；Samsung AI Centre, Cambridge（三星剑桥人工智能中心）
大量的工作表明，基于机器学习的医疗诊断系统可能对某些人群有偏见。这促使越来越多的偏见缓解算法，旨在解决机器学习中的公平性问题。然而，由于两个原因，很难比较它们在医学成像中的有效性。首先，在评估公平性的标准上几乎没有共识。其次，现有的偏差减轻算法是在不同的设置下开发的，例如，数据集、模型选择策略、主干和公平性指标，使得基于现有结果的直接比较和评估成为不可能。在这项工作中，我们介绍MEDFAIR，一个框架，以基准的公平性机器学习模型的医学成像。MEDFAIR涵盖了来自不同类别的11种算法，来自不同成像模式的9个数据集和3个模型选择标准。通过大量的实验，我们发现，模型选择标准的研究不足的问题可以有一个显着的影响公平的结果，而相比之下，国家的最先进的偏见缓解算法并没有显着改善公平的结果超过经验风险最小化（ERM）在分布和分布设置。我们从多个角度对公平性进行评估，并针对不同的医疗应用场景，需要不同的伦理原则提出建议。我们的框架为深度学习中未来偏差缓解算法的开发和评估提供了一个可重复且易于使用的入口点。代码可在https://github.com/ys-zong/MEDFAIR上获得。
2023-02-17 cs.AI cs.LG eess.IV
Boxer: Interactive Comparison of Classifier Results
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
机器学习从业者经常比较不同分类器的结果，以帮助选择、诊断和调整模型。我们目前拳击手，一个系统，使这种比较。我们的系统有利于交互式探索的实验结果，通过应用多个分类器的一组共同的模型输入。该方法的重点是允许用户识别训练和测试实例的有趣子集，并比较这些子集上的分类器的性能。该系统将标准视觉设计与集合代数交互和比较元素相耦合。这允许用户组成和协调视图，以指定子集并评估分类器的性能。这些组合物的灵活性允许用户在开发和评估分类器时解决各种各样的情况。我们在用例中演示Boxer，包括模型选择，调优，公平性评估和数据质量诊断。
2020-04-16 cs.HC cs.LG
A Brief Guide to Designing and Evaluating Human-Centered Interactive Machine Learning
DeepMind（深度思维）
交互式机器学习（IML）是一个研究领域，探索如何在决策系统中利用人类和计算能力。IML代表了多个互补的人类和机器智能系统之间的协作，每个系统都有自己独特的能力和局限性。这种团队合作可能意味着两个系统同时或按顺序采取行动。IML领域的两个主要开放研究问题是：“我们应该如何设计能够随着时间的推移通过人机交互学习做出更好决策的系统？以及"我们应该如何评估这种系统的设计和部署？“对所涉及的人缺乏适当的考虑可能会导致系统行为问题，以及公平性、问责制和透明度问题。因此，我们这项工作的目标是提出一个以人为本的指南，以设计和评估IML系统，同时降低风险。本指南旨在供负责人类互动的健康、安全和福祉的机器学习从业者使用。对公众互动负责的义务意味着正直、诚实、公平地行事，并遵守适用的法律法规。牢记这些价值观和原则，我们作为机器学习研究社区可以更好地实现增强人类技能和能力的目标。因此，本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2022-04-20 cs.GL cs.HC cs.LG
SkinGPT-4: An Interactive Dermatology Diagnostic System with Visual Large Language Model
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Beijing AnZhen Hospital, Affiliated to Capital Medical University（首都医科大学附属北京安贞医院）
针对皮肤科医生短缺、皮肤图像诊断难及报告生成耗时的问题，提出基于微调MiniGPT-4的交互式皮肤病诊断系统SkinGPT-4，经150例真实病例验证诊断准确，支持本地部署保护隐私。
2023-06-08 cs.CV cs.LG eess.IV
Assessing gender fairness in EEG-based machine learning detection of Parkinson's disease: A multi-center study
University of Stavanger（斯塔万格大学）；Stavanger University Hospital（斯塔万格大学医院）；Universidad de Antioquia（安蒂奥基亚大学）
随着基于机器学习（ML）和静息态脑电图（rs-EEG）的帕金森病（PD）检测自动工具的数量不断增加，通过公平性和偏倚分析评估可能加剧的健康差异变得更加相关。受保护的属性，如性别，在PD诊断开发中发挥重要作用。然而，在ML模型的开发或PD检测的性能评估中很少考虑来自不同性别的亚组人群的分析。在这项工作中，我们进行了一个系统的分析的检测能力的性别子组在多中心设置的先前开发的ML算法的基础上的功率谱密度（PSD）特征的rs-EEG。我们发现男性和女性在测试时的PD检测能力存在显著差异（准确度为80.5% vs. 63.7%），PD和非PD男性的一组顶叶和额叶EEG通道和频率子带的活动显著更高，这可能解释了性别亚组的PD检测能力差异。
2023-03-11 cs.LG eess.SP
Connecting Fairness in Machine Learning with Public Health Equity
University of Toronto（多伦多大学）
本文总结了机器学习公平性文献并提出一个框架，用于在公共卫生ML流程各阶段识别和缓解数据与模型偏差，以促进公平公正的健康结果。
2023-04-08 cs.AI cs.CY cs.LG
Towards Better Analysis of Machine Learning Models: A Visual Analytics Perspective
Tsinghua University（清华大学）
交互式模型分析是在交互式可视化的帮助下理解、诊断和精炼机器学习模型的过程，对于用户有效地解决现实世界的人工智能和数据采掘问题非常重要。大数据分析的巨大进步导致了各种各样的交互式模型分析任务。在本文中，我们提出了一个全面的分析和解释这一迅速发展的地区。具体来说，我们将相关工作分为三类：理解、诊断和细化。每个类别都以最近有影响力的工作为例。还探讨和讨论了未来可能的研究机会。
2017-02-04 cs.LG stat.ML
Differentially Private and Fair Classification via Calibrated Functional Mechanism
University of Houston（休斯顿大学）；Guilin University of Electronic Technology（桂林电子科技大学）；Guangdong University of Technology（广东工业大学）
机器学习正日益成为在各种应用中做出决策的强大工具，例如医疗诊断和自动驾驶。与训练数据有关的隐私问题和关于某些属性的某些决策的不公平行为（例如，性别、种族）变得越来越重要。因此，构建一个公平的机器学习模型，同时提供隐私保护成为一个具有挑战性的问题。本文将功能机制与决策边界公平性相结合，重点研究了具有公平性和差分隐私保证的分类模型的设计。为了增强$ε$ -差分隐私和公平性，我们利用函数机制，在考虑公平性约束的情况下，对目标函数的多项式系数添加关于不同属性的不同数量的拉普拉斯噪声。我们进一步提出了一种效用增强方案，称为松弛函数机制，通过加入高斯噪声代替拉普拉斯噪声，从而实现$(ε,δ)$ -差分隐私.在此基础上，设计了$(ε,δ)$ --差分隐私公平分类模型。此外，我们的理论分析和实验结果表明，我们的两种方法实现了公平性和差分隐私，同时保持良好的效用，并优于国家的最先进的算法。
2020-03-12 cs.CR cs.LG
Fair Active Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；QCRI, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
机器学习（ML）越来越多地用于影响社会的高风险应用。因此，ML模型不传播歧视至关重要。在社会应用中收集准确的标记数据具有挑战性且成本高昂。主动学习是一种很有前途的方法，通过在标记预算内交互式地查询oracle来构建准确的分类器。我们设计了公平的主动学习算法，仔细选择要标记的数据点，以平衡模型的准确性和公平性。我们证明了我们提出的算法的有效性和效率，广泛使用的基准数据集，使用人口统计学的奇偶性和公平的均衡赔率的概念。
2021-03-31 cs.LG stat.ML
Explanatory Interactive Machine Learning for Bias Mitigation in Visual Gender Classification
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨）；Institute of Creative Media Technologies（创意媒体技术研究所）；St. Pölten University of Applied Sciences（施蒂利克大学应用科学学院）；Institute of Computational Perception（计算感知研究所）
本文提出了一种结合CAIPI和RRR的混合XIL方法，用于缓解视觉性别分类中的偏见和伪相关性，通过用户反馈提升模型公平性和透明度。
2026-02-07 cs.AI cs.CV cs.LG
Fair Active Learning
机器学习（ML）越来越多地用于影响社会的高风险应用。因此，ML模型不传播歧视至关重要。在社会应用中收集准确的标记数据具有挑战性且成本高昂。主动学习是一种很有前途的方法，通过在标记预算内交互式地查询oracle来构建准确的分类器。我们设计了公平的主动学习算法，仔细选择要标记的数据点，以平衡模型的准确性和公平性。具体来说，我们关注的是人口均等--一种广泛使用的公平衡量标准。在基准数据集上的实验证明了该方法的有效性。
2020-07-01 cs.LG stat.ML
InteractiveGNNExplainer: A Visual Analytics Framework for Multi-Faceted Understanding and Probing of Graph Neural Network Predictions
Department of Electrical Engineering（电气工程系）；Indian Institute of Technology（印度理工学院）
针对图神经网络黑箱不透明问题，本文提出可视分析框架InteractiveGNNExplainer，融合多类交互视图与解释方法，支持假设分析与模型探查，可提升GNN预测的可解释性与可信度。
2025-11-17 cs.AI cs.LG
Enumeration of Distinct Support Vectors for Interactive Decision Making
Hokkaido University（北海道大学）；Osaka University（大阪大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
在常规预测任务中，机器学习算法输出全局优化其目标函数的单个最佳模型，该目标函数通常是准确性。因此，用户无法显式访问其他模型。与此相反，多模型枚举在非标准机器学习应用中吸引了越来越多的兴趣，其中其他标准，例如，可解释性或公平性比准确性更重要，且用户可能想要访问多于一个非最佳但合适模型。本文提出了一种支持向量机（SVM）的K-best模型枚举算法，给定数据集S和整数K>0，在对偶SVM问题中，按目标函数值降序枚举S上具有不同支持向量的K-best模型。基于对支持向量的格型结构的分析，我们的算法有效地找到了下一个最好的模型，具有较小的延迟。这在支持用户交互式检查他们对枚举模型的需求时很有用。通过在真实数据集上的实验，我们评估了我们的算法的效率和实用性。
2019-06-05 cs.LG stat.ML
Bias Discovery in Machine Learning Models for Mental Health
Utrecht University（乌得勒支大学）；University Medical Center Utrecht（乌得勒支大学医学中心）；Leiden University Medical Center（莱顿大学医学中心）；Leiden University（莱顿大学）
公平和偏见是人工智能中的关键概念，但在临床精神病学的机器学习应用中，它们相对被忽视。我们使用一个在临床心理健康数据上训练的模型来计算公平性指标并提出偏见缓解策略。我们收集了与乌得勒支大学医学中心精神科患者的入院、诊断和治疗相关的结构化数据。我们训练了一个机器学习模型，以根据过去的数据预测苯二氮卓类药物的未来给药。我们发现，性别在预测中扮演了一个意想不到的角色，这构成了偏见。使用AI Fairness 360包，我们实现了重新加权和歧视感知正则化作为偏差缓解策略，并探索了它们对模型性能的影响。这是在真实临床精神病学数据上训练的机器学习模型中首次应用偏差探索和缓解。
2022-05-24 cs.AI cs.CY cs.LG
Semantic Image Attack for Visual Model Diagnosis
Carnegie Mellon University（卡内基梅隆大学）
在实践中，对特定训练和测试数据集的度量分析并不能保证可靠或公平的ML模型。这部分是由于获得平衡、多样和完美标记的数据集通常是昂贵、耗时和容易出错的。本文提出了语义图像攻击（SIA），而不是依赖于精心设计的测试集来评估ML模型的失败，公平性或鲁棒性，这是一种基于对抗攻击的方法，它提供了语义对抗图像，以允许模型诊断，可解释性和鲁棒性。传统的对抗性训练是一种流行的方法，用于增强ML模型对攻击的鲁棒性。然而，现有的对抗方法没有结合两个方面，使解释和分析模型的缺陷：语义可追溯性和感知质量。SIA通过迭代梯度上升在预定义的语义属性空间和图像空间上结合这两个特征。我们说明了我们的方法在三个场景中的关键点检测和分类的有效性。(1)模型诊断：SIA生成属性直方图，突出ML模型的语义漏洞（即，使模型失败的属性）。(2)更强的攻击：SIA生成具有视觉可解释属性的对抗性示例，这些属性导致比基线方法更高的攻击成功率。SIA上的对抗性训练提高了不同梯度攻击的可转移鲁棒性。(3)对不平衡数据集的鲁棒性：我们使用SIA来增强代表性不足的类，其性能优于强增强和重新平衡基线。
2023-03-23 cs.AI cs.CV cs.LG
Zero-shot Model Diagnosis
Carnegie Mellon University（卡内基梅隆大学）
在部署深度视觉模型时，这些系统的行为必须是可解释的，以确保对其可靠性和公平性的信心。评估深度学习模型的一种常见方法是构建一个带有感兴趣属性的标记测试集，并评估其性能。然而，创建平衡测试集（即，对所有重要特征进行均匀采样）通常是耗时、昂贵且易于出错的。我们试图解决的问题是：在没有注释测试集的情况下，我们能否评估深度学习模型对任意视觉属性的敏感性？本文论证了Zero-shot模型诊断（ZOOM）不需要测试集也不需要标记的情况下是可能的。为了避免测试集的需要，我们的系统依赖于生成模型和CLIP。关键思想是使用户能够选择一组提示（与问题相关），我们的系统将自动搜索语义反事实图像（即，在二元分类器的情况下翻转预测的合成图像）。我们评估了几个视觉任务（分类，关键点检测和分割）在多个视觉领域，以证明我们的方法的可行性。大量的实验表明，我们的方法是能够产生反事实的图像，并提供灵敏度分析模型诊断，而不需要一个测试集。
2023-03-27 cs.AI cs.CL cs.CV
Manifold: A Model-Agnostic Framework for Interpretation and Diagnosis of Machine Learning Models
Purdue University（普渡大学）；Uber Technologies, Inc（优步技术公司）；Uber AI Labs（优步人工智能实验室）
近年来，随着新方法的突破，机器学习模型的解释和诊断重新引起了人们的兴趣。我们提出了流形，一个框架，利用可视化分析技术，以支持解释，调试和比较机器学习模型在一个更透明和互动的方式。常规技术通常集中于可视化特定模型类型的内部逻辑（即，深度神经网络），缺乏扩展到集成不同模型类型的更复杂场景的能力。为此，Manifold被设计为一个通用框架，它不依赖或访问模型的内部逻辑，只观察输入（即，实例或特征）和输出（即，预测结果和概率分布）。我们将流形的工作流程描述为一个迭代过程，包括模型开发和诊断过程中通常涉及的三个主要阶段：检查（假设），解释（推理）和细化（验证）。支持这些任务的可视化组件包括一个基于散点图的可视化摘要，它概述了模型的结果，以及一个可定制的表格视图，它揭示了特征区分。我们展示了框架在分类和回归任务上的当前应用，并讨论了其他可能的机器学习使用场景，其中可以应用流形。
2018-08-01 cs.HC cs.LG stat.ML
Graph-Based Deep Learning for Medical Diagnosis and Analysis: Past, Present and Future
CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61部门）；Queensland University of Technology（昆士兰科技大学）
随着数据驱动的机器学习研究的进展，各种各样的预测问题已经得到解决。探索如何利用机器学习，特别是深度学习方法来分析医疗数据已经变得至关重要。现有方法的一个主要限制是集中在网格状数据;然而，生理记录的结构往往是不规则和无序的，这使得很难将它们概念化为矩阵。因此，图神经网络通过利用驻留在生物系统中的隐式信息而引起了极大的关注，其中交互式节点由边连接，边的权重可以是时间关联或解剖结。在这次调查中，我们全面回顾了不同类型的图架构及其在医疗保健中的应用。我们以系统的方式概述了这些方法，按其应用领域组织，包括功能连接，解剖结构和基于电的分析。我们还概述了现有技术的局限性，并讨论了未来研究的潜在方向。
2021-05-27 cs.CV cs.LG q-bio.QM
