Towards Mitigating Architecture Overfitting on Distilled Datasets
City University of Hong Kong(香港城市大学)
针对数据集蒸馏中训练架构与测试架构不匹配导致的架构过拟合问题,本文结合DropPath隐式集成与知识蒸馏平滑子网络行为,在多任务和多蒸馏数据规模下显著提升跨架构泛化性能。
2025-01-07 cs.AI cs.LG
The Dataset Nutrition Label (2nd Gen): Leveraging Context to Mitigate Harms in Artificial Intelligence
Berkman Klein Center(伯克曼·克莱因中心);Harvard University(哈佛大学);metaLAB;Data Nutrition Project(数据营养项目);MIT Quest for Intelligence(麻省理工学院智能探索计划);MIT(麻省理工学院);Massachusetts College of Liberal Arts(马萨诸塞文理学院)
随着数据集的产生和对数据集的依赖以产生自动决策系统(ADS)的增加,对评估和询问基础数据的过程的需求也在增加。在2018年推出数据集营养标签后,数据营养项目对标签的设计和目的进行了重大更新,并将于2020年底推出更新后的标签,本文对此进行了预览。新标签包括通过更新的设计和针对数据科学家配置文件的用户界面呈现的特定于上下文的用例和警报。本文讨论了标签旨在减轻的基础训练数据的危害和偏差,工作的当前状态,包括正在标记的新数据集,新的和现有的挑战,以及工作的进一步方向,以及预览新标签的图。
2022-03-10 cs.AI cs.LG
An AI-Guided Data Centric Strategy to Detect and Mitigate Biases in Healthcare Datasets
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);University of Michigan Medical School(密歇根大学医学院);Beth Israel Deaconess Medical Center / Harvard Medical School(贝斯以色列女执事医疗中心/哈佛医学院);IBM Research(IBM研究院)
针对医疗算法可能延续对弱势群体偏差的问题,提出以数据为中心、模型与任务无关的AEquity指标评估数据集偏差,通过亚群体AEq值分析识别缓解两类医疗任务中的种族偏差,为推进医疗数据公平提供新工具。
2023-11-06 cs.AI cs.LG
FairFlow: Mitigating Dataset Biases through Undecided Learning
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对语言模型易受数据集偏差影响导致新数据性能下降的问题,提出FairFlow去偏差框架,通过扰动操作生成偏差视图结合对比目标学习鲁棒表征,在域外和难样本上优于现有方法且不影响域内性能。
2025-03-22 cs.AI cs.CL cs.LG
Stabilising Explainability Fragility in Cybersecurity AI: The Impact and Mitigation of Multicollinearity in Public Benchmark Datasets
Netrity Ltd(Netrity有限公司);University of Glasgow(格拉斯哥大学)
本文研究了在入侵检测(IDS)中使用AI可解释性时的一个未被探索但重要的漏洞:多重共线性导致的不稳定性。尽管广泛依赖于事后可解释性工具如SHAP或LIME,但相关特征对解释鲁棒性的影响未被评估。我们引入了一个正式定理,表明多重共线性会放大归因方差。这证明了在多重共线性下,解释和特征重要性是非可识别的。在代表性的基准数据集UNSW-NB15上,通过一系列全面的实验验证了该定理。评估了四种广泛使用的模型家族,包括线性、基于树的、核和神经网络模型,在基于VIF和相关性阈值的完整和剪枝特征集上。我们提出了新的指标Explanability Fragility Score,并提出了两种新的缓解方法,具有变量整合复杂度。CAA-Filtering专注于通过分组训练模型的归因来稳定解释。SHARP是一种新的训练时间正则化框架,通过惩罚归因不稳定性,使可解释性稳定性可控且单调提高。研究结果支持稳定的预测性能,使用Kendall's τ量化在重采样解释中的不稳定性。这项工作对XAI在安全关键领域中的可信度和可重复性有直接影响,并促使将多重共线性缓解措施纳入IDS流程,为从业者提供了一套指南。
2026-05-21 cs.AI cs.LG
High quality ECG dataset based on MIT-BIH recordings for improved heartbeats classification
Innovation Academy Mila(米拉创新学院);Abdelhafid Boussouf University Center(阿卜杜勒哈菲德·布苏夫大学中心);Badji Mokhtar-Annaba University(巴吉·穆克塔尔-安纳巴大学)
本文提出一种利用全部48个MIT-BIH recordings构建高质量ECG心跳数据集的方法,通过消除异常值和计算10秒窗口均值得到以QRS波为中心的独立心跳,训练的PyTorch 1-D Resnet模型准确率达99.24%,下采样还显著提升了执行效率并降低内存。
2024-10-27 cs.AI cs.LG eess.SP
Mitigating Bias in Dataset Distillation
University of California, Los Angeles(加州大学洛杉矶分校)
该研究发现数据集蒸馏会放大原始数据的颜色、背景偏差、抑制损坏偏差,提出基于核密度估计样本重加权的去偏差方法,在CMNIST等数据集上性能远超现有方法,为解决蒸馏偏差放大问题提供有效方案。
2024-07-10 cs.AI cs.CV cs.LG
Mitigating Dataset Bias by Using Per-sample Gradient
KAIST AI(韩国科学技术院人工智能学院);KAIST ISysE(韩国科学技术院工业与系统工程系)
深度神经网络的性能受到训练数据集设置的强烈影响。特别地,当存在与目标属性具有强相关性的属性时,训练的模型可以提供非预期的预先判断并显示出显著的推断错误(即,数据集偏差问题)。已经提出了各种方法来减轻数据集偏差,并且它们的重点是弱相关样本,称为偏差冲突样本。这些方法基于涉及人类或经验相关性度量的显式偏差标签(例如,训练损失)。然而,这些指标需要人力成本或理论解释不足。在这项研究中,我们提出了一种去偏置算法,称为PGD(基于每样本的去偏置),它包括三个步骤:(1)在均匀批量采样上训练模型,(2)设置每个样本的重要性与样本梯度的范数成比例,(3)使用重要批量采样训练模型,其概率在步骤(2)中获得。与各种合成和真实世界数据集的现有基线相比,所提出的方法在分类任务中显示出最先进的准确性。此外,我们描述了关于PGD如何减轻数据集偏差的理论理解。
2023-02-10 cs.LG
Mitigating Dataset Harms Requires Stewardship: Lessons from 1000 Papers
Princeton University(普林斯顿大学)
机器学习数据集引发了对隐私、偏见和不道德应用的担忧,导致DukeMTMC、MS-Celeb-1 M和Tiny Images等知名数据集被撤回。作为回应,机器学习社区呼吁在数据集创建中制定更高的道德标准。为了帮助为这些工作提供信息,我们研究了三个有影响力但存在道德问题的人脸和人物识别数据集-- Labeled Faces in the Wild(LFW)、MS-Celeb-1 M和DukeMTM --通过分析近1000篇引用它们的论文。我们发现,衍生数据集和模型的创建、更广泛的技术和社会变革、许可证的不明确以及数据集管理实践可能会带来广泛的伦理问题。最后,我们提出了一个分布式的方法来减轻伤害,考虑整个生存周期的数据集。
2021-11-21 cs.CY cs.LG
Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Cross-dataset Generalization Ability
Tencent(腾讯);Harbin Institute of Technology(哈尔滨工业大学)
自然语言推理(NLI)旨在预测给定前提和假设对之间的关系。然而,一些工作已经发现,在NLI数据集中广泛存在一种称为注释伪影的偏差模式,使得仅通过查看假设来识别标签成为可能。这种不规则性使得评价结果被高估,影响了模型的泛化能力。在本文中,我们考虑一个更值得信赖的设置,即,跨数据集评估。我们探讨了跨数据集测试中注释工件的影响。此外,我们提出了一个培训框架,以减轻偏见模式的影响。实验结果表明,该方法能有效地消除伪影对模型的负面影响,提高模型的泛化能力。
2019-10-05 cs.CL cs.LG
Mitigating Extrinsic Gender Bias for Bangla Classification Tasks
Ahsanullah University of Science and Technology(阿沙努拉科学与技术大学);University of California, Riverside(加州大学河滨分校)
本文研究了孟加拉语预训练语言模型中的外在性别偏见,构建了四个任务特定的基准数据集,并提出RandSymKL方法以缓解偏见,实验表明其能有效减少偏见并保持高准确率。
2026-05-16 cs.AI cs.CL cs.LG
A novel dataset and a two-stage mitosis nuclei detection method based on hybrid anchor branch
Guilin University of Electronic Technology(桂林电子科技大学);Guangxi Key Laboratory of Image and Graphic Intelligent Processing(广西图像图形智能处理重点实验室);Ganzhou Municipal Hospital(赣州市立医院)
有丝分裂检测是计算病理学中具有挑战性的问题之一,有丝分裂计数是病理学家进行肿瘤分级的重要指标。然而,目前有丝分裂核的计数依赖于病理学家在显微镜下观察热点中有丝分裂核的数量,这是主观的和耗时的。在本文中,我们提出了一个两级级联网络,名为FoCasNet,有丝分裂检测。在第一阶段,提出了一个名为M_det的检测网络,以检测尽可能多的有丝分裂。在第二阶段,提出了一个分类网络M_class来细化第一阶段的结果。此外,还引入了注意力机制、归一化方法和混合锚分支分类子网,提高了整体检测性能。我们的方法在公共数据集ICPR 2012上获得了当前最高的F1分数0.888。我们还在我们的研究团队首次发布的GZMH数据集上对我们的方法进行了评估,并达到了最高的F1分数0.563,这也优于目前广泛使用的多个经典检测网络。验证了该方法的有效性和推广性。该代码将在https://github.com/antifen/mitosis-nuclei-detection上提供。
2023-01-18 cs.AI cs.CV
Understanding and Mitigating Dataset Corruption in LLM Steering
Department of Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校计算机科学系);Kahlert School of Computing, University of Utah(犹他大学凯尔特计算学校)
研究对比引导在数据集损坏下的鲁棒性,发现其对中等损坏较稳健,但恶意篡改会引发副作用,通过替换高维均值计算为鲁棒估计器可缓解影响。
2026-03-03 cs.AI cs.CL cs.LG
Mitigating the Bias of Centered Objects in Common Datasets
Peter Pazmany Catholic University(彼得·帕兹曼尼天主教大学)
本文指出常见数据集存在物体居中偏差,导致卷积网络在物体接近边界时准确率显著下降,并提出利用数据增强技术有效缓解该问题。
2023-08-04 cs.CV cs.LG
A Novel Dataset and a Deep Learning Method for Mitosis Nuclei Segmentation and Classification
Guilin University of Electronic Technology(桂林电子科技大学);Guangxi Key Laboratory of Image and Graphic Intelligent Processing(广西图像图形智能处理重点实验室);Ganzhou Municipal Hospital(赣州市人民医院)
有丝分裂核计数是乳腺癌病理诊断的重要指标之一。人工注释需要有经验的病理学家,这是非常耗时和低效的。随着深度学习方法的发展,出现了一些性能较好的模型,但泛化能力还有待进一步加强。在本文中,我们提出了一个两阶段的有丝分裂分割和分类方法,命名为SCMitosis。首先,通过提出的深度可分离卷积残差块和通道空间注意门实现了高召回率的分割性能。然后,一个分类网络级联,以进一步提高有丝分裂细胞核的检测性能。在ICPR 2012数据集上对该模型进行了验证,与现有算法相比,获得了最高的F-score值0.8687.此外,该模型在本课题组准备的GZMH数据集上也取得了良好的性能,该数据集将随着本文的发表而首次发布。该代码将在https://github.com/antifen/mitosis-nuclei-segmentation上提供。
2022-12-27 cs.AI cs.CV
Mitigation of Diachronic Bias in Fake News Detection Dataset
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学)
假新闻对社会造成了巨大的危害,为了应对这些假新闻,人们进行了一些关于建立检测模型和安排数据集的研究。大多数假新闻数据集都依赖于特定的时间段。因此,在这样的数据集上训练的检测模型很难检测到由政治变化和社会变化产生的新的假新闻;它们可能会导致输入的有偏见的输出,包括特定的人名和组织名称。我们将此问题称为\textbf{Diachronic Bias},因为它是由每个数据集中新闻的创建日期引起的。在这项研究中,我们证实了偏见,特别是专有名词,包括人名,从每个数据集的短语出现的偏差。基于这些发现,我们提出了使用Wikidata的掩蔽方法来减轻人名的影响,并通过域内和域外数据的实验来验证它们是否使假新闻检测模型鲁棒。
2021-08-28 cs.CL cs.LG
An Empirical Study of Modular Bias Mitigators and Ensembles
Carnegie Mellon University(卡内基梅隆大学);IBM Research(IBM研究)
有几种偏差缓解器可以减少机器学习模型中的算法偏见,但不幸的是,当在不同的数据分割中测量时,缓解器对公平性的影响往往不稳定。一种流行的训练更稳定的模型的方法是集成学习。集成,如bagging,boosting,voting或stacking,已经成功地使预测性能更加稳定。因此,有人可能会问,我们是否可以结合偏见缓解和合奏的优势?为了探索这个问题,我们首先需要偏见缓解器和合奏一起工作。我们构建了一个开源库,支持10个缓解器、4个集成及其相应的超参数的模块化组合。基于这个库,我们对13个数据集的组合空间进行了经验探索,包括公平文献中常用的数据集以及我们库新策划的数据集。此外,我们将结果提炼成从业者的指导图。我们希望本文将有助于提高稳定性的偏见缓解。
2022-02-01 cs.CY cs.LG
AGR: Age Group fairness Reward for Bias Mitigation in LLMs
Beijing Electronic Science and Technology Institute(北京电子科技学院)
针对 LLM 年龄偏见数据稀缺与公平微调不足的问题,本文构建 RLHF 数据集并提出年龄公平奖励 ARG,显著提升响应准确率并降低年龄组间性能差异。
2024-09-06 cs.AI cs.CL cs.LG
MiDeSeC: A Dataset for Mitosis Detection and Segmentation in Breast Cancer Histopathology Images
Ankara University(安卡拉大学);Mehmet Akif Ersoy University(梅赫梅特·阿基夫·埃尔索伊大学)
本文提出MiDeSeC数据集,基于25位乳腺癌患者H&E染色切片构建50个1024×1024区域、含500余个有丝分裂标注,用于有丝分裂检测与分割研究。
2025-07-18 cs.AI cs.CV eess.IV
Through a fair looking-glass: mitigating bias in image datasets
University of Central Florida(中佛罗里达大学)
随着最近计算机视觉应用的增长,它们是否公平和公正的问题还有待探讨。有大量证据表明,训练数据中存在的偏差反映在模型中,甚至被放大。许多先前的用于图像数据集去偏置的方法,包括基于增强数据集的模型,实现起来在计算上是昂贵的。在这项研究中,我们提出了一种快速有效的模型,通过重建和最小化预期变量之间的统计依赖性来消除图像数据集的偏差。我们的架构包括一个U-网重建图像,结合一个预先训练的分类器,惩罚目标属性和受保护属性之间的统计依赖。我们在CelebA数据集上评估了我们提出的模型,并将结果与最先进的去偏置方法进行了比较,结果表明该模型实现了有希望的公平性-准确性组合。
2022-09-18 cs.AI cs.CV
Understanding and Mitigating Annotation Bias in Facial Expression Recognition
University of California, Los Angeles(加州大学洛杉矶分校)
计算机视觉模型的性能取决于其训练数据的大小和质量。最近的研究揭示了常见图像数据集中以前未知的成分偏差,这些偏差导致模型输出偏斜,并提出了减轻这些偏差的方法。然而,大多数现有的作品假设人类生成的注释可以被认为是黄金标准和公正的。在本文中,我们揭示了这种假设可能是有问题的,并且应该特别注意防止模型学习这种注释偏差。我们专注于面部表情识别,并比较实验室控制和野生数据集之间的标签偏差。我们证明了许多表情数据集在性别之间存在显著的注释偏差,特别是在快乐和愤怒的表情方面,并且传统方法无法完全减轻训练模型中的这种偏差。为了消除表情注释偏差,我们提出了一个AU校准的面部表情识别(AUC-FER)框架,利用面部动作单元(AU),并将三重损失的目标函数。实验结果表明,该方法是更有效地消除表达式注释偏见比现有的技术。
2021-08-19 cs.AI cs.CV cs.LG
Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond
Columbia University(哥伦比亚大学);HKUST(香港科技大学);Microsoft Research(微软研究院);University of California, Los Angeles(加州大学洛杉矶分校)
视觉语言理解任务通过多项选择题评估模型对复杂视觉场景的理解。然而,我们已经确定了两个数据集偏差,模型可以利用它们作为捷径,在没有适当理解的情况下正确解决各种VL任务。第一种类型的数据集偏差是\emph{Unbalanced Matching}偏差,其中正确答案与问题和图像的重叠比错误答案更多。第二种类型的数据集偏差是\emph{Distractor Similarity}偏差,其中不正确的答案与正确的答案非常不相似,但与同一样本中的其他不正确的答案非常相似。为了解决这些数据集偏差,我们首先提出了对抗性数据合成(ADS)来生成合成训练和去偏评估数据。然后,我们引入样本内反事实训练(ICT),以帮助模型利用合成的训练数据,特别是反事实数据,通过关注样本内的差异。大量的实验表明,ADS和ICT在不断提高模型性能在不同的基准测试,即使在域转移的情况下的有效性。
2023-10-31 cs.AI cs.CL cs.CV
BOrg: A Brain Organoid-Based Mitosis Dataset for Automatic Analysis of Brain Diseases
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出脑类器官有丝分裂数据集 BOrg,通过稀疏点标注和适配的目标检测与细胞计数模型,显著提升脑类器官有丝分裂分析的效率与准确性,助力神经发育障碍机制研究。
2024-06-27 cs.CV cs.LG eess.IV
A Flatter Loss for Bias Mitigation in Cross-dataset Facial Age Estimation
Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音与信号处理中心(CVSSP));University of Surrey(萨里大学)
现有的面部年龄估计研究大多假设训练图像和测试图像是在相似的拍摄条件下拍摄的。然而,这在现实世界的应用程序中很少有效,其中训练集和测试集通常具有不同的特征。在本文中,我们提倡一个跨数据集协议的年龄估计基准。为了提高跨数据集年龄估计的性能,我们减轻了由学习算法本身造成的固有偏差。为此,我们提出了一种新的损失函数,是更有效的神经网络训练。所提出的损失函数的相对平滑性是其相对于由随机梯度下降(SGD)执行的优化过程的优点。与已有的损失函数相比,新的损失函数具有更低的梯度,使得SGD收敛到更好的最优点,从而具有更好的推广性.跨数据集的实验结果表明,所提出的方法的优越性,在准确性和泛化能力方面的最先进的算法。
2020-10-26 cs.AI cs.CV
Are pathologist-defined labels reproducible? Comparison of the TUPAC16 mitotic figure dataset with an alternative set of labels
Freie Universität Berlin(柏林自由大学);Eindhoven University of Technology(埃因霍温理工大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);University Medical Center Utrecht(乌得勒支大学医学中心)
病理学家定义的标签是组织病理学数据集的金标准,而不考虑某些任务在一致性方面的众所周知的限制。迄今为止,已经有一些关于有丝分裂像的数据集可用,并用于开发有前途的基于深度学习的算法。为了评估这些算法的鲁棒性和方法的可重复性,有必要在几个独立的数据集上进行测试。这些可用数据集的不同标记方法的影响目前尚不清楚。为了解决这个问题,我们为TUPAC 16挑战的辅助有丝分裂数据集的图像提供了一组替代标签。除了手动有丝分裂像筛选外,我们还使用了一种新的算法辅助标记过程,可以最大限度地降低图像中缺失罕见有丝分裂像的风险。所有潜在的有丝分裂像由两名病理学家独立评估。新的公开可用的标签集包含1,999个有丝分裂图(+28.80%),另外还包括10,483个与有丝分裂图高度相似的细胞标签(硬例子)。我们发现使用标准深度学习目标检测架构比较原始标签集(0.549)和新的替代标签集(0.735)之间的F_1分数存在显著差异。在替代集上训练的模型显示出更高的总体置信度值,表明总体标签一致性更高。本研究的结果表明,病理学家定义的标签可能会有显着差异,导致模型性能的显着差异。在具有不同标记方法的独立数据集之间比较基于深度学习的算法应谨慎进行。
2020-07-10 cs.CV cs.LG eess.IV
Mitigating Overfitting in Supervised Classification from Two Unlabeled Datasets: A Consistent Risk Correction Approach
The University of Tokyo(东京大学);RIKEN(理化学研究所)
最近提出的未标记-未标记(UU)分类方法允许我们训练一个二元分类器,只有从两个未标记的数据集与不同的类先验。由于该方法基于经验风险最小化,因此它的工作原理就像是一种监督分类方法,与任何模型和优化器兼容。然而,这种方法有时会遭受严重的过拟合,我们希望在本文中防止。我们在应用原始UU方法时的经验发现是,过度拟合经常与经验风险为负同时发生,这是不合理的。因此,我们建议通过某些修正函数来包装导致负经验风险的项。然后,我们证明了校正后的风险估计的一致性,并得到了校正后的风险最小化的估计误差界。实验表明,我们的建议可以成功地减轻UU方法的过拟合,并显着提高分类精度。
2020-03-31 cs.LG stat.ML
OccamNets: Mitigating Dataset Bias by Favoring Simpler Hypotheses
Rochester Institute of Technology(罗切斯特理工学院);Adobe Research(奥多比研究院);University of Rochester(罗切斯特大学)
针对数据集偏差损害深度网络泛化的问题,提出具备两种归纳偏置的OccamNets架构,通过偏好简单假设提升鲁棒性,性能优于或匹敌现有最优方法,且与现有去偏方法结合可进一步提升效果。
2024-04-15 cs.LG
MITS: A Large-Scale Multimodal Benchmark Dataset for Intelligent Traffic Surveillance
organization= Data Science \& Artificial Intelligence Research Institute, China Unicom , city= Beijing , postcode= 100033 , country= PR China
提出首个面向智能交通监控的大规模多模态基准数据集MITS,包含17万张图像和500万问答对,微调主流LMMs显著提升其在ITS任务中的性能。
2025-09-10 cs.AI cs.CV
Are Bias Mitigation Techniques for Deep Learning Effective?
Rochester Institute of Technology(罗切斯特理工学院);Adobe Research(奥多比研究院);Cornell Tech(康奈尔科技学院)
本文提出改进的评估协议和新数据集,评估七种偏见缓解算法,发现现有方法存在利用隐藏偏见、无法扩展至多种偏见且对调优集敏感等问题。
2024-04-23 cs.AI cs.CV cs.LG
An Evaluation Framework for Network IDS/IPS Datasets: Leveraging MITRE ATT&CK and Industry Relevance Metrics
UNSW(新南威尔士大学)
针对现有IDS/IPS数据集评估忽略行业威胁代表性的问题,提出整合MITRE ATT&CK的多维评估框架,通过多类技术评估9个公开数据集,为行业适配的数据集选择提供标准化方案,提升AI驱动IDS/IPS实际部署效果。
2025-11-16 cs.CR cs.LG
A Principled Approach for Data Bias Mitigation
针对数据偏差影响机器学习决策的问题,提出一种具备可解释性与数学正确性保证的缓解框架,通过表发现补充元组,支持非二元标签、多敏感属性及交叉偏差,并在公开数据集上验证。
2025-07-24 cs.CY cs.LG
Discover and Mitigate Unknown Biases with Debiasing Alternate Networks
University of Rochester(罗切斯特大学);Kitware, Inc.(Kitware公司)
已经发现深度图像分类器可以从数据集中学习偏差。为了减轻偏差,大多数先前的方法需要受保护属性的标签(例如,年龄,肤色)作为全面监督,这有两个局限性:1)当标签不可用时,这是不可行的; 2)它们无法减轻未知的偏见-人类不会预先设想的偏见。为了解决这些问题,我们提出了去偏置交替网络(DebiAN),它包括两个网络-发现者和分类器。通过以替代方式进行训练,发现者尝试在没有任何偏差注释的情况下找到分类器的多个未知偏差,并且分类器旨在消除发现者识别的偏差。虽然以前的工作是根据单个偏差来评估去偏置结果,但我们创建了Multi-Color MNIST数据集,以更好地在多偏差设置中对多个偏差进行基准缓解,这不仅揭示了以前方法中的问题,而且还展示了DebiAN在同时识别和缓解多个偏差方面的优势。我们进一步在真实世界的数据集上进行了广泛的实验,表明DebiAN中的发现者可以识别人类可能难以发现的未知偏差。关于去偏置,DebiAN实现了强大的偏置缓解性能。
2022-09-07 cs.CV cs.CY cs.LG
SocialDF: Benchmark Dataset and Detection Model for Mitigating Harmful Deepfake Content on Social Media Platforms
Indraprastha Institute of Information Technology(印度普拉斯塔信息技术学院)
本文提出SocialDF数据集和基于LLM的多因素检测方法,通过融合人脸识别、语音转录和多智能体交叉验证来识别社交媒体上的有害深度伪造内容。
2025-06-05 cs.LG cs.MM
DataElixir: Purifying Poisoned Dataset to Mitigate Backdoor Attacks via Diffusion Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
DataElixir利用扩散模型消除触发器特征并恢复良性特征,通过识别标签转换和分布差异净化中毒数据集,在9种攻击上有效缓解后门攻击且对良性准确率影响极小。
2023-12-20 cs.AI cs.CR cs.CV
Generating Data to Mitigate Spurious Correlations in Natural Language Inference Datasets
University College London(伦敦大学学院);Microsoft Semantic Machines(微软语义机器公司);Allen Institute for AI(艾伦人工智能研究所)
自然语言处理模型通常利用数据集中与任务无关的特征和标签之间的虚假相关性,仅在它们所训练的分布中表现良好,而不能推广到不同的任务分布。我们建议通过生成数据集的去偏版本来解决这个问题,然后可以通过简单地替换其训练数据来训练去偏的现成模型。我们的方法包括:1)一种用于训练数据生成器生成高质量、标签一致的数据样本的方法; 2)一种过滤机制,用于去除导致虚假相关性的数据点,以z统计量衡量。我们生成SNLI和MNLI数据集的去偏版本,并在一个大型的去偏、分布外和对抗性测试集上进行评估。结果表明,在我们的去偏数据集上训练的模型在所有设置中都比在原始数据集上训练的模型更好。在大多数数据集上,我们的方法优于或执行先前最先进的去偏置策略,并且当与正交技术、专家产品相结合时,它进一步改进并优于SNLI硬和MNLI硬的先前最佳结果。
2022-03-24 cs.AI cs.CL cs.CY
Detection of Spider Mites on Labrador Beans through Machine Learning Approaches Using Custom Datasets
The University of Auckland(奥克兰大学);Centre for Automation and Robotic Engineering Science(自动化与机器人工程科学中心)
本研究提出一种基于YOLOv8和序列CNN的两阶段机器学习方法,利用RGBN数据检测拉布拉多豆上的蜘蛛螨,相比单阶段模型mAP提升3.6%,分类准确率较RGB平均提升6.25%。
2024-02-12 cs.AI cs.CV cs.RO
FairDeDup: Detecting and Mitigating Vision-Language Fairness Disparities in Semantic Dataset Deduplication
Oregon State University(俄勒冈州立大学);Adobe(奥多比公司)
本文提出 FairDeDup 算法,通过修改 SemDeDup 数据集去重方法,有效缓解了视觉-语言预训练模型中的社会偏见,在保持零样本性能的同时显著提升了公平性指标。
2024-04-24 cs.AI cs.CL cs.CV
Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing
School of Electrical and Computer Engineering, Purdue University(电子与计算机工程学院,普渡大学)
提出一种两阶段样本评分函数,通过解耦核心特征与虚假特征的学习动态来识别并优先选择信息性样本,从而在仅需10%原始数据的情况下,使用标准ERM模型超越现有去偏技术。
2026-06-01 cs.LG math.OC
Mitigating harm in language models with conditional-likelihood filtration
Cohere
在来自开放网络的大规模未经过滤的数据集上训练的语言模型从其训练数据中获得系统性偏见,偏见和有害观点。我们提出了一种以编程方式从网络规模数据集中识别和删除有害文本的方法。使用预训练的语言模型来计算以特定文档为条件的研究者编写的触发短语的对数似然,该对数似然用于从数据集中识别和过滤文档。我们证明,在这个过滤数据集上训练的模型生成有害文本的倾向较低,与未过滤的基线相比,标准语言建模基准的性能略有下降。我们提供了一个部分的解释,这种性能差距的表面仇恨言论和其他不良内容的标准语言建模基准的例子。最后,我们讨论了这种方法的推广,以及如何触发短语,反映特定的值可以被研究人员用来建立语言模型,更紧密地对齐他们的价值观。
2021-11-28 cs.CL cs.LG
Lost-in-the-Middle in Long-Text Generation: Synthetic Dataset, Evaluation Framework, and Mitigation
Beihang University(北京航空航天大学)
针对长输入到长输出生成中LLM忽略中间信息的问题,提出无需训练的RAL-Writer框架,通过规划器与写作者联合建模语义和位置偏差,动态检索并重述关键片段,构建基准数据集和三个评估指标,实验证明其有效性。
2026-09-15 cs.AI cs.CL
SAM for Robust Mitochondria Instance Segmentation in Fluorescence Microscopy
UiT The Arctic University of Norway(UiT北极大学)
通过仅在合成荧光显微镜数据上微调 SAM,解决了真实数据稀缺问题,提高了线粒体实例分割的精度和平均 Dice 分数。
2026-05-29 cs.AI cs.CV
Are You Learning Biological Signal or Shortcuts? Auditing and Mitigating Bias in Protein-Protein Interaction Datasets
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Technical University of Munich(慕尼黑工业大学);IEO European Institute of Oncology IRCCS(IEO欧洲肿瘤研究所IRCCS)
本研究系统审计PPI数据集中的多种偏差,提出结合相似性感知划分与偏差最小化负采样的Nextflow流水线,以缓解模型学习捷径而非生物信号的问题。
2026-09-10 cs.LG q-bio.MN
MIT-10M: A Large Scale Parallel Corpus of Multilingual Image Translation
School of Software, Tsinghua University(清华大学软件学院);Baidu Inc.(百度公司);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对现有图像翻译数据集规模、多样性和质量不足的问题,提出大规模多语言平行语料库MIT-10M,含超1000万对真实数据,经清洗验证,支持多尺寸、多类别、多难度和多语言,微调后模型性能提升三倍。
2024-12-16 cs.AI cs.CV
FairPlay: A Collaborative Approach to Mitigate Bias in Datasets for Improved AI Fairness
Department of Computer Science, Stony Brook University(计算机科学系,石英布鲁克大学)
针对AI决策中公平性标准冲突的问题,提出协作式去偏见工具FairPlay,通过战略互动协商达成共识,用户研究显示约五轮即可达成一致,有效提升AI公平性。
2025-04-22 cs.CY cs.HC cs.LG
Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models
Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Guangxi Zhuang Autonomous Region Big Data Research Institute(广西壮族自治区大数据研究院)
针对多模态大语言模型中复杂的关系幻觉问题,本文提出综合基准Reefknot进行系统评估,并设计基于置信度的缓解策略,使三个数据集上的幻觉率平均降低9.75%。
2025-05-30 cs.CL cs.CV cs.LG
Unbiased Math Word Problems Benchmark for Mitigating Solving Bias
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
在本文中,我们重新审视了当前数学应用题(MWP)基准评估模型时的解决偏差。然而,现有的求解器存在求解偏差,包括数据偏差和学习偏差,这是由于有偏见的数据集和不适当的训练策略。我们的实验验证了MWP求解器很容易被有偏见的训练数据集所偏见,这些训练数据集不涵盖所有MWP的每个问题叙述的不同问题,因此求解器只能学习浅层语义而不是深层语义来理解问题。此外,MWP可以通过多个等价方程自然求解,而当前数据集仅将其中一个等价方程作为地面真值,迫使模型匹配标记的地面真值,而忽略其他等价方程。在这里,我们首先介绍了一个新的MWP数据集,名为UnbiasedMWP,它是通过改变我们收集的数据中的接地表达式,并手动用相应的多个新问题注释它们而构建的。然后,为了进一步减轻学习偏差,我们提出了一种动态目标选择(DynamicTargetSelection,简称DTS)策略,该策略根据当前模型输出与候选等价方程之间的最长前缀匹配来动态选择更合适的目标表达式,该候选等价方程是在训练过程中应用交换律获得的。结果表明,我们的UnbiasedMWP比原始数据和其他数据集具有更少的偏差,为公平评估求解器的推理技能而不是匹配最近邻提供了一个有希望的基准。使用我们的BMPs训练的求解器在多个MWP基准测试中实现了更高的精度。源代码可在https://github.com/yangzhch6/UnbiasedMWP上获得。
2022-05-17 cs.AI cs.CL
Developing Linguistic Patterns to Mitigate Inherent Human Bias in Offensive Language Detection
Yildiz Technical University(耶尔德兹技术大学);Istanbul Technical University(伊斯坦布尔技术大学);University of Southern Denmark(南丹麦大学)
本文提出一种语言数据增强方法,利用机器辅助标注来减少冒犯性语言数据集中的人类偏见,从而提升多语言冒犯性语言分类的准确性与公平性。
2023-12-04 cs.AI cs.CL
Combining Public Human Activity Recognition Datasets to Mitigate Labeled Data Scarcity
University of Milan(米兰大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心)
本文提出结合公开HAR数据集学习广义模型,以减少在未见目标领域微调所需的标注数据量,实验证明该方法显著降低了达到满意性能所需的标注样本数。
2023-06-23 cs.CV cs.LG
Benchmarking SciDB Data Import on HPC Systems
SciDB是一个可扩展的计算数据库管理系统,使用数组模型进行数据存储。SciDB的阵列数据模型使其非常适合存储和管理大量成像数据。SciDB旨在支持数据库中的高级分析,从而减少提取数据进行分析的需求。它被设计为大规模并行,可以在高性能计算(HPC)环境中的商用硬件上运行。在本文中,我们提出了性能的SciDB使用模拟图像数据。动态分布式维度数据模型(D4M)软件用于在运行MIT SuperCloud软件栈的集群上实现基准测试。在该系统的单个节点上实现了每秒2.2M数据库插入的峰值性能。我们还表明,SciDB和D4M工具箱提供了更有效的方法来访问海量数据集的随机子卷相比,从单个文件读取体积数据的传统方法。这项工作描述了我们开发的D4M和SciDB工具,并提出了初步的性能结果。这种性能是通过使用并行插入、数据库内的数组合并以及超级计算技术(如分布式数组和单程序多数据编程)来实现的。
2016-09-24 cs.DB cs.DC cs.PF
Quest: Practical and Oblivious Mitigation Strategies for COVID-19 using WiFi Datasets
接触者追踪已成为防止COVID-19等流行病传播的主要缓解策略之一。最近,已经发起了若干努力来使用技术跟踪个人、他们的运动和交互,例如,蓝牙信标、蜂窝数据记录和智能手机应用程序。这样的解决方案通常是侵入性的,可能侵犯个人隐私权,并且通常受到法规的约束(例如,GDPR和CCPR),要求需要选择加入政策来收集和使用个人信息。在本文中,我们介绍了Quest,一个系统,使组织能够观察个人和空间,以被动和隐私保护的方式使用WiFi连接数据实施社交距离和联系人追踪政策。目标是确保组织中员工和占用者的安全,同时保护各方的隐私。Quest结合了计算和信息理论上的安全协议,防止对手获得个人位置历史的知识(基于WiFi数据);它包括支持准确识别在确诊患者附近的用户,然后通过选择机制通知他们。Quest支持一系列支持隐私保护的应用程序,以确保遵守社交距离、监控空间中的人员流动、识别可能受影响的区域并发出暴露警报。我们描述的体系结构,设计选择,并在Quest的建议的安全/隐私技术的实施。我们还验证了探索的实用性,并通过在加州大学欧文分校的实际校园规模部署超过50 M元组的一个非常大的数据集,彻底评估它。
2020-05-05 cs.CR cs.DB cs.DC