Auditing and Generating Synthetic Data with Controllable Trust Trade-offs
IBM(国际商业机器公司(IBM))
本文提出一个整体审计框架和可信度指数,用于评估合成数据集与生成模型在防偏差、保真度、效用、鲁棒性和隐私保护方面的权衡,并通过TrustFormers实现可控可信度的合成数据生成。
2024-06-09 cs.AI cs.LG stat.ML
Exploring the Impact of Dataset Bias on Dataset Distillation
Zhejiang University of Technology(浙江工业大学);Zhejiang University(浙江大学);Duke University(杜克大学)
首次系统研究了数据集偏差对数据集蒸馏的影响,构建了两个偏差数据集进行实验,发现原始数据集的偏差会显著影响合成数据集性能,并在偏差背景下重新定义了数据集蒸馏。
2024-03-24 cs.CV cs.LG
Quality-Diversity Generative Sampling for Learning with Synthetic Data
Serena Booth(2 塞雷娜·布思)
针对生成模型合成训练数据易传递偏差的问题,提出无需微调生成模型的质量-多样性生成采样框架,通过提示引导在多样性维度优化数据质量,实现数据均衡,提升分类器公平性且保持准确率。
2024-02-27 cs.CY cs.LG
Towards causal benchmarking of bias in face analysis algorithms
Massachusetts Institute of Technology(麻省理工学院);California Institute of Technology(加州理工学院);Amazon Web Services(亚马逊云科技)
度量算法偏见对于评估算法公平性和指导算法改进都是至关重要的。目前在计算机视觉中测量算法偏见的方法是基于观测数据集的,不足以完成这项任务,因为它们将算法偏见与数据集偏差混为一谈。为了解决这个问题,我们开发了一种用于测量人脸分析算法的算法偏见的实验方法,该方法直接操纵感兴趣的属性,例如,性别和肤色,以揭示属性变化和性能变化之间的因果关系。我们所提出的方法是基于生成合成的“横断面”的匹配样本图像,设计沿特定属性不同,而其他属性不变。我们的方法的一个关键方面是依赖于人类观察者的感知,既要指导操作,又要测量算法偏见。除了允许测量算法偏见之外,合成样带相对于观测数据集还有其他优势:它们更均匀地对属性进行采样,允许对少数群体和交叉群体进行更直接的偏差分析,它们能够预测新场景中的偏差,它们大大减少了伦理和法律挑战,并且它们经济快速,有助于使偏差测试负担得起并广泛使用。我们通过将其与采用传统观察方法分析性别分类算法中的偏见的研究进行比较来验证我们的方法。这两种方法得出不同的结论。虽然观察方法报告了性别和肤色偏见,但实验方法揭示了由于性别,头发长度,年龄和面部毛发造成的偏见。
2020-07-13 cs.CV cs.CY cs.LG
Mitigating Bias in Dataset Distillation
University of California, Los Angeles(加州大学洛杉矶分校)
该研究发现数据集蒸馏会放大原始数据的颜色、背景偏差、抑制损坏偏差,提出基于核密度估计样本重加权的去偏差方法,在CMNIST等数据集上性能远超现有方法,为解决蒸馏偏差放大问题提供有效方案。
2024-07-10 cs.AI cs.CV cs.LG
Balanced Face Dataset: Guiding StyleGAN to Generate Labeled Synthetic Face Image Dataset for Underrepresented Group
AIMS-AMMI(非洲数学科学研究所-非洲数学科学研究所(AMMI))
本文提出通过控制 StyleGAN 生成过程创建平衡的合成人脸数据集,以缓解代表性不足群体带来的机器学习偏见,并为下游任务提供标注。
2023-08-07 cs.AI cs.CV cs.LG
Mitigating Statistical Bias within Differentially Private Synthetic Data
University of Oxford(牛津大学);University of Warwick(华威大学);Universitat Pompeu Fabra(庞培法布拉大学);University of Kaiserslautern(凯泽斯劳滕大学);German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心)
对隐私保护机器学习的兴趣日益增加,导致了用于从未公开的真实数据生成私有合成数据的新的和进化的方法。然而,隐私保护机制可以显著降低合成数据的效用,这反过来又会影响下游任务,如学习预测模型或推理。我们提出了几个重新加权策略,使用私有化的似然比,不仅减轻下游估计的统计偏差,但也具有普遍适用性的差分私人生成模型。通过大规模的实证评估,我们表明,私人重要性加权提供了简单而有效的隐私兼容的合成数据的一般应用程序的增强。
2022-05-19 cs.CR cs.LG stat.ML
A Bias-Variance Decomposition for Ensembles over Multiple Synthetic Datasets
University of Helsinki(赫尔辛基大学)
本文推导了多合成数据集集成的偏差-方差分解理论,提出了选择合成数据集数量的经验法则,并验证了多数据集能提升准确率而单大数据集改进有限。
2025-04-25 cs.LG stat.ML
Investigating Bias with a Synthetic Data Generator: Empirical Evidence and Philosophical Interpretation
Intesa Sanpaolo S.p.A.(意大利联合圣保罗银行);Univ. of Milan-Bicocca(米兰比可卡大学)
机器学习应用在我们的社会中变得越来越普遍。由于这些决策系统依赖于数据驱动的学习,风险在于它们将系统地传播数据中嵌入的偏见。在本文中,我们建议通过引入一个框架来分析偏差,该框架用于生成具有特定类型偏差及其组合的合成数据。我们深入研究这些偏见的性质,讨论它们与道德和正义框架的关系。最后,我们利用我们提出的合成数据生成器在不同的情况下进行实验,各种偏见的组合。因此,我们分析了偏见对非缓解和缓解机器学习模型中的性能和公平性指标的影响。
2022-09-13 cs.AI cs.CY cs.LG
Downstream Fairness Caveats with Synthetic Healthcare Data
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文评估综合生成的医疗数据的偏见,并调查公平缓解技术效用公平的影响。隐私法限制对电子病历(EMR)等健康数据的访问,以保护患者隐私。尽管这些法律是必要的,但它们阻碍了研究的可重复性。合成数据是一种可行的解决方案,可以在没有隐私风险的情况下访问类似于真实医疗数据的数据。医疗保健数据集可能存在偏见,某些受保护的群体可能会比其他群体经历更糟糕的结果。由于真实数据存在偏差,综合生成的健康数据的公平性受到质疑。在本文中,我们评估了在两个医疗数据集上生成的性别和种族偏见模型的公平性。我们使用名为HealthGAN的生成对抗网络生成数据集的合成版本,并比较真实和合成模型的平衡准确性和公平性得分。我们发现,合成数据具有不同的公平性相比,真实数据和公平缓解技术的表现不同,突出表明,合成数据是没有偏见的。
2022-03-09 cs.LG
Transitioning from Real to Synthetic data: Quantifying the bias in model
Mastercard, India(万事达卡(印度))
随着生成式建模技术的出现,合成数据及其使用已经渗透到各个领域,从图像、文本等非结构化数据到结构化数据集建模医疗结果、金融领域的风险决策等等。它克服了各种挑战,如有限的训练数据,类不平衡,由于隐私问题而限制对数据集的访问。为了确保用于自动决策目的的训练模型做出公平的决策,存在量化和减轻这些问题的先前工作。本研究的目的是建立一个平衡的偏见和公平性之间的模型训练使用合成数据。研究了合成数据生成技术的变体,以理解包括差异私有生成方案的偏差放大。通过在表格数据集上的实验,我们证明了使用合成数据训练的模型存在不同程度的偏差影响。通过公平性度量,生成较少相关特征的技术表现良好,相对于真实数据集,DPD(人口统计学奇偶性差异)、EoD(机会均等)和EoP(机会均等)分别相对下降94%、82%和88%,DRP(人口统计学奇偶性比率)相对提高24%。我们相信,我们的研究成果将有助于数据科学从业者理解使用合成数据的偏见。
2021-05-10 cs.LG
MedEqualizer: A Framework Investigating Bias in Synthetic Medical Data and Mitigation via Augmentation
The Ohio State University(俄亥俄州立大学)
本研究评估了基于GAN的合成医疗数据在人口统计属性上的公平性,发现存在显著失衡,并提出模型无关的增强框架MedEqualizer,通过在生成前丰富代表性不足的子组来显著改善数据集的人口统计平衡。
2025-11-02 cs.LG
Measuring Bias in AI Models: An Statistical Approach Introducing N-Sigma
Universidad Autonoma de Madrid(马德里自治大学)
本研究针对AI系统中的偏差测量问题,提出将N-Sigma统计方法应用于机器学习模型,并在人脸识别技术上进行实验,为基于偏差分析的风险评估框架开发提供了新方法。
2023-05-24 cs.LG
Representative & Fair Synthetic Data
MOSTLY AI
算法基于它们所接触的训练数据来学习规则和关联。然而,教机器理解和预测世界的相同数据包含社会和历史偏见,导致有偏见的算法,一旦用于决策支持,就有进一步放大这些偏见的风险。另一方面,合成数据的出现,承诺提供无限量的代表性,现实的训练样本,可以进一步共享,而不会泄露个人受试者的隐私。我们提出了一个框架,将公平性约束到自监督学习过程中,允许然后模拟无限数量的代表以及公平的合成数据。这个框架提供了一个把手来管理和控制隐私以及人工智能内部的偏见,就在它的源头:训练数据。我们通过修改现有的生成模型架构并生成具有代表性的公平版本的UCI成人人口普查数据集来演示所提出的方法。虽然属性之间的关系被忠实地保留,但原始数据中固有的性别和种族偏见得到了控制。这通过比较在原始数据上训练的下游预测模型与公平的合成数据的倾向分数来进一步验证。我们认为代表性和公平的合成数据是一个有前途的未来构建块,不是在历史世界上教授算法,而是在我们努力生活的世界上。
2021-04-07 cs.LG stat.ML
Bias-Corrected Data Synthesis for Imbalanced Learning
Department of Biostatistics & Bioinformatics, Duke University(生物统计学与生物信息学系,杜克大学);Department of Electrical & Computer Engineering, Duke University(电气与计算机工程系,杜克大学);Department of Statistics, Rutgers University(统计学系,罗格斯大学);Department of Computer Science, Duke University(计算机科学系,杜克大学)
本文提出一种偏差校正的数据合成方法,用于提高不平衡学习中分类模型的预测准确性并减少过拟合风险。
2026-09-14 cs.LG stat.ME stat.ML
DECAF: Generating Fair Synthetic Data Using Causally-Aware Generative Networks
University of Cambridge(剑桥大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);The Alan Turing Institute(艾伦图灵研究所)
机器学习模型因在训练数据中反映不公平的偏见而受到批评。我们不是通过直接引入公平学习算法来解决这个问题,而是专注于生成公平的合成数据,这样任何下游学习器都是公平的。从不公平的数据生成公平的合成数据-同时保持对底层数据生成过程(DGP)的真实性-是不平凡的。在本文中,我们介绍了DECAF:一个基于GAN的公平合成数据生成器的表格数据。使用DECAF,我们将DGP显式地嵌入生成器的输入层中作为结构因果模型,允许每个变量以其因果父变量为条件进行重建。这个过程使推理时间去偏置,其中偏置的边缘可以被策略性地移除,以满足用户定义的公平性要求。DECAF框架是通用的,与几种流行的公平性定义兼容。在我们的实验中,我们表明,DECAF成功地消除了不必要的偏见,并与现有的方法相比,能够生成高质量的合成数据。此外,我们提供了理论保证的发电机的收敛性和下游模型的公平性。
2021-11-04 cs.LG stat.ML
AIM-Fair: Advancing Algorithmic Fairness via Selectively Fine-Tuning Biased Models with Contextual Synthetic Data
Queen Mary University of London(伦敦玛丽女王大学)
AIM-Fair提出利用上下文感知LLM引导扩散模型生成无偏合成数据,并通过选择性微调仅更新对偏差敏感的参数,从而在无人口统计标签条件下同时提升模型公平性与效用。
2025-03-07 cs.CV cs.LG
Temporal Task Diversity: Inductive Biases Under Non-Stationarity in Synthetic Sequence Modelling
University of Oxford(牛津大学)
研究探讨了在合成序列建模中,任务分布随时间变化对深度学习模型归纳偏置的影响,发现任务分布的多样性增强了模型对泛化而非记忆的偏好。
2026-05-18 cs.LG
Diffusing DeBias: Synthetic Bias Amplification for Model Debiasing
MaLGa-DIBRIS, University of Genoa, Italy(热那亚大学MaLGa-DIBRIS研究所);AI for Good (AIGO), Istituto Italiano di Tecnologia, Genova, Italy(意大利技术研究院AI for Good(AIGO));Telècom-Paris, Ecole Polytechnique Superior, France(巴黎电信高等学院);Department of Computer Science, University of Verona, Italy(威尼斯大学计算机科学系)
本文提出扩散去偏(DDB)方法,利用条件扩散模型生成合成偏差图像以放大偏差,并整合到无监督去偏流程中,在多个基准上超越现有技术,有效缓解模型偏差。
2025-10-24 cs.CV cs.LG
Bt-GAN: Generating Fair Synthetic Healthdata via Bias-transforming Generative Adversarial Networks
Linköping University(林雪平大学)
提出Bt-GAN,一种基于GAN的医疗合成数据生成器,通过信息约束生成过程解决虚假相关性,利用基于分数的加权采样保留子群体密度,在保持SOTA准确率的同时显著提升公平性。
2024-04-26 cs.AI cs.LG
Artificial Inductive Bias for Synthetic Tabular Data Generation in Data-Scarce Scenarios
Information Processing and Telecommunications Center(信息处理与电信中心);ETS Ingenieros de Telecomunicación(电信工程学院);Universidad Politécnica de Madrid(马德里理工大学)
针对深度生成模型生成合成表格数据依赖大量训练数据的问题,提出将人工归纳偏置结合迁移学习与元学习注入生成过程的方法,在低数据场景下显著提升生成数据质量,且模型无关,适用于医疗、金融等领域。
2025-07-31 cs.AI cs.LG
DiffInject: Revisiting Debias via Synthetic Data Generation using Diffusion-based Style Injection
Aim Future;Minds and Company;Maum AI;Sungkyunkwan University(成均馆大学)
本文提出 DiffInject,利用预训练扩散模型操纵潜在空间生成偏差冲突样本,在完全无监督条件下有效缓解数据集偏差。
2024-06-10 cs.AI cs.CV cs.LG
From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition
Boston University(波士顿大学)
针对图像识别模型易受虚假相关性影响的问题,提出从假到真(FFR)两步训练流程,先在平衡合成数据预训练,再用真实数据微调,在三个数据集上使最差组准确率较SOTA提升最高20%
2026-08-11 cs.CV cs.LG
Synthetic minority data is redundant or invalid: a data-dependent validity theory and a de-biased test
Faculty of Information Technology, Mutah University(穆塔大学信息技术学院);Department of Accounting, Mutah University(穆塔大学会计系)
研究类别不平衡学习中合成少数群体数据的有效性,提出去偏检验方法,证明有效性取决于数据,通过实验表明多数方法不满足标准,发布检验工具并颠倒举证责任,要求合成数据证明有效性和信息增益。
2026-07-24 cs.AI cs.LG
Imagining an Engineer: On GAN-Based Data Augmentation Perpetuating Biases
Arizona State University(亚利桑那州立大学)
使用生成对抗网络(GANs)生成的合成数据已经成为许多应用程序进行数据增强的一种非常流行的方法。虽然从业者庆祝这是一种经济的方式,以获得更多的合成数据,可用于训练下游分类器,但尚不清楚他们是否认识到这种技术的固有缺陷。在本文中,我们的目的是examinations从业人员对派生任何虚假的安全感对数据偏见的基础上数据增强。为了说明这一点,我们展示了从一个由工程研究人员的头像组成的数据集开始,基于GAN的增强“想象”合成工程师,其中大多数人具有男性特征和白色皮肤颜色(从亚马逊土耳其机器人进行的人类受试者研究中推断)。这表明了训练数据中固有的偏见是如何通过基于GAN的数据增强来加强,有时甚至被放大的;它应该作为外行从业者的警示故事。
2018-11-09 cs.AI cs.LG stat.ML
Debiasing Synthetic Data Generated by Deep Generative Models
Ghent University Hospital(根特大学医院);Ghent University(根特大学);imec(校际微电子中心)
针对深度生成模型生成的合成数据存在偏差、统计收敛慢、难以进行可靠推断的问题,提出结合去偏与靶向机器学习的去偏策略,提升了合成数据统计推断的可靠性与适用性。
2025-01-15 cs.LG stat.ML
Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models
LIDIA Group, CITIC, Universidade da Coruña(LIDIA小组、CITIC、科鲁纳大学)
本文指出二元回归模型存在“偏心偏差”导致关键情况下预测劣于随机,因传统 RMSE 无法捕捉此问题,故提出新指标 EAUC 量化偏差并验证其有效性,为系统公平性提供评估方法。
2025-05-28 cs.AI cs.IR cs.LG
Synthetic Prefixes to Mitigate Bias in Real-Time Neural Query Autocomplete
Walmart Global Technology(沃尔玛全球技术)
本研究提出一种基于合成前缀的数据驱动方法,缓解实时神经查询自动补全的呈现偏差,同时简化列表式损失优化训练效率,在电商场景中显著提升用户参与度,还可推广至其他低延迟排序任务的偏差缓解。
2025-10-02 cs.AI cs.CL cs.IR
An Analysis of the Deployment of Models Trained on Private Tabular Synthetic Data: Unexpected Surprises
Microsoft(微软);University of Brasilia(巴西利亚大学)
分布式私有(DP)合成数据集是训练机器学习模型的强大方法,同时尊重各个数据提供者的隐私。DP对最终训练模型的公平性的影响尚未得到很好的理解。在这篇文章中,我们系统地研究了差异化私人合成数据生成对分类的影响。我们分析了模型效用和偏见的差异所造成的合成数据集,通过算法的公平性度量。我们的第一组结果表明,尽管在我们评估的所有数据合成器中,隐私和效用之间似乎存在明显的负相关关系(越隐私,越不准确),但更多的隐私并不一定意味着更多的偏见。此外,我们还评估了利用合成数据集进行模型训练和模型评估的效果。我们表明,在合成数据上获得的结果可能会错误估计实际模型的性能,当它部署在真实数据上。因此,我们主张需要定义适当的测试协议的情况下,不同的私人合成数据集用于模型训练和评估。
2021-06-15 cs.CY cs.LG stat.ML
FairFinGAN: Fairness-aware Synthetic Financial Data Generation
University of Koblenz(科伦兹大学);Hanoi University of Science and Technology(河内科学技术大学);Banking Academy of Vietnam(越南银行学院);University of Sheffield(谢菲尔德大学)
FairFinGAN通过引入公平性约束生成公平且实用的合成金融数据,有效减少偏见并提升数据实用性。
2026-03-05 cs.LG
Generate synthetic samples from tabular data
AskExplain;University of Queensland(昆士兰大学)
从数据集生成新样本可以减少额外昂贵的操作,增加侵入性程序,并减轻隐私问题。当隐私受到关注时,这些统计上稳健的新型样本可以用作临时和中间替代品。这种方法可以实现更好的数据共享实践,而不会出现与识别问题或偏见有关的问题,这些问题是对抗攻击的缺陷。
2022-12-23 cs.CR cs.LG
On the notion of Hallucinations from the lens of Bias and Validity in Synthetic CXR Images
AIShield, Bosch Global Software Technologies(博世全球软件技术公司AIShield部门);Manipal Institute of Technology(马尼帕尔理工学院);AI Tech Ethics(AI技术伦理机构)
本研究利用RoentGen生成合成CXR图像,从偏差、有效性与幻觉角度评估生成结果,发现亚组性能差异、公平性问题及42%的COVID幻觉,为医学合成图像可解释性与患者安全研究提供新方向。
2023-12-12 cs.CV cs.LG eess.IV
Learning with Synthetic Data via SGD in High-Dimensional Linear Regression
Renmin University of China(中国人民大学);The University of Hong Kong(香港大学)
本研究通过高维线性回归中的SGD分析,发现混合训练合成数据导致模型崩溃,而两阶段训练可避免此问题,并提供了风险界、缩放定律及两阶段训练优于纯真实训练的充要条件。
2026-09-10 cs.AI cs.LG stat.ML
Towards Context-Agnostic Learning Using Synthetic Data
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
我们提出了一种新的学习设置,其中输入域是定义在两个集合的乘积上的映射的图像,其中一个集合完全确定标签。我们推导出一个新的风险约束,分解成一个偏差和一个错误项,并表现出令人惊讶的弱依赖于真实的标签。受这些结果的启发,我们提出了一种算法,旨在最大限度地减少偏差项利用的能力,从每一个独立的集的样本。我们将我们的设置应用于视觉分类任务,我们的方法使我们能够在完全由每个类的单个合成示例组成的数据集上训练分类器。在现实世界的图像分类的几个标准基准上,我们在上下文不可知的设置中实现了鲁棒的性能,具有对现实世界域的良好概括,而直接在现实世界数据上训练,而不使用我们的技术,则会产生对背景扰动很脆弱的分类器。
2021-12-07 cs.LG stat.ML
Synthetic Data in AI: Challenges, Applications, and Ethical Implications
Huazhong University of Science and Technology(华中科技大学)
本报告探讨了人工智能中合成数据的生成方法、跨领域应用及其面临的挑战与潜在偏见,并强调了在AI开发中确保公平、减轻偏见和维护伦理标准的迫切需求。
2024-01-03 cs.AI cs.CY cs.LG
On Biased Behavior of GANs for Face Verification
IIT Jodhpur(印度理工学院焦特布尔分校)
深度学习系统需要大量数据进行训练。用于训练人脸验证系统的数据集很难获得,并且容易出现隐私问题。由生成模型(如GANs)生成的合成数据可以是一个很好的替代方案。然而,我们发现从GANs生成的数据容易出现偏见和公平性问题。具体来说,在FFHQ数据集上训练的GANs在20-29岁的年龄组中显示出偏向于生成白人面孔的行为。我们还表明,合成的面孔会造成不同的影响,特别是种族属性,当用于微调人脸验证系统。
2023-01-05 cs.AI cs.CV cs.LG
Training the Untrainable: Introducing Inductive Bias via Representational Alignment
MIT CSAIL, CBMM(麻省理工学院计算机科学与人工智能实验室,CBMM);Department of Cognitive Science, Johns Hopkins University(约翰霍普金斯大学认知科学系)
提出引导方法,通过神经距离函数对齐目标网络与引导网络的逐层表征,迁移架构先验与知识,使传统不可训练架构(如全连接网络、普通RNN/CNN)在ImageNet等任务上显著提升性能,并可用于研究架构先验。
2025-10-23 cs.AI cs.CL cs.LG
An Effective Theory of Bias Amplification
UCLA(加利福尼亚大学洛杉矶分校);Meta FAIR;Concordia University(康考迪亚大学);Mila(米拉人工智能研究所)
本文针对机器学习中的偏差放大问题,在带或不带随机投影的岭回归框架下建立精确分析理论,解释模型与数据因素导致的群体性能差异,并经合成与半合成实验验证。
2025-03-18 cs.CY cs.LG stat.ML
When Can You Trust Your Synthetic Users? Diagnostics and Corrections for LLM Consumer Panels
Recast(Recast公司);Dell(戴尔)
针对LLM合成消费者面板的信任问题,提出分解偏差、诊断阈值与AIPW修正框架,经模拟及两个真实数据集验证,可有效识别并大幅降低偏差。
2026-10-27 cs.HC cs.LG
Algorithmic Factors Influencing Bias in Machine Learning
University College Dublin(都柏林大学学院)
公平地说,机器学习(ML)中的许多突出的偏见例子都来自训练数据中的偏见。事实上,有些人会认为监督ML算法不能有偏见,它们反映了训练它们的数据。在本文中,我们演示了ML算法如何通过低估来歪曲训练数据。我们展示了不可约的错误,正则化和功能和类的不平衡如何导致这种低估。本文最后演示了如何谨慎管理合成反事实可以改善这种低估偏差的影响。
2021-04-28 cs.LG stat.ML
Generative Adversarial Networks for Mitigating Biases in Machine Learning Systems
University of Montreal(蒙特利尔大学);Université du Québec en Outaouais(魁北克大学乌塔韦校区)
在本文中,我们提出了一个新的框架,以减轻偏见的机器学习系统。现有的缓解方法的问题在于,它们是面向模型的,在某种意义上,它们专注于调整训练算法以产生公平的结果,而忽略了训练数据本身可能是有偏差的结果的主要原因的事实。从技术上讲,在这种基于模型的方法中可以发现两个基本限制:1)在不降低机器学习模型的准确性的情况下无法实现缓解,以及2)当用于训练的数据在很大程度上存在偏差时,训练时间会自动增加,以便找到有助于产生公平结果的合适的学习参数。为了解决这些缺点,我们在这项工作中提出了一个新的框架,可以在很大程度上减轻机器学习系统中的偏见和歧视,同时提高这些系统的预测精度。所提出的框架是基于条件生成对抗网络(cGANs),它被用来从原始数据中生成新的具有选择性属性的合成公平数据。我们还提出了一个分析数据偏差的框架,这对于理解需要为每个人群进行综合采样和标记的数据的数量和类型非常重要。实验结果表明,该方法可以有效地消除不同类型的偏差,同时提高底层机器学习模型的预测精度。
2019-05-23 cs.LG stat.ML
Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias
University of Toronto(多伦多大学);Vector Institute(矢量研究院);University of Oxford(牛津大学)
本研究提出追踪多代模型诱导分布偏移的框架,发现其会引发性能与公平性下降等问题,同时提出算法补偿框架,通过构建代表性训练批次开展干预,为识别和缓解不公平反馈循环提供新思路。
2024-03-12 cs.LG
Opportunities and Challenges of Frontier Data Governance With Synthetic Data
Independent Researcher(独立研究者)
本文探讨了合成数据在解决数据访问问题中带来的治理与问责挑战,识别出恶意行为者增加、自发性偏见和价值漂移三大风险,并提出对抗性训练、偏见缓解和价值强化三项技术机制加以应对。
2025-06-01 cs.AI cs.CY cs.LG
Comparing Methods for Bias Mitigation in Graph Neural Networks
University of Bayreuth(拜罗伊特大学)
本文比较了数据稀疏化、特征修改和合成数据增强三种方法在GNN中缓解偏见的效果,发现基于GraphSAGE的分层采样与合成数据增强在平衡公平性与性能上最为有效。
2025-03-28 cs.LG
A Numerical Transform of Random Forest Regressors corrects Systematically-Biased Predictions
Fox Chase Cancer Center(福克斯蔡斯癌症中心);University of Kansas(堪萨斯大学)
在过去的十年中,随机森林模型已被广泛用作高维数据回归任务的鲁棒方法。在某种程度上,这些模型的流行是因为它们几乎不需要超参数调整,并且不太容易过拟合。随机森林回归模型由独立预测(连续)因变量值的决策树集合组成;最终对每个树的预测进行平均,以从森林中产生总体预测值。使用一套有代表性的现实世界的数据集,我们发现一个系统的偏差预测从随机森林模型。我们发现,这种偏差在简单的合成数据集中得到了重现,无论它们是否在数据中包含不可约的误差(噪声),但采用提升的模型并没有表现出这种偏差。在这里,我们展示了这个问题的基础,我们使用训练数据来定义一个数值变换,完全纠正它。应用这种变换在我们研究中评估的每一个真实世界和合成数据集上都得到了改进的预测。
2020-03-16 cs.LG q-bio.QM stat.ML
BP(λ): Online Learning via Synthetic Gradients
University of Bristol(布里斯托大学);University of Oxford(牛津大学)
本文受强化学习 accumulate TD(λ) 启发,提出完全在线的合成梯度学习算法 accumulate BP(λ),通过时序差分误差与资格迹混合控制偏差,避免 BPTT,并在多任务中优于原始方法。
2024-01-13 cs.LG
FairGen: Fair Synthetic Data Generation
Mastercard(万事达卡);Credgenics;GoTo Group(GoTo集团)
随着机器学习在银行、制药、教育技术等领域的日益普及,采用负责任的人工智能方法来确保模型不会不公平地歧视任何群体变得至关重要。由于缺乏干净的训练数据,生成对抗技术更适合生成合成数据,这些数据具有几种最先进的架构,这些架构在各个领域都很容易获得,从非结构化数据(如文本,图像)到结构化数据集建模欺诈检测等等。这些技术克服了诸如类不平衡、有限的训练数据、由于隐私问题而限制对数据的访问的若干挑战。专注于生成公平数据的现有工作要么适用于特定的GAN架构,要么很难在GANs之间进行调整。在本文中,我们提出了一个管道,以产生更公平的合成数据独立的GAN架构。本文提出了一种预处理算法,以识别和删除偏差诱导样本。特别是,我们声称,在生成合成数据时,大多数GANs会放大训练数据中存在的偏差,但通过删除这些偏差诱导样本,GANs本质上更关注真实的信息样本。我们在两个开源数据集上的实验评估展示了所提出的管道如何生成公平的数据,以及在某些情况下如何提高性能。
2022-12-01 cs.AI cs.CY cs.LG
In-Context Bias Propagation in LLM-Based Tabular Data Generation
Barcelona Supercomputing Center (BSC), Spain(巴塞罗那超级计算中心(BSC));IBM Research Ireland(IBM爱尔兰研究)
本文研究了基于LLM的表格数据生成中上下文偏见的传播问题,揭示了轻微偏见可能导致全局统计扭曲,并提出了缓解策略以提高公平性。
2026-10-22 cs.LG
FairWire: Fair Graph Generation
University of California, Irvine(加州大学欧文分校)
针对图数据中的结构性偏见,提出公平正则化器及公平图生成框架FairWire,有效缓解真实与合成图的结构性偏见。
2024-02-06 cs.CY cs.LG
A Practical Upper Bound on Selection Bias Effects in Medical Prediction Models
Stanford University(斯坦福大学)
针对选择偏差导致模型泛化性差的问题,提出在仅部分观测选择机制和目标分布的现实条件下,对目标群体最差模型性能的一个新上界,并通过合成数据和真实数据验证其有效性和实用性。
2026-05-30 cs.AI cs.LG stat.ML
Improving Machine Learning Performance with Synthetic Augmentation
University of California, Berkeley(加州大学伯克利分校)
本文研究合成增强在金融机器学习中缓解数据稀缺的作用,通过结构偏倚-方差权衡分析,发现其在方差主导的波动预测中有效,但在偏倚主导的预测中表现下降。
2026-04-16 cs.AI cs.LG stat.ML
FlashBias: Fast Computation of Attention with Bias
School of Software, Tsinghua University(清华大学软件学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对带偏置注意力计算效率低下的问题,本文基于低秩压缩感知理论提出FlashBias方法,实现快速精确或近似计算,在AlphaFold 3及视觉语言模型中取得显著加速且不损精度。
2025-10-24 cs.LG
Introducing topography in convolutional neural networks
ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);EHESS(法国高等社会科学研究院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Meta AI Research(Meta人工智能研究院)
大脑中负责感觉任务的部分是按地形组织的:附近的神经元对输入信号的相同属性做出反应。因此,在这项工作中,受神经科学文献的启发,我们提出了一种新的拓扑归纳偏置卷积神经网络(CNN)。为了实现这一点,我们引入了一种新的拓扑损失和一种有效的实现,以拓扑方式组织任何CNN的每个卷积层。我们在视觉和音频任务中的4个数据集和3个模型上对我们的新方法进行了基准测试,并显示出与所有基准测试相同的性能。此外,我们还展示了我们的地形损失的普遍性,以及它如何与CNN中的不同地形组织一起使用。最后,我们证明了添加地形诱导偏差使CNN更耐修剪。我们的方法提供了一种新的途径,以获得更高效的内存,同时保持更好的准确性的模型。
2022-10-28 cs.LG cs.NE cs.SD
Black-Box Optimization From Small Offline Datasets via Meta Learning with Synthetic Tasks
School of EECS, Washington State University, Pullman, WA, USA(华盛顿州立大学电子工程与计算机科学学院,普拉默,华盛顿州,美国)
本文提出了一种通过生成合成任务进行元学习的框架OptBias,用于解决小规模离线数据下的黑盒优化问题,通过学习可重用的优化偏差来提升小数据场景下的性能。
2026-05-20 cs.AI cs.LG