Relating Neural Text Degeneration to Exposure Bias
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学)
这项工作的重点是在基于神经的文本生成中的两个谜团:暴露偏差和文本退化。尽管曝光偏差被提及已有很长时间,并且对其补救措施进行了大量研究,但据我们所知,其对文本生成的影响尚未得到验证。文本退化是最近发现广泛使用的预训练的语言模型GPT-2遭受的问题(Holtzman等人,2020年)。基于文本退化的原因不明,本文试图将这两个谜团联系起来。具体来说,我们首先定性定量识别文本退化发生之前所犯的错误。然后,我们调查的重要性的错误,通过检查隐藏状态的GPT-2。我们的研究结果表明,文本退化很可能部分是由曝光偏见。我们还研究了文本退化的自我强化机制,解释了错误放大的原因。总之,本研究为进一步研究暴露偏差和文本退化问题提供了更具体的基础。
2021-09-17 cs.CL cs.LG
A$_3$B$_2$: Adaptive Asymmetric Adapter for Alleviating Branch Bias in Vision-Language Image Classification with Few-Shot Learning
Zhejiang University(浙江大学);Swansea University(斯旺西大学)
本文提出A₃B₂适配器,通过引入不确定性感知适配器阻尼机制,缓解少样本学习中的分支偏差问题,实验表明其在多个数据集上优于现有基线方法。
2026-05-15 cs.CV cs.LG
Rethinking Exposure Bias In Language Modeling
University of California San Diego(加州大学圣地亚哥分校)
暴露偏差描述了一种现象,即在教师强迫模式下训练的语言模型可能在推理阶段表现不佳,当其预测以其先前的预测为条件时,从训练语料库中看不到。最近,几种生成对抗网络(GANs)和强化学习(RL)方法被引入来缓解这个问题。尽管如此,RL和GANs训练中的一个共同问题是奖励信号的稀疏性。在本文中,我们采用了两个简单的策略,多范围增强,和多熵采样,放大和去噪的奖励信号。我们的模型在BLEU分数和道路考试方面优于竞争模型,这是我们设计的一个新指标,用于衡量语言模型对暴露偏差的鲁棒性。
2020-03-31 cs.CL cs.LG
Correcting Exposure Bias for Link Recommendation
Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学);Rutgers University(罗格斯大学);Amazon Web Services (AWS) AI Labs(亚马逊云科技(AWS)人工智能实验室)
链接预测方法经常应用于推荐系统中,例如,为学术论文或社交网络中的朋友建议引用。然而,当用户系统性地暴露于某些相关项目时,可能会出现暴露偏差。例如,在引文网络中,作者可能更有可能遇到来自自己领域的论文,从而优先引用它们。这种偏差可以通过简单训练的链接预测器传播,导致有偏差的评估和高泛化误差(如通过真实相关性评估的)。此外,反馈回路可能会加剧这种偏见。我们提出了估计,利用已知的曝光概率,以减轻这种偏见和随之而来的反馈回路。接下来,我们提供了一个损失函数,用于从数据中学习暴露概率。最后,基于真实世界引文网络的半合成数据的实验表明,我们的方法可靠地识别(真正)相关的引文。此外,我们的方法导致推荐论文的研究领域更加多样化。该代码可在https://github.com/shantanu95/exposure-bias-link-rec上获得。
2021-06-13 cs.LG
Alleviating neighbor bias: augmenting graph self-supervise learning with structural equivalent positive samples
Central South University(中南大学);National University of Defence Technology(国防科技大学);Changsha University of Science and Technology(长沙理工大学)
近年来,使用自监督学习框架来学习图的一般特征被认为是图表示学习的一个有前途的范例。图神经网络自监督学习策略的核心在于构造合适的正样本选择策略。然而,现有的GNN通常聚合来自相邻节点的信息以更新节点表示,导致过度依赖于相邻的正样本,即,嗜同性样品;而忽略长距离阳性样品,即,正样本在图上相距很远,但在结构上是等效的样本,我们称之为“邻居偏见”。“这种邻居偏差会降低GNN的泛化性能。在本文中,我们认为GNNs的泛化性能应该通过组合同质样本和结构等价样本来确定,我们称之为“GC组合假设”。因此,我们提出了一种拓扑信号驱动的自监督方法。它使用拓扑信息引导的结构等价抽样策略。首先,我们提取多尺度的拓扑特征,使用持久同源。然后根据节点对的拓扑特征计算其结构等价性。特别地,我们设计了一个拓扑损失函数来拉入表示空间中具有高结构等价性的非相邻节点对,以减轻邻居偏差。最后,我们使用联合训练机制来调整结构等价对模型的影响,以适应具有不同特征的数据集。我们在七个图数据集上对节点分类任务进行了实验。结果表明,拓扑信号增强策略可以有效地提高模型的性能。
2022-12-08 cs.AI cs.LG cs.NI
Minimize Exposure Bias of Seq2Seq Models in Joint Entity and Relation Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Kyoto University(京都大学);Hunan Normal University(湖南师范大学);Waseda University(早稻田大学)
实体和关系抽取联合抽取的目的是直接从纯文本中抽取关系三元组。先前的工作利用序列到序列(Seq2Seq)模型来生成三联体序列。然而,Seq2Seq对无序三元组强制执行不必要的顺序,并且涉及与错误累积相关联的大解码长度。这些引入暴露偏差,这可能导致模型过拟合频繁的标签组合,从而恶化泛化。我们提出了一种新的序列到无序多树(Seq2UMTree)模型,通过将解码长度限制为三个三元组内的三个,并删除三元组之间的顺序,以尽量减少曝光偏差的影响。我们在两个数据集DuIE和NYT上评估了我们的模型,并系统地研究了暴露偏倚如何改变Seq2Seq模型的性能。实验表明,最先进的Seq2Seq模型对两个数据集都过拟合,而Seq2UMTree显示出更好的泛化能力。我们的代码可在https://github.com/WindChimeRan/OpenJERE上获得。
2020-10-06 cs.AI cs.CL cs.LG
Modeling and Counteracting Exposure Bias in Recommender Systems
University of Louisville(路易斯维尔大学)
我们在网上发现和看到的东西,以及我们的观点和决定,越来越多地受到自动化机器学习预测的影响。同样,学习机器的预测准确性在很大程度上取决于我们提供给它们的反馈数据。这种相互影响可能导致闭环交互,这可能导致未知的偏差,在机器学习预测和用户反馈的多次迭代之后,这种偏差可能会加剧。机器造成的偏见有可能导致不良的社会影响,从两极分化到不公平和过滤泡沫。在本文中,我们研究了广泛使用的推荐策略,如矩阵分解固有的偏见。然后,我们模型的曝光,从用户和推荐系统之间的互动承担,并提出新的去偏置这些系统的策略。最后,我们试图减轻推荐系统的偏见工程解决方案的几个国家的最先进的推荐系统模型。我们的研究结果表明,推荐系统是有偏见的,并依赖于用户的事先曝光。我们还表明,研究的偏见迭代减少多样性的输出建议。我们的去偏置方法表明,需要考虑到曝光过程,以减少偏见的替代推荐策略。我们的研究结果表明,理解机器学习模型(如直接与人类交互的推荐系统)的性质并处理其中的偏见非常重要,因此对人类的发现和决策产生了越来越大的影响
2020-01-01 cs.IR cs.LG stat.ML
Alleviating the Transit Timing Variations bias in transit surveys. II. RIVERS: Twin resonant Earth-sized planets around Kepler-1972 recovered from Kepler's false positive
Université de Genève(日内瓦大学);Monash University(莫纳什大学);Disaitek;Universität Bern(伯尔尼大学)
凌日时变(TTV)可以通过对观测到的行星的质量和偏心率进行约束,甚至约束非凌日伴星的存在,为凌日观测系统提供有用的信息。然而,TTV也可以防止在过境调查中发现小行星,或使恢复的行星和过境参数产生偏差。在这里,我们表明开普勒-1972 c,最初是“不像凌日”的假阳性KOI-3184.02,是一颗地球大小的行星,其轨道受到开普勒-1972 b(最初是KOI-3184.01)的扰动。这对行星被锁定在一个3:2的平均运动共振中,在开普勒任务的持续时间内,每颗行星都显示出超过6小时振幅的TTV。这两颗行星有相似的质量$m_b/m_c =0.956_{-0.051}^{+0.056}$和半径$R_b=0.802_{-0.041}^{+0.042}R_{Earth}$,$R_c=0.868_{-0.050}^{+0.051}R_{Earth}$,整个系统,包括内部候选者KOI-3184.03,似乎是共面的。尽管信号很微弱(开普勒-1972 b每次凌日的信噪比为1.35,开普勒-1972 c为1.10),但我们使用RIVERS方法恢复了行星的凌日,基于使用机器学习识别河流图中的行星轨道,以及光动力学拟合的光变曲线。恢复正确的行星星历对于获得观测到的行星系的完整图像至关重要。特别是,我们表明,在开普勒-1972,不考虑行星-行星的相互作用产生的误差$\sim 30\%$的行星b和c的半径,除了产生在…
2022-01-27 astro-ph.EP cs.LG
Mitigating Exposure Bias in Risk-Aware Time Series Forecasting with Soft Tokens
School of Data Science, University of Virginia, Charlottesville, VA, USA(数据科学学院,弗吉尼亚大学,弗吉尼亚州夏洛特维尔)
SoTra通过软令牌缓解暴露偏差,提升风险感知时间序列预测的稳定性与准确性,减少临床风险15-18%。
2025-12-10 cs.LG
Alleviating the transit timing variation bias in transit surveys. I. RIVERS: Method and detection of a pair of resonant super-Earths around Kepler-1705
Université de Genève(日内瓦大学);Universität Bern(伯尔尼大学);Monash University(莫纳什大学)
凌日时间变化(TTV)可以为通过凌日观测到的系统提供有用的信息,因为它们允许我们对观测到的行星的质量和偏心率进行限制,甚至限制非凌日伴星的存在。然而,TTV也可以作为一个检测偏差,可以防止在过境调查中检测到小行星,否则将被标准算法检测到,如Boxed Least Square算法(BLS),如果它们的轨道没有受到干扰。这种偏差尤其存在于具有长基线的调查中,例如开普勒,一些TESS部门和即将到来的PLATO任务。在这里,我们介绍了一种检测方法,是强大的大TTV,并说明其使用恢复和确认一对共振的超级地球周围的开普勒1705 10小时的TTV。该方法是基于一个神经网络训练,以恢复低信号噪声比(S/N)扰动行星的河流图的轨道。我们通过拟合光变曲线来恢复这些候选者的过境参数。Kepler-1705 b和c的个别凌日S/N比所有先前已知的TTV为3小时或更长的行星低约三倍,推动了这些小型动态活跃行星的恢复边界。回收这类天体对于获得观测到的行星系的全貌和解决系外行星群统计研究中往往没有考虑到的偏差至关重要。此外,TTV是获得质量估计的一种手段,这对于研究凌日巡天发现的行星的内部结构至关重要。最后,我们表明,由于强烈的轨道摄动,它是可能的,开普勒-1705的外共振行星的自旋被困在一个亚或超同步自旋轨道共振。
2021-11-12 astro-ph.EP cs.LG
Elucidating the Exposure Bias in Diffusion Models
Utrecht University(乌得勒支大学);KU Leuven(鲁汶大学);Moonshot AI Ltd.(月之暗面人工智能有限公司)
本文系统研究扩散模型的暴露偏差问题,指出采样步预测误差是其根源,提出无需训练的Epsilon Scaling方法缓解该问题,在多框架实验中有效,ADM-ES在CIFAR-10上100步无条件生成FID达2.17。
2024-04-10 cs.AI cs.CV cs.LG
SongDriver: Real-time Music Accompaniment Generation without Logical Latency nor Exposure Bias
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Jingchu University of Technology(荆楚理工学院);Shandong University(山东大学)
实时的【形】音乐伴奏生成在音乐教育、现场演出等音乐行业有着广泛的应用。然而,自动实时的【形】音乐伴奏生成仍然是研究不足,往往面临着逻辑延迟和曝光偏差之间的权衡。在本文中,我们提出了SongDriver,一个实时的【形】音乐伴奏生成系统,没有逻辑延迟,也没有曝光偏差。具体来说,SongDriver将一个伴奏生成任务分为两个阶段:1)编曲阶段,其中Transformer模型首先实时的【形】为输入旋律编曲,并缓存和弦以供下一阶段使用,而不是播放它们。2)预测阶段,CRF模型根据先前缓存的和弦为即将到来的旋律生成可播放的多音轨音轨。通过这种两阶段策略,SongDriver直接为即将到来的旋律生成伴奏,实现零逻辑延迟。此外,在预测时间步长的和弦时,SongDriver会参考第一阶段缓存的和弦,而不是之前的预测,这避免了曝光偏差问题。由于输入长度通常在实时的【形】条件下受到约束,另一个潜在的问题是长期顺序信息的丢失。为了弥补这一缺陷,我们从当前时间步之前的长期音乐片段中提取四个音乐特征作为全局信息。在实验中,我们训练SongDriver在一些开源的数据集和原始的àiSong数据集建立从中国风格的现代流行音乐的分数。结果表明,SongDriver在客观和主观指标上都优于现有的SOTA(最先进的)模型,同时显著降低了物理延迟。
2022-10-13 cs.LG cs.MM cs.SD
FEB-Cache: Frequency-Guided Exposure Bias Reduction for Enhancing Diffusion Transformer Caching
针对扩散Transformer缓存加速中曝光偏差被放大导致生成质量下降的问题,提出基于频率引导的FEB-Cache联合缓存策略,分离缓存Attention与MLP以拟合降低曝光偏差,实现性能优化与加速兼顾。
2025-10-06 cs.CV cs.LG
Automatic Debiased Learning from Positive, Unlabeled, and Exposure Data
CyberAgent, Inc.(赛博艾坚特公司)
我们解决的问题,从积极的和未标记的数据(PU分类)的选择偏置的积极数据的二进制分类。在观察过程中,(i)样品暴露于用户,(ii)用户然后返回暴露样品的标签,以及(iii)然而,我们只能观察阳性样品。因此,我们观察到的阳性标记是暴露和标记的组合,这为观察到的阳性样本产生了选择偏倚问题。这种情况代表了许多实际应用的概念框架,例如推荐系统,我们称之为“从积极的,未标记的和曝光数据中学习”(PUE分类)。为了解决这个问题,我们首先假设访问带有暴露标签的数据。然后,我们提出了一种方法来识别使用强可扩展性假设的功能,并开发了一个“自动去偏PUE”(ADPUE)的学习方法。该算法直接消除选择偏差,而不需要中间估计,如倾向得分,这是其他学习方法所必需的。通过实验,我们证明了我们的方法优于传统的PU学习方法在各种半合成数据集。
2023-03-08 cs.LG stat.ML
Mitigating Exposure Bias in Score-Based Generation of Molecular Conformations
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);School of Physics, Ningxia University(宁夏大学物理学院)
本文针对分子构象生成中SGMs的暴露偏差问题,提出了测量方法并设计了补偿算法Input Perturbation (IP),显著提升了基于SGM的模型生成构象的准确性与多样性,并在GEOM-Drugs数据集上达到新SOTA。
2024-09-21 cs.AI cs.LG q-bio.BM
Mitigating Exposure Bias in Discriminator Guided Diffusion Models
Artificial Intelligence and Learning Systems Laboratory(人工智能与学习系统实验室);School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典国立技术大学)
针对判别器引导扩散模型中仍存在的暴露偏差问题,提出结合Discriminator Guidance与Epsilon Scaling的SEDM-G++采样方法,在CIFAR-10上取得1.73的FID,超越现有最优。
2023-11-18 cs.AI cs.CV cs.LG
Bias Detection in Emergency Psychiatry: Linking Negative Language to Diagnostic Disparities
Copenhagen University Denmark(丹麦哥本哈根大学);Mount Sinai School of Medicine USA(美国西奈山医学院)
研究通过分析急诊医生偏见暴露与心理诊断之间的关联,发现负面语言比例升高与精神分裂症诊断增加有关,并揭示了种族差异的潜在影响。
2026-04-13 cs.LG q-bio.OT
Exposure Bias as Epistemic Underidentification in Recursive Forecasting
University of Bristol(布里斯托大学)
本文证明递归多步预测中的曝光偏差不仅是分布偏移,更是部分可观测性下的认知欠识别问题,并提出基于来源变量的误差分解与校正方法。
2026-06-12 cs.LG
Input Perturbation Reduces Exposure Bias in Diffusion Models
Utrecht University(乌得勒支大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
本文提出输入扰动正则化方法,通过模拟推理误差来缓解扩散模型中的曝光偏差,在CelebA上取得SOTA FID 1.27并节省37.5%训练时间。
2023-06-18 cs.AI cs.CV cs.LG
On the Reliability of Sampling Strategies in Offline Recommender Evaluation
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);University of Gothenburg(哥德堡大学)
本文研究了离线推荐评估中日志记录与采样选择对评估可靠性的影响,利用完全观测数据集模拟曝光偏差,从四个维度评估采样策略,为选择忠实且鲁棒的离线评估策略提供实用指导。
2025-08-11 cs.IR cs.LG
MERIT: Mitigating Exposure Bias in Generative XMC for User-Interest Propensity Modeling
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊公司)
针对电商用户兴趣匹配的曝光偏差问题,提出MERIT框架,通过自校正目标缓解偏差,在25万+兴趣类数据集上提升召回率等指标,生产中用户转化率提升0.26%。
2026-09-01 cs.IR cs.LG
Robust Correction of Sampling Bias Using Cumulative Distribution Functions
California Institute of Technology(加州理工学院)
不同的域和有偏数据集可能导致训练分布和目标分布之间的差异,称为协变量偏移。目前用于缓解这种情况的方法通常依赖于估计训练和目标概率密度函数的比率。这些技术需要参数调整,并且在不同的数据集上可能不稳定。我们提出了一种新的方法来处理协变量的移动使用的经验累积分布函数估计的目标分布的一个严格的概括最近提出的想法Vapnik和Izmailov。此外,我们通过实验表明,我们的方法在预测方面更鲁棒,不依赖于参数调整,并且与当前最先进的合成和真实数据集技术相比,显示出类似的分类性能。
2020-10-23 cs.IT cs.LG math.IT
Improving Scheduled Sampling with Elastic Weight Consolidation for Neural Machine Translation
University of Cambridge(剑桥大学)
尽管在许多序列到序列任务中表现出色,但使用最大似然估计训练的自回归模型存在暴露偏差,即训练期间使用的地面实况前缀与推理时使用的模型生成的前缀之间的差异。预定采样是一种简单且经验上成功的方法,它通过将模型生成的前缀纳入训练来解决这个问题。然而,有人认为这是一个不一致的训练目标,导致模型完全忽略前缀。在本文中,我们进行了系统的实验,发现定时采样,虽然它改善了暴露偏差,通过增加模型对输入序列的依赖,在推理时的前缀是正确的,灾难性遗忘的一种形式时的性能。我们建议使用弹性权重合并来更好地平衡减轻暴露偏差与保留性能。在四个IWITAL '14和WMT'14翻译数据集上的实验表明,我们的方法消除了灾难性遗忘,并显着优于最大似然估计和预定的采样基线。
2023-01-10 cs.CL cs.LG
Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers
University of Louisville(路易斯维尔大学);Amazon(亚马逊);Meta
双向Transformer架构是最先进的顺序推荐模型,它使用基于完形填空任务的双向表示能力,也称为“完形填空”。屏蔽语言建模。后者旨在预测序列中随机掩蔽的项目。因为他们假设真正的互动项目是最相关的,暴露偏差的结果,其中具有低暴露倾向的非互动项目被认为是不相关的。最常见的方法,以减轻在建议的暴露偏差一直是逆倾向评分(IPS),其中包括降低权重的相互作用的预测在损失函数的比例,他们的暴露倾向,产生一个理论上无偏的学习。在这项工作中,我们认为,并证明IPS不扩展到顺序推荐,因为它没有考虑到问题的时间性质。然后,我们提出了一种新的倾向评分机制,理论上可以消除顺序推荐中完形填空任务的偏见。最后,我们实证证明了我们提出的方法的去偏置能力和它的鲁棒性的曝光偏差的严重程度。
2023-01-22 cs.IR cs.LG
EGEAN: An Exposure-Guided Embedding Alignment Network for Post-Click Conversion Estimation
Meituan(美团)
针对CVR估计中的协变量偏移问题,提出EGEAN嵌入对齐网络及带稳态控制的参数可变双重稳健估计器,并在美团广告系统的在线A/B测试中显著提升CVR与GMV。
2024-12-08 cs.AI cs.LG
Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One
Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);U. Montreal(蒙特利尔大学);Nanyang Technological University(南洋理工大学);Microsoft Research Asia(微软亚洲研究院);University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
自回归生成模型是常用的,特别是对于那些涉及序列数据的任务。然而,由于链式条件建模的固有特性,它们一直受到一系列固有缺陷的困扰(例如,暴露偏差或缺乏长期一致性),严重限制了它们正确建模分布的能力。在本文中,我们提出了一种称为E-ARM的独特方法,用于训练自回归生成模型,该模型利用了精心设计的基于能量的学习目标。通过利用softmax运算的额外自由度,我们可以使自回归模型本身成为一个基于能量的模型,用于测量输入的可能性,而无需引入任何额外的参数。此外,我们证明了E-ARM可以有效地训练,并且能够减轻曝光偏差问题,并增加自回归生成模型的时间相干性。广泛的实证结果,包括基准,如语言建模,神经机器翻译,图像生成,证明了所提出的方法的有效性。
2022-06-26 cs.CL cs.LG
Using Machine Bias To Measure Human Bias
The Chinese University of Hong Kong Business School(香港中文大学商学院)
本文提出一种基于机器学习的框架,在金标准标签稀缺时评估人类决策偏见,并通过理论保证与实证结果验证其优于现有方法。
2024-12-10 cs.LG
Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
通过表示学习将相关项目的集合从数十亿缩小到数百个的深度候选生成(DCG)在工业推荐系统中已经变得普遍。标准方法通过采样近似最大似然估计(MLE)以获得更好的可扩展性,并以类似于语言建模的方式解决DCG问题。然而,实时推荐系统面临严重的曝光偏差,并且具有比自然语言大几个数量级的词汇,这意味着MLE将在长期内保持甚至加剧曝光偏差,以便忠实地拟合观察到的样本。在本文中,我们从理论上证明了一个流行的选择对比损失是等效的,通过反向倾向加权减少暴露偏差,这为理解对比学习的有效性提供了一个新的视角。基于理论发现,我们设计了CLRec,一个对比学习方法,以改善DCG在公平性,有效性和效率方面的推荐系统,具有极大的候选大小。我们进一步改进CLRec,并提出多CLRec,准确的多意图感知偏见减少。我们的方法已经在淘宝上成功部署,至少四个月的在线A/B测试和离线分析证明了它的实质性改进,包括马太效应的显着减少。
2021-06-04 cs.IR cs.LG cs.SI
Localization Boosting for Growth Markets: Mitigating Cross-Locale Behavioral Bias in Learning-to-Rank
Adobe
本文提出一种多目标框架,结合行为监督、VLM相关性信号和本地化增强,以改善学习到排序中的本地内容可见性。
2026-05-11 cs.AI cs.IR cs.LG
Bias-Constrained Diffusion Schedules for PDE Emulations: Reconstruction Error Minimization and Efficient Unrolled Training
Technical University of Munich(慕尼黑工业大学)
本文提出适应性噪声调度和代理展开训练方法,通过减少重构误差和计算成本提升PDE仿真的短期精度和长期稳定性。
2026-04-10 cs.LG