A Formal Framework for Fluency-based Multi-Reference Evaluation in Grammatical Error Correction
The University of British Columbia(不列颠哥伦比亚大学);Open Writing Evaluation(开放写作评估);Université de Rennes(雷恩大学);The Chinese University of Hong Kong(香港中文大学);Trent University(特伦特大学);KAIST(韩国科学技术院)
本文提出一个形式化框架,将n-gram相似度聚合到多参考语法纠错评估中,通过四种策略实例化GLEU,并在多语言语料上验证其有效性与多样性。
2025-10-08 cs.CL
One Reference or Many? Rethinking Multi-Reference Training for Intermediate-Entropy Text Generation
IIIT Hyderabad(海得拉巴国际信息技术学院);Microsoft, India(微软印度);Sentisum
本研究针对自然语言生成中间任务,提出将多样化参考合并为统一训练信号的方法,并构建MERC-36K语料库验证其有效性,实验表明合并参考训练显著优于未合并参考。
2026-10-16 cs.CL
Reward Gaming in Conditional Text Generation
New York University(纽约大学);Google DeepMind(谷歌DeepMind)
本文揭示条件文本生成RL训练中三类奖励误配导致的奖励博弈问题,分析其放大机制并提出修复方向。
2023-06-01 cs.AI cs.CL cs.LG
CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation
Tsinghua University(清华大学);Tencent Inc.(腾讯公司);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院)
现有的无参考指标在评估受控文本生成模型时有明显的局限性。非监督度量只能提供与任务无关的评估结果,与人类判断弱相关,而监督度量可能过度拟合特定于任务的数据,对其他数据集的泛化能力较差。在本文中,我们提出了一个无监督的无参考度量称为CTRLEval,从不同的方面制定成多个文本填充任务的每个方面来评估控制的文本生成。在这些任务之上,度量从预训练的语言模型组装生成概率,而无需任何模型训练。实验结果表明,我们的度量有更高的相关性与人类的判断比其他基线,同时获得更好的泛化评估生成的文本从不同的模型和不同的质量。
2022-12-05 cs.AI cs.CL
Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis
National Taiwan University(台湾大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文通过邻域分析揭示文本分类中虚假相关性导致嵌入空间错误聚类,提出检测度量与NFL正则化方法,有效提升分类器鲁棒性。
2024-02-03 cs.CL
A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation
Peking University(北京大学);Tencent Cloud Xiaowei(腾讯云小微);Meta AI;Microsoft Corporation(微软公司)
像GPT-3这样的大型预训练生成模型经常会出现不存在或不正确的内容,这削弱了它们在实际应用中的潜在优势。现有的工作通常试图检测这些幻觉的基础上相应的甲骨文参考在一个句子或文档的水平。然而,对于许多自由形式的文本生成应用,地面实况参考可能不容易获得,并且句子级或文档级检测可能无法提供将实时的防止错误内容的细粒度信号。作为解决这些问题的第一步,我们提出了一种新的令牌级,无参考的幻觉检测任务和一个相关的注释数据集命名为HaDes(HAllucination检测数据集)。为了创建这个数据集,我们首先扰动了从英语维基百科中提取的大量文本片段,然后用众包注释验证这些文本片段。为了减轻标注过程中的标签不平衡,我们采用了迭代模型在环策略。我们进行全面的数据分析并创建多个基线模型。
2022-04-02 cs.AI cs.CL
Towards Verifiable Text Generation with Symbolic References
Massachusetts Institute of Technology(麻省理工学院);Good Data Initiative(好数据倡议)
针对大语言模型易产生幻觉、输出验证成本高的问题,提出符号锚定生成方法SymGen,通过在输出中穿插符号引用展示文本来源,在多类实验中验证了其可在保证文本流畅准确的同时提升人工验证效率。
2024-04-15 cs.AI cs.CL cs.LG
Resolving References in Visually-Grounded Dialogue via Text Generation
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对视觉落地对话中的指称消解难题,本文微调因果 LLM 生成融合上下文共指信息的有定描述,再由预训练 VLM 零样本识别所指对象,并在人工标注数据集上超过基线。
2023-09-23 cs.AI cs.CL cs.CV
Fighting Spurious Correlations in Text Classification via a Causal Learning Perspective
George Mason University(乔治梅森大学)
针对文本分类中模型依赖虚假相关性导致鲁棒性差的问题,提出因果校准鲁棒分类器CCR,结合反事实推理的因果特征选择与无偏逆倾向加权损失,有效降低对虚假特征的依赖,在无组标签方法中达到SOTA性能。
2025-02-01 cs.CL cs.LG
Identifying Spurious Correlations for Robust Text Classification
Illinois Institute of Technology(伊利诺伊理工学院);Tulane University(杜兰大学)
文本分类器的预测通常是由虚假的相关性驱动的,例如,术语“斯皮尔伯格”与正面评论的电影相关,即使该术语本身在语义上并不传达正面的情感。在本文中,我们提出了一种方法来区分虚假和真正的相关性在文本分类。我们将其视为一个监督分类问题,使用来自治疗效果估计的特征来区分虚假的相关性与“真正的”相关性。由于这些功能的通用性和它们的小维度,我们发现,即使有限的训练样本的方法工作得很好,它是可能的运输词分类到新的领域。在四个数据集(情感分类和毒性检测)上的实验表明,使用这种方法来通知特征选择也会导致更鲁棒的分类,这是通过改善受虚假相关影响的样本的最坏情况准确性来衡量的。
2020-10-06 cs.CL cs.IR cs.LG
CoBA: Counterbias Text Augmentation for Mitigating Various Spurious Correlations via Semantic Triples
DATUMO;AITRICS;Brainventures;Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(Chung-Ang大学高级影像科学、多媒体与电影研究生院);Department of Artificial Intelligence, Chung-Ang University(Chung-Ang大学人工智能系)
CoBA通过语义三元组层面的反偏增强,有效缓解多种虚假相关性,提升模型鲁棒性和任务性能。
2025-11-20 cs.AI cs.CL
Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers
Microsoft Research(微软研究院)
本文提出一种基于因果推断的正则化算法,控制文本分类器中特征的学习效应以匹配其因果效应,从而减少虚假相关性,在毒性评论和IMDB数据集上提升少数群体及总体准确率。
2023-06-21 cs.CL cs.LG
Explore Spurious Correlations at the Concept Level in Language Models for Text Classification
College of Information Studies, University of Maryland(马里兰大学信息研究学院);Department of Computer Science, University of Maryland(马里兰大学计算机科学系)
针对文本分类语言模型依赖概念—标签虚假相关性的问题,本文用ChatGPT标注概念并评估偏差,同时提出结合反事实生成的数据再平衡方法,效果优于传统词元移除。
2024-06-16 cs.AI cs.CL
Self-consistent Reasoning For Solving Math Word Problems
Sun Yat-Sen University(中山大学);University of Chinese Academy of Sciences(中国科学院大学);SIAT, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对数学应用题中输入与输出间的虚假相关问题,提出自洽推理框架SCR,通过剪枝策略和对称KL散度校准输出分布偏移并生成等价表达式,显著优于强基线方法。
2024-02-17 cs.CL
Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective
Fudan University(复旦大学);KTH Royal Institute of Technology(KTH皇家理工学院);Nanyang Technological University(南洋理工大学)
自然语言理解(NLU)模型往往依赖于虚假的相关性(即,数据集偏差),以在分布内数据集上实现高性能,但在分布外数据集上性能较差。大多数现有的去偏置方法通常识别并削弱具有偏置特征的这些样本(即,导致这种虚假相关的表面特征)。然而,降低这些样本的权重会阻碍模型从这些样本的非偏置部分学习。为了应对这一挑战,在本文中,我们建议从特征空间的角度以细粒度的方式消除虚假相关性。具体来说,我们引入随机傅立叶特征和加权重采样来解相关特征之间的依赖关系,以减轻虚假相关。在获得去相关特征后,我们进一步设计了一种基于互信息的方法来净化它们,这迫使模型学习与任务更相关的特征。在两个研究充分的NLU任务上的大量实验表明,我们的方法优于其他比较方法。
2022-09-13 cs.AI cs.CL cs.IT
Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models
University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
最近,NLP模型在各种任务中取得了显着的进展;然而,它们也因不健壮而受到批评。许多鲁棒性问题可以归因于利用虚假相关性的模型,或者训练数据和任务标签之间的捷径。大多数现有的工作通过人类先验或错误分析确定了一组有限的特定于任务的捷径,这需要大量的专业知识和努力。在本文中,我们的目标是自动识别大规模NLP模型中的这种虚假相关性。我们首先利用现有的可解释性方法从输入文本中提取显著影响模型决策过程的标记。然后,我们通过分析跨多个语料库的模型预测来区分“真正的”令牌和“虚假的”令牌,并通过知识感知扰动进一步验证它们。我们表明,我们提出的方法可以有效地和高效地识别一组可扩展的“捷径”,并减轻这些导致在多个应用程序中更强大的模型。
2022-05-25 cs.CL
UNMASK: Discovering and Causally Verifying Spurious Shortcuts in Text Classifiers
University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出UNMASK自动化流程,可发现并因果验证文本分类器的虚假相关性,在MNLI、CivilComments-WILDS等数据集上提升模型性能,还可推广至奖励模型偏好数据。
2026-08-11 cs.CL cs.LG
Mitigating Backdoor Poisoning Attacks through the Lens of Spurious Correlation
University College London(伦敦大学学院);University of Melbourne(墨尔本大学);Google DeepMind(谷歌DeepMind)
本文从虚假相关性的视角研究后门投毒攻击,提出利用恶意触发器与目标标签间的高度相关性来过滤问题实例,显著降低攻击成功率,对插入式攻击实现近乎完美的防御。
2023-10-20 cs.CL cs.CR
Beyond Spurious Signals: Debiasing Multimodal Large Language Models via Counterfactual Inference and Adaptive Expert Routing
School of Computer Science, Peking University(北京大学计算机科学学院);MOE Key Laboratory of Computational Linguistics, Peking University(北京大学教育部计算语言学重点实验室);National Key Laboratory for Multimedia Information Processing, Peking University(北京大学国家多媒体信息处理重点实验室)
本文提出基于因果中介的多模态大语言模型去偏框架,利用反事实示例区分核心语义与虚假上下文,并结合动态路由的专家混合架构,在讽刺检测和情感分析任务上显著超越现有方法。
2025-09-18 cs.AI cs.CL cs.MM
ASPIRE: Language-Guided Data Augmentation for Improving Robustness Against Spurious Correlations
University of Maryland(马里兰大学)
ASPIRE 利用语言引导的数据增强生成不含虚假特征的图像,在不依赖组标签的情况下提升模型对虚假相关性的鲁棒性,并在多个数据集上显著改善最差组分类准确率。
2024-06-07 cs.AI cs.CL cs.CV
REFeREE: A REference-FREE Model-Based Metric for Text Simplification
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对文本简化缺乏通用质量标准及参考数据稀缺的问题,提出无参考模型度量REFeREE,通过3阶段课程和可扩展预训练适应不同质量标准,在预测总体和特定评分上优于或媲美现有基于参考的度量。
2024-03-26 cs.CL
Data-QuestEval: A Referenceless Metric for Data-to-Text Semantic Evaluation
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);BNP Paribas(法国巴黎银行);reciTAL;Criteo AI Lab(Criteo人工智能实验室)
QuestEval是文本到文本任务中使用的无参考指标,通过自动提问和回答问题,将生成的摘要直接与源文本进行比较。它的适应数据到文本的任务是不简单的,因为它需要多模式的问题生成和搜索系统上考虑的任务,这是很少可用的。为此,我们提出了一种方法来建立合成多模态语料库,使训练多模态组件的数据QuestEval度量。由此产生的度量是无参考和多模态的;它在WebNLG和WikiBio基准测试中获得了与人类判断的最新相关性。作为QuestEval项目的一部分,我们提供data-QuestEval的代码和模型用于可重复性目的。
2021-09-07 cs.CL
Interpretable Privacy Preservation of Text Representations Using Vector Steganography
Purdue University(普渡大学)
由语言模型(LM)生成的上下文单词表示学习训练语料库中存在的虚假关联。最近的研究结果表明,对手可以利用这些协会逆向工程的私人属性中提到的语料库。这些发现促使人们努力将语言模型的隐私风险降到最低。然而,现有的方法缺乏可解释性,妥协的数据效用,并未能提供隐私保障。因此,我博士研究的目标是开发可解释的方法来保护文本表示的隐私,在保证隐私的同时保留数据实用性。为此,我的目标是研究和开发方法,将隐写修改的矢量几何混淆潜在的虚假关联,并保留在训练过程中学到的分布语义属性。
2021-12-07 cs.AI cs.CL
MCTS: A Multi-Reference Chinese Text Simplification Dataset
Beijing Language and Culture University(北京语言大学)
本文针对中文文本简化研究缺乏通用评估数据的问题,提出了多参考数据集MCTS,评估了无监督方法与大语言模型,并提供了用于训练的平行数据。
2024-06-05 cs.CL
On the Limitations of Reference-Free Evaluations of Generated Text
Google Research(谷歌研究院);University of Pennsylvania(宾夕法尼亚大学)
有显着的兴趣,在开发的评估指标,准确地估计生成的文本的质量,而没有一个人写的参考文本的帮助下,这可能是耗时和昂贵的收集或完全不可用的在线应用程序。然而,在这项工作中,我们证明了这些无参考指标在评估生成的文本的能力方面存在固有的偏见和局限性,我们认为它们不应该用于衡量机器翻译或摘要等任务的进展。我们展示了无参考指标如何等同于使用一个生成模型来评估另一个生成模型,这有几个限制:(1)指标可以在测试时进行优化,以找到近似的最佳输出,(2)它们固有地偏向于与自己更相似的模型,(3)它们可能偏向于更高质量的输出,包括人类编写的输出。因此,我们建议使用无参考指标作为分析和理解模型行为的诊断工具,而不是测量模型执行任务的程度,其目标是尽可能获得高分。
2022-10-22 cs.CL
Evaluation of Coreference Rules on Complex Narrative Texts
本文研究的问题,评估的相关性,每一个规则的参考决议系统。这里描述的引用求解器源于引用的正式模型,并集成在引用处理工作台中。参考分辨率的评估是必不可少的,因为它可以对单个规则进行差异评估。这些措施的数值,并讨论,简单的选择规则和其他处理规则,这些措施,然后研究数值参数。
2002-08-21 cs.CL
Cooperation between Pronoun and Reference Resolution for Unrestricted Texts
本文将指代消解作为指代消解过程的一部分。提出了一个通用的开放式体系结构,该体系结构可以被特殊化和配置,以模拟一些经典的指代消解方法。为了提高代词的解析度,该系统利用了文本字符的基本线索,这些线索通过特定的数据结构来表示。在其最强大的配置中,该系统只使用一个通用词典,一个本地形态语法分析器和一个同义词词典。一个简短的对比语料库分析表明,叙事文本是最适合测试这样一个系统。
2002-08-21 cs.CL
Location reference recognition from texts: A survey and comparison
German Aerospace Center (DLR)(德国航空航天中心);University of Zurich(苏黎世大学);University of Heidelberg(海德堡大学);University at Buffalo(布法罗大学);Chongqing University(重庆大学);Norwegian University of Science and Technology(挪威科技大学)
大量的位置信息存在于非结构化文本中,例如社交媒体帖子、新闻故事、科学文章、网页、旅游博客和历史档案。地理解析是指从文本中识别位置参考并识别其地理空间表示的过程。虽然地理解析可以使许多领域受益,但仍然缺少特定应用程序的摘要。此外,缺乏对现有位置参考识别方法的全面审查和比较,这是地理解析的第一个核心步骤。为了填补这些研究空白,本文首先总结了地理解析的七个典型应用领域:地理信息检索,灾害管理,疾病监测,交通管理,空间人文,旅游管理和犯罪管理。然后,我们回顾现有的方法进行位置参考识别,这些方法分为四组的基础上,其基本功能的原则:基于规则,地名词典匹配为基础的,基于统计学习,和混合的方法。接下来,我们彻底评估了27种最广泛使用的位置参考识别方法的正确性和计算效率,这些方法基于26个具有不同类型文本的公共数据集(例如,社交媒体帖子和新闻报道),其中包含世界各地的39 736个地点参考。这种全面评估的结果可以帮助为位置参考识别的未来方法发展提供信息,并可以帮助指导根据应用需求选择适当的方法。
2022-07-04 cs.CL
Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室)
本文实证研究ChatGPT等大型语言模型在无参考文本质量评估中的有效性,比较三类方法后发现显式评分法最有效可靠,并指出直接比较两段文本质量可能产生次优结果。
2023-09-18 cs.CL
Reference-less Quality Estimation of Text Simplification Systems
Facebook AI Research(脸书人工智能研究院);Inria(法国国家信息与自动化研究所)
文本简化(TS)系统的评估仍然是一个开放的挑战。由于任务与机器翻译(MT)具有共同点,因此TS通常使用诸如BLEU的MT度量来评估。然而,这样的度量需要高质量的参考数据,这对于TS是很少可用的。翻译支持系统的优势在于它是一个单语任务,可以在简化文本和原始文本之间进行直接比较。在本文中,我们基于QATS 2016共享任务所用的数据集,比较了多种方法来评估无参考的文本简化系统的质量。我们区分三个不同的维度:语法性,意义保存和简单。我们发现,基于n元语法的MT指标,如BLEU和METEOR与人类对语法性和意义保留的判断相关性最大,而简单性最好由基于长度的基本指标评估。
2019-01-30 cs.CL
Does Self-Rationalization Improve Robustness to Spurious Correlations?
Massachusetts Institute of Technology(麻省理工学院);Allen Institute for AI(艾伦人工智能研究所);University of Utah(犹他大学)
抽象化是人类推理和学习的基础。被训练来产生推理和预测的NLP模型,称为自我合理化模型,已经研究了它们对最终用户的可解释性和实用性。然而,在何种程度上与人类书面的理由培训促进学习仍然是一个未充分探讨的问题。我们要问的是,自我合理化的训练模型是否有助于他们学习以正确的理由解决任务。具体来说,我们评估了如何训练自合理化模型与自由文本的理由影响鲁棒性虚假的相关性微调编码器-解码器和解码器的六种不同大小的模型。我们通过测量1)手动注释的挑战数据集和2)原始测试集的子集的性能来评估对虚假相关性的鲁棒性,其中依赖虚假相关性将无法产生正确的答案。我们发现,虽然自我合理化可以提高鲁棒性虚假的相关性在低资源设置,它往往会伤害鲁棒性在较高的资源设置。此外,这些影响取决于模型系列和大小,以及基本原理内容。总之,我们的研究结果表明,可解释性可能会以健壮性为代价;因此,在训练自我合理化模型时应适当注意,以创建更值得信赖的模型。
2022-10-24 cs.AI cs.CL
Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics
Technical University of Munich(慕尼黑工业大学);Trinity College Dublin(都柏林圣三一学院);IBM(国际商业机器公司);Universitat de Barcelona(巴塞罗那大学)
尽管最近在摘要生成模型方面取得了广泛的进展,但对自动生成的摘要的评估仍然广泛依赖于单分数系统,不足以进行透明的评估和深入的定性分析。为了弥合这一差距,我们提出了多方面的可解释摘要评价方法(MISEM),这是基于分配的摘要的上下文令牌嵌入到语义主题中确定的参考文本。我们进一步贡献了一个可解释性工具箱,用于自动摘要评估和摘要评分,主题识别和令牌主题分配的交互式视觉分析。MISEM在TAC'08数据集上实现了与人类判断的.404皮尔逊相关性。
2022-10-25 cs.CL
The Devil Is in the Details: Tackling Unimodal Spurious Correlations for Generalizable Multimodal Reward Models
University of Chinese Academy of Sciences(中国科学院大学);Xiaohongshu Inc.(小红书公司)
针对多模态奖励模型因依赖单模态虚假相关性难以泛化分布外数据的问题,提出捷径感知学习算法,通过动态重加权样本等方式缓解问题,在多方面实现显著提升,构建更鲁棒的多模态奖励建模框架。
2025-05-21 cs.AI cs.CL
Identifying Reference Spans: Topic Modeling and Word Embeddings help IR
University of Houston(休斯顿大学)
CL-SciSumm 2016的共享任务引入了一个有趣的问题:给定一个文档D和一段引用D的文本,我们如何识别这段文本引用的D的文本跨度?共享任务提供了研究该问题的第一个带注释的数据集。我们提出了一个分析,我们继续努力,提高我们的系统的性能,这项任务。我们演示了如何主题模型和词嵌入可以用来超越以前最好的表现系统。
2017-08-09 cs.CL
Marking-up multiple views of a Text: Discourse and Reference
University "A.I.Cuza" Iasi(亚历山德鲁·伊万·库扎大学雅西分校);Vassar College(瓦萨学院);Loria-CNRS(洛里亚-法国国家科学研究中心)
我们描述了一个编码方案的话语结构和参考,TEI指南和语料库编码规范(CES)的建议的基础上。该方案的一个核心特征是基于CES的数据架构,能够对标记文档的多个视图进行编码和访问。我们描述了一个支持编码方案的工具架构,然后展示了我们如何使用编码方案和工具来执行语篇分析任务,以支持称为静脉理论的全球语篇衔接模型(Cristea & Ide,1998)。
2009-09-15 cs.CL
RevisEval: Improving LLM-as-a-Judge via Response-Adapted References
City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));McGill University(麦吉尔大学);MILA
本文提出 RevisEval 评估范式,通过让大语言模型自适应修订响应并生成响应自适应参考,以提升 LLM-as-a-Judge 的可靠性,实验证明其优于传统无参考和基于参考的评估方法,并能增强 BLEU、BERTScore 等经典指标。
2025-04-07 cs.CL
LC-Score: Reference-less estimation of Text Comprehension Difficulty
U31
针对文本理解难度评估指标缺失的问题,提出无参考的法语理解难度评估方法LC-Score,采用统计与神经两种路径,经人工标注实验验证效果优于FKGL等常用指标。
2023-10-05 cs.CL
Spurious Correlations and Beyond: Understanding and Mitigating Shortcut Learning in SDOH Extraction with Large Language Models
Department of Computer Science(计算机科学系);School of Nursing(护理学院);Department of Information Sciences and Technology(信息科学与技术系);Department of Biomedical Informatics & Medical Education(生物医学信息学与医学教育系)
研究大型语言模型在 SDOH 抽取中因依赖表面线索导致的虚假预测及性别差异问题,并评估提示工程与思维链等缓解策略以提升模型可靠性。
2025-05-30 cs.AI cs.CL
Data Augmentations for Improved (Large) Language Model Generalization
Google Research(谷歌研究院);Columbia University(哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对文本分类器因虚假相关性导致泛化差的问题,提出基于因果结构的反事实数据增强方法,通过模拟干预和LLM表示文本条件概率,有效提升了分布外准确率。
2024-01-09 cs.CL cs.LG
Explanation-based Finetuning Makes Models More Robust to Spurious Cues
University of Pennsylvania(宾夕法尼亚大学)
本文提出让模型在预测答案外生成自由文本解释的微调方法,显著提升 GPT-3 等 LLM 对虚假线索的分布外鲁棒性,并验证其跨模型规模及自生成解释场景的有效性。
2023-06-06 cs.CL cs.LG
Constructing Reference Sets from Unstructured, Ungrammatical Text
Fetch Technologies(Fetch技术公司);University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
Web上大量的文本是非结构化和不合语法的,例如分类广告、拍卖列表、论坛帖子等。我们称这些文本为“帖子”。“尽管它们的结构不一致,缺乏语法,帖子充满了有用的信息。本文介绍了通过直接分析这些帖子来半自动构建关系信息表(称为“参考集”)的工作。参考集可以应用于许多任务,例如本体维护和信息抽取。我们的参考集构造方法从少量的背景知识开始,并构造表示帖子中的实体的元组以形成参考集。我们还描述了这种方法的特殊情况下,即使是少量的背景知识是不可能发现和使用的扩展。为了评估机器构造的参考集的效用,我们将它们与基于参考集的信息抽取中手动构造的参考集进行比较。我们的结果表明,我们的方法构造的参考集优于手动构造的参考集。我们还比较了基于参考集的提取方法使用机器构造的参考集监督提取方法使用通用功能。这些结果表明,使用机器构造的参考集优于监督方法,即使监督方法需要训练数据。
2014-01-16 cs.CL cs.IR
Text Segmentation using Named Entity Recognition and Co-reference Resolution in English and Greek Texts
在本文中,我们研究的好处执行命名实体识别(NER)和共指决议的英语和希腊语语料库用于文本分割。这里的目的是检查文本分割和信息抽取的组合是否有利于识别文档中出现的各种主题。NER手动进行英语语料库中,并与公开可用的注释工具产生的输出进行比较,而已经存在的工具用于希腊语语料库。从这两个语料库产生的注释进行手动更正和丰富,以涵盖四种类型的命名实体。共同参考分辨率,即,随后执行用相同的命名实体标识符替换相同实例的每个引用。评估,使用五个文本分割算法的英语语料库和四个希腊语语料库导致的结论是,收益高度依赖于段的主题,命名实体实例出现在它的数量,以及段的长度。
2016-10-28 cs.CL cs.IR
MedICaT: A Dataset of Medical Images, Captions, and Textual References
University of Washington(华盛顿大学);Tel Aviv University(特拉维夫大学);Swedish Medical Group(瑞典医疗集团);University of California, Irvine(加州大学欧文分校);Allen Institute for AI(艾伦人工智能研究所)
理解图形与文字的关系是科学理解文档理解的关键。医疗数据尤其复杂,通常由几个子图组成(占我们数据集中的75%),并有详细的文字描述其内容。以前研究科学论文中的数字的工作集中在对数字内容进行分类,而不是理解图像与文本的关系。为了解决数字检索和图文对齐的挑战,我们引入了MedICaT,一个上下文中的医学图像数据集。MedICaT由来自131 K开放获取生物医学论文的217 K图像组成,并包括标题,74%的图的内联参考,以及手动注释的子图和子标题。使用MedICaT,我们介绍了在复合图子图子标题对齐的任务,并演示了在图像-文本匹配内联引用的实用程序。我们的数据和代码可以在https://github.com/allenai/medicat上访问。
2020-10-12 cs.CL cs.CV
CLIPScore: A Reference-free Evaluation Metric for Image Captioning
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
图像描述传统上依赖于基于参考的自动评估,其中将机器字幕与人类书写的字幕进行比较。这与人类评估字幕质量的无参考方式形成对比。在本文中,我们报告了令人惊讶的实证发现,CLIP(Radford et al.,2021),一个跨模态模型预训练的400 M图像+字幕对从网络上,可以用于鲁棒的自动评估图像描述,而不需要参考。跨越几个语料库的实验表明,我们的新的无参考指标,CLIPScore,实现了最高的相关性与人类的判断,优于现有的基于参考的指标,如CIDER和SPICE。信息增益实验表明,CLIPScore,其紧密关注的图像-文本兼容性,是补充现有的基于参考的指标,强调文本-文本的相似性。因此,我们还提出了一个参考增强版本,RefCLIPScore,它实现了更高的相关性。除了文字描述任务之外,几个案例研究揭示了CLIPScore表现良好的领域(剪贴画图像,替代文本评级),但与基于参考的指标相比,它也相对较弱,例如,新闻标题需要更丰富的上下文知识。
2022-03-23 cs.CL cs.CV
Generating Faithful Text From a Knowledge Graph with Noisy Reference Text
Monash University(莫纳什大学);Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
针对含噪参考文本易导致 KG-to-text 生成幻觉的问题,提出结合对比学习与可控生成的框架,提升并调控输出文本对知识图谱的忠实性。
2023-08-12 cs.AI cs.CL
A Human-in-the-Loop Approach to Improving Cross-Text Prosody Transfer
The Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学言语技术研究中心)
针对跨文本韵律迁移中韵律与文本难以分离的问题,提出HitL方法让用户微调显著韵律因素,以较少投入提升目标文本适配性。
2024-06-06 cs.AI cs.CL cs.SD
Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders
University of Edinburgh(爱丁堡大学);Meta AI
基于文本的语音编辑(TBVE)使用文本到语音(TTS)系统的合成输出来替换原始录音中的单词。最近的工作使用神经模型来产生编辑后的语音,这些语音在清晰度、说话者身份和韵律方面与原始语音相似。然而,先前工作的一个限制是使用微调来优化性能:这需要对来自目标说话者的数据进行进一步的模型训练,这是一个昂贵的过程,可能会将潜在的敏感数据合并到服务器端模型中。相比之下,这项工作的重点是zero-shot的方法,它避免了微调,而是使用预先训练的说话人验证嵌入与联合训练的参考编码器一起编码话语级信息,帮助捕获方面,如说话人的身份和韵律。主观听音测试发现,在zero-shot设置下,话语嵌入和参考编码器都提高了编辑后的合成语音和未编辑的原始录音之间的说话人身份和韵律的连续性。
2022-10-28 cs.CL cs.SD eess.AS
An Online Reference-Free Evaluation Framework for Flowchart Image-to-Code Generation
Nanyang Technological University(南洋理工大学);AUMOVIO Singapore(AUMOVIO新加坡);VinUniversity(文理大学)
针对流程图图像到代码生成在生产中无真实代码难以评估输出质量的问题,提出无参考评估框架,通过RecallOCR和PrecisionVE两个指标及调和均值F1OCR-VE监测生成质量,在FlowVQA数据集验证了其可靠性。
2026-07-10 cs.AI cs.CL cs.CV
Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech
Xinjiang University(新疆大学);Bytedance AI LAB(字节跳动人工智能实验室)
口音转换(AC)将非母语者的口音转换为母语者的口音,同时保持说话者的声音音色。在本文中,我们提出的方法来提高口音转换的适用性,以及质量。首先,我们假设在转换阶段没有参考语音可用,因此我们采用了一个端到端的文本到语音系统,该系统在母语上进行训练以生成母语参考语音。为了提高转换语音的质量和口音,我们引入了参考编码器,使我们能够利用多源信息。这是由从本地参考和语言信息中提取的声学特征激发的,这些声学特征与传统的语音后验图(PPG)互补,因此它们可以被连接为特征以改进仅基于PPG的基线系统。此外,我们使用基于GMM的注意力而不是窗口注意力来优化模型结构,以提高综合性能。实验结果表明,当所提出的技术被应用时,集成系统显着提高了声学质量(30 $\%$平均意见分数相对增加)和本地口音(68 $\%$相对偏好)的分数,同时保留了非母语说话人的语音身份。
2020-05-19 cs.CL cs.SD eess.AS