REFeREE: A REference-FREE Model-Based Metric for Text Simplification
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对文本简化缺乏通用质量标准及参考数据稀缺的问题,提出无参考模型度量REFeREE,通过3阶段课程和可扩展预训练适应不同质量标准,在预测总体和特定评分上优于或媲美现有基于参考的度量。
2024-03-26 cs.CL
Data-QuestEval: A Referenceless Metric for Data-to-Text Semantic Evaluation
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);BNP Paribas(法国巴黎银行);reciTAL;Criteo AI Lab(Criteo人工智能实验室)
QuestEval是文本到文本任务中使用的无参考指标,通过自动提问和回答问题,将生成的摘要直接与源文本进行比较。它的适应数据到文本的任务是不简单的,因为它需要多模式的问题生成和搜索系统上考虑的任务,这是很少可用的。为此,我们提出了一种方法来建立合成多模态语料库,使训练多模态组件的数据QuestEval度量。由此产生的度量是无参考和多模态的;它在WebNLG和WikiBio基准测试中获得了与人类判断的最新相关性。作为QuestEval项目的一部分,我们提供data-QuestEval的代码和模型用于可重复性目的。
2021-09-07 cs.CL
Inherent Biases in Reference based Evaluation for Grammatical Error Correction and Text Simplification
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
众所周知,普遍使用太少的参考文献来评估文本到文本的生成会使对其质量的估计产生偏差({ \it低覆盖率偏差}或LCB)。本文表明,克服LCB在语法错误纠正(GEC)的评估不能达到重新缩放或通过增加参考文献的数量在任何可行的范围内,与以前的建议。这是由于句子的有效更正的长尾分布。具体来说,我们表明,LCB激励GEC系统,以避免纠正,即使他们可以产生一个有效的纠正。因此,现有系统通过对输入进行很少但有针对性的改变,获得与人类相比相当或更好的性能。对文本简化的类似影响进一步支持了我们的主张。
2019-09-18 cs.CL
MCTS: A Multi-Reference Chinese Text Simplification Dataset
Beijing Language and Culture University(北京语言大学)
本文针对中文文本简化研究缺乏通用评估数据的问题,提出了多参考数据集MCTS,评估了无监督方法与大语言模型,并提供了用于训练的平行数据。
2024-06-05 cs.CL
Evaluation of Coreference Rules on Complex Narrative Texts
本文研究的问题,评估的相关性,每一个规则的参考决议系统。这里描述的引用求解器源于引用的正式模型,并集成在引用处理工作台中。参考分辨率的评估是必不可少的,因为它可以对单个规则进行差异评估。这些措施的数值,并讨论,简单的选择规则和其他处理规则,这些措施,然后研究数值参数。
2002-08-21 cs.CL
Cooperation between Pronoun and Reference Resolution for Unrestricted Texts
本文将指代消解作为指代消解过程的一部分。提出了一个通用的开放式体系结构,该体系结构可以被特殊化和配置,以模拟一些经典的指代消解方法。为了提高代词的解析度,该系统利用了文本字符的基本线索,这些线索通过特定的数据结构来表示。在其最强大的配置中,该系统只使用一个通用词典,一个本地形态语法分析器和一个同义词词典。一个简短的对比语料库分析表明,叙事文本是最适合测试这样一个系统。
2002-08-21 cs.CL
Reference-free Evaluation Metrics for Text Generation: A Survey
Tohoku University(东北大学);Langsmith Inc.(Langsmith公司);Utrecht University(乌得勒支大学);RIKEN(理化学研究所)
本综述全面考察了文本生成领域的无参考评估指标,涵盖其常用方法、应用场景及除模型评估外的其他用途,并展望了未来研究方向。
2025-01-21 cs.CL
Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出基于参考的框架,从三个视角分析开放式文本生成的连贯性与多样性,实验表明多样性对齐和均值比较能捕捉质量变异,参考似然性与评分正相关,为评估生成质量提供结构化方法。
2026-09-24 cs.CL
Location reference recognition from texts: A survey and comparison
German Aerospace Center (DLR)(德国航空航天中心);University of Zurich(苏黎世大学);University of Heidelberg(海德堡大学);University at Buffalo(布法罗大学);Chongqing University(重庆大学);Norwegian University of Science and Technology(挪威科技大学)
大量的位置信息存在于非结构化文本中,例如社交媒体帖子、新闻故事、科学文章、网页、旅游博客和历史档案。地理解析是指从文本中识别位置参考并识别其地理空间表示的过程。虽然地理解析可以使许多领域受益,但仍然缺少特定应用程序的摘要。此外,缺乏对现有位置参考识别方法的全面审查和比较,这是地理解析的第一个核心步骤。为了填补这些研究空白,本文首先总结了地理解析的七个典型应用领域:地理信息检索,灾害管理,疾病监测,交通管理,空间人文,旅游管理和犯罪管理。然后,我们回顾现有的方法进行位置参考识别,这些方法分为四组的基础上,其基本功能的原则:基于规则,地名词典匹配为基础的,基于统计学习,和混合的方法。接下来,我们彻底评估了27种最广泛使用的位置参考识别方法的正确性和计算效率,这些方法基于26个具有不同类型文本的公共数据集(例如,社交媒体帖子和新闻报道),其中包含世界各地的39 736个地点参考。这种全面评估的结果可以帮助为位置参考识别的未来方法发展提供信息,并可以帮助指导根据应用需求选择适当的方法。
2022-07-04 cs.CL
Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室)
本文实证研究ChatGPT等大型语言模型在无参考文本质量评估中的有效性,比较三类方法后发现显式评分法最有效可靠,并指出直接比较两段文本质量可能产生次优结果。
2023-09-18 cs.CL
Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics
Technical University of Munich(慕尼黑工业大学);Trinity College Dublin(都柏林圣三一学院);IBM(国际商业机器公司);Universitat de Barcelona(巴塞罗那大学)
尽管最近在摘要生成模型方面取得了广泛的进展,但对自动生成的摘要的评估仍然广泛依赖于单分数系统,不足以进行透明的评估和深入的定性分析。为了弥合这一差距,我们提出了多方面的可解释摘要评价方法(MISEM),这是基于分配的摘要的上下文令牌嵌入到语义主题中确定的参考文本。我们进一步贡献了一个可解释性工具箱,用于自动摘要评估和摘要评分,主题识别和令牌主题分配的交互式视觉分析。MISEM在TAC'08数据集上实现了与人类判断的.404皮尔逊相关性。
2022-10-25 cs.CL
Identifying Reference Spans: Topic Modeling and Word Embeddings help IR
University of Houston(休斯顿大学)
CL-SciSumm 2016的共享任务引入了一个有趣的问题:给定一个文档D和一段引用D的文本,我们如何识别这段文本引用的D的文本跨度?共享任务提供了研究该问题的第一个带注释的数据集。我们提出了一个分析,我们继续努力,提高我们的系统的性能,这项任务。我们演示了如何主题模型和词嵌入可以用来超越以前最好的表现系统。
2017-08-09 cs.CL
Marking-up multiple views of a Text: Discourse and Reference
University "A.I.Cuza" Iasi(亚历山德鲁·伊万·库扎大学雅西分校);Vassar College(瓦萨学院);Loria-CNRS(洛里亚-法国国家科学研究中心)
我们描述了一个编码方案的话语结构和参考,TEI指南和语料库编码规范(CES)的建议的基础上。该方案的一个核心特征是基于CES的数据架构,能够对标记文档的多个视图进行编码和访问。我们描述了一个支持编码方案的工具架构,然后展示了我们如何使用编码方案和工具来执行语篇分析任务,以支持称为静脉理论的全球语篇衔接模型(Cristea & Ide,1998)。
2009-09-15 cs.CL
RevisEval: Improving LLM-as-a-Judge via Response-Adapted References
City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));McGill University(麦吉尔大学);MILA
本文提出 RevisEval 评估范式,通过让大语言模型自适应修订响应并生成响应自适应参考,以提升 LLM-as-a-Judge 的可靠性,实验证明其优于传统无参考和基于参考的评估方法,并能增强 BLEU、BERTScore 等经典指标。
2025-04-07 cs.CL
Challenges and Limitations with the Metrics Measuring the Complexity of Code-Mixed Text
TCS Research(塔塔咨询服务公司研究院);IIT Gandhinagar(甘地纳加尔印度理工学院)
语码混用是多语者之间一种常见的交际方式,他们将两种不同语言的词语和短语混合在同一个文本或言语中。由于混码文本与单语文本和噪声文本共存,识别和过滤混码文本是一项具有挑战性的任务。多年来,几个代码混合度量标准已被广泛用于识别和验证代码混合文本质量。本文展示了代码混合度量的几个固有局限性,并从各种实验中广泛使用的现有数据集中举例说明。
2021-06-18 cs.CL
LC-Score: Reference-less estimation of Text Comprehension Difficulty
U31
针对文本理解难度评估指标缺失的问题,提出无参考的法语理解难度评估方法LC-Score,采用统计与神经两种路径,经人工标注实验验证效果优于FKGL等常用指标。
2023-10-05 cs.CL
One Reference or Many? Rethinking Multi-Reference Training for Intermediate-Entropy Text Generation
IIIT Hyderabad(海得拉巴国际信息技术学院);Microsoft, India(微软印度);Sentisum
本研究针对自然语言生成中间任务,提出将多样化参考合并为统一训练信号的方法,并构建MERC-36K语料库验证其有效性,实验表明合并参考训练显著优于未合并参考。
2026-10-16 cs.CL
Cross-Examination Framework: A Task-Agnostic Diagnostic for Information Fidelity in Text-to-Text Generation
M42 Health(M42健康)
交叉审查框架通过无参考多维评估方法,识别文本生成任务中的语义保真度问题,有效检测内容遗漏和事实矛盾等关键错误。
2026-01-27 cs.CL
Robust and Interpretable Grounding of Spatial References with Relation Networks
Princeton University(普林斯顿大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
学习自然语言中的空间参考表示是自主导航和机器人操作等任务的关键挑战。最近的工作已经调查了各种神经架构学习多模态表示的空间概念。然而,缺乏显式推理的实体,使这些方法容易受到噪音的输入文本或状态观察。在本文中,我们开发了有效的模型来理解文本中的空间参考,这些模型是鲁棒的和可解释的,而不会牺牲性能。我们设计了一个文本条件的\textit{relation network},其参数动态计算的跨模态注意力模块捕捉实体之间的细粒度的空间关系。这种设计选择提供了学习的中间输出的可解释性。三个任务的实验表明,我们的模型实现了卓越的性能,与最先进的系统相比,预测目标位置提高了17%,鲁棒性提高了15%。
2020-10-07 cs.CL
Can We Triage LLM Translation Errors in Classical Texts Without Human References? Source Novelty, GEMBA Scoring, and Budgeted Review through Pali-to-English Translation
本研究通过巴利语到英语翻译测试无参考错误分类,发现无参考GEMBA评分是最强信号,审查前10%可捕获81.6%错误,并提出结合多种信号的预算审查工作流程。
2026-09-15 cs.CL
Semantic Structural Evaluation for Text Simplification
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
目前评价文本简化系统的方法主要侧重于评价词汇文本方面,而忽视了其结构方面。在本文中,我们提出了第一个措施,以解决结构方面的文本简化,称为SAMSA。它利用语义解析的最新进展,通过基于语义结构分解输入并将其与输出进行比较来评估简化质量。SAMSA提供了一个无参考的自动评估过程,避免了基于参考的方法由于给定句子的有效简化的巨大空间而面临的问题。我们的人类评价实验表明,SAMSA的大量相关性与人类的判断,以及现有的基于参考的措施,在评估结构简化的不足。
2018-10-11 cs.CL
Aggregating Crowdsourced and Automatic Judgments to Scale Up a Corpus of Anaphoric Reference for Fiction and Wikipedia Texts
University of Essex(埃塞克斯大学);Amazon Research(亚马逊研究院);University of Regensburg(雷根斯堡大学);Queen Mary University of London(伦敦玛丽女王大学)
虽然存在几个标注回指/共指的数据集,但即使是最大的此类数据集在大小、域范围、回指现象的覆盖范围和所包含文档的大小方面也有限制。然而,所提出的方法来扩大回指注释还没有到目前为止,导致数据集克服这些限制。在本文中,我们介绍了一个新发布的语料库的回指标记通过一个游戏的目的。这个新版本的规模相当于现有的最大的语料库的照应参考,部分由于大量的活动的球员,部分由于使用一个新的解决和聚合范例,以“完成”可标记的注释,通过一个照应解析器和一个聚合方法的组合,照应参考。所提出的方法可以在其他涉及有目的游戏的项目中大大加快注释时间。此外,语料库涵盖了没有可比大小数据集的类型(小说和维基百科);它涵盖了单例和非指涉表达;它包括大量的长文档(长度> 2K)。
2022-10-11 cs.CL
Constructing Reference Sets from Unstructured, Ungrammatical Text
Fetch Technologies(Fetch技术公司);University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
Web上大量的文本是非结构化和不合语法的,例如分类广告、拍卖列表、论坛帖子等。我们称这些文本为“帖子”。“尽管它们的结构不一致,缺乏语法,帖子充满了有用的信息。本文介绍了通过直接分析这些帖子来半自动构建关系信息表(称为“参考集”)的工作。参考集可以应用于许多任务,例如本体维护和信息抽取。我们的参考集构造方法从少量的背景知识开始,并构造表示帖子中的实体的元组以形成参考集。我们还描述了这种方法的特殊情况下,即使是少量的背景知识是不可能发现和使用的扩展。为了评估机器构造的参考集的效用,我们将它们与基于参考集的信息抽取中手动构造的参考集进行比较。我们的结果表明,我们的方法构造的参考集优于手动构造的参考集。我们还比较了基于参考集的提取方法使用机器构造的参考集监督提取方法使用通用功能。这些结果表明,使用机器构造的参考集优于监督方法,即使监督方法需要训练数据。
2014-01-16 cs.CL cs.IR
Text Segmentation using Named Entity Recognition and Co-reference Resolution in English and Greek Texts
在本文中,我们研究的好处执行命名实体识别(NER)和共指决议的英语和希腊语语料库用于文本分割。这里的目的是检查文本分割和信息抽取的组合是否有利于识别文档中出现的各种主题。NER手动进行英语语料库中,并与公开可用的注释工具产生的输出进行比较,而已经存在的工具用于希腊语语料库。从这两个语料库产生的注释进行手动更正和丰富,以涵盖四种类型的命名实体。共同参考分辨率,即,随后执行用相同的命名实体标识符替换相同实例的每个引用。评估,使用五个文本分割算法的英语语料库和四个希腊语语料库导致的结论是,收益高度依赖于段的主题,命名实体实例出现在它的数量,以及段的长度。
2016-10-28 cs.CL cs.IR
TART: Improved Few-shot Text Classification Using Task-Adaptive Reference Transformation
Virginia Tech(弗吉尼亚理工大学);Microsoft(微软)
针对少样本文本分类中现有元学习方法难以区分语义相似类的问题,提出TART网络,通过任务自适应度量空间的类原型变换与判别正则化增强泛化,在四个基准数据集上取得SOTA,20 Newsgroups上1/5-shot分别提升7.4%、5.4%。
2023-06-03 cs.CL
CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation
Tsinghua University(清华大学);Tencent Inc.(腾讯公司);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院)
现有的无参考指标在评估受控文本生成模型时有明显的局限性。非监督度量只能提供与任务无关的评估结果,与人类判断弱相关,而监督度量可能过度拟合特定于任务的数据,对其他数据集的泛化能力较差。在本文中,我们提出了一个无监督的无参考度量称为CTRLEval,从不同的方面制定成多个文本填充任务的每个方面来评估控制的文本生成。在这些任务之上,度量从预训练的语言模型组装生成概率,而无需任何模型训练。实验结果表明,我们的度量有更高的相关性与人类的判断比其他基线,同时获得更好的泛化评估生成的文本从不同的模型和不同的质量。
2022-12-05 cs.AI cs.CL
MedICaT: A Dataset of Medical Images, Captions, and Textual References
University of Washington(华盛顿大学);Tel Aviv University(特拉维夫大学);Swedish Medical Group(瑞典医疗集团);University of California, Irvine(加州大学欧文分校);Allen Institute for AI(艾伦人工智能研究所)
理解图形与文字的关系是科学理解文档理解的关键。医疗数据尤其复杂,通常由几个子图组成(占我们数据集中的75%),并有详细的文字描述其内容。以前研究科学论文中的数字的工作集中在对数字内容进行分类,而不是理解图像与文本的关系。为了解决数字检索和图文对齐的挑战,我们引入了MedICaT,一个上下文中的医学图像数据集。MedICaT由来自131 K开放获取生物医学论文的217 K图像组成,并包括标题,74%的图的内联参考,以及手动注释的子图和子标题。使用MedICaT,我们介绍了在复合图子图子标题对齐的任务,并演示了在图像-文本匹配内联引用的实用程序。我们的数据和代码可以在https://github.com/allenai/medicat上访问。
2020-10-12 cs.CL cs.CV
FaithCAMERA: Construction of a Faithful Dataset for Ad Text Generation
Cyberagent. Inc.(赛博agent公司)
针对现有ATG评估数据集CAMERA参考文案忠实性不足的问题,研究者优化其参考文案构建了保证忠实性的FaithCAMERA数据集,实验发现移除含不实实体的训练数据对实体和句子层面指标影响不同,指出ATG研究需兼顾训练数据规模与忠实性。
2024-10-04 cs.CL
CLIPScore: A Reference-free Evaluation Metric for Image Captioning
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
图像描述传统上依赖于基于参考的自动评估,其中将机器字幕与人类书写的字幕进行比较。这与人类评估字幕质量的无参考方式形成对比。在本文中,我们报告了令人惊讶的实证发现,CLIP(Radford et al.,2021),一个跨模态模型预训练的400 M图像+字幕对从网络上,可以用于鲁棒的自动评估图像描述,而不需要参考。跨越几个语料库的实验表明,我们的新的无参考指标,CLIPScore,实现了最高的相关性与人类的判断,优于现有的基于参考的指标,如CIDER和SPICE。信息增益实验表明,CLIPScore,其紧密关注的图像-文本兼容性,是补充现有的基于参考的指标,强调文本-文本的相似性。因此,我们还提出了一个参考增强版本,RefCLIPScore,它实现了更高的相关性。除了文字描述任务之外,几个案例研究揭示了CLIPScore表现良好的领域(剪贴画图像,替代文本评级),但与基于参考的指标相比,它也相对较弱,例如,新闻标题需要更丰富的上下文知识。
2022-03-23 cs.CL cs.CV
A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation
Peking University(北京大学);Tencent Cloud Xiaowei(腾讯云小微);Meta AI;Microsoft Corporation(微软公司)
像GPT-3这样的大型预训练生成模型经常会出现不存在或不正确的内容,这削弱了它们在实际应用中的潜在优势。现有的工作通常试图检测这些幻觉的基础上相应的甲骨文参考在一个句子或文档的水平。然而,对于许多自由形式的文本生成应用,地面实况参考可能不容易获得,并且句子级或文档级检测可能无法提供将实时的防止错误内容的细粒度信号。作为解决这些问题的第一步,我们提出了一种新的令牌级,无参考的幻觉检测任务和一个相关的注释数据集命名为HaDes(HAllucination检测数据集)。为了创建这个数据集,我们首先扰动了从英语维基百科中提取的大量文本片段,然后用众包注释验证这些文本片段。为了减轻标注过程中的标签不平衡,我们采用了迭代模型在环策略。我们进行全面的数据分析并创建多个基线模型。
2022-04-02 cs.AI cs.CL
Style Example-Guided Text Generation using Generative Adversarial Transformers
NVIDIA(英伟达);cs.washington.edu(华盛顿大学计算机科学与工程系)
我们介绍了一种语言生成模型框架,用于基于上下文句子和样式参考示例生成样式化段落。该框架包括一个风格编码器和一个文本解码器。样式编码器从参考示例中提取样式代码,并且文本解码器基于样式代码和上下文生成文本。我们提出了一个新的目标函数来训练我们的框架。我们还研究了不同的网络设计选择。我们进行了广泛的实验验证与强大的基线比较,以验证所提出的框架的有效性,使用新收集的数据集与不同的文本样式。代码和数据集都将在发布时发布。
2020-03-02 cs.CL
When Do Agents Help? Embedding, LLM and Agentic Alignment of Classical Texts and Their Translations
本研究比较经典文本翻译对齐的七种方法,发现生成式智能体在结构可靠性和缺陷减少上优于嵌入方法,但在长文档分块后优势消失。
2026-09-29 cs.CL
Exploring the Limitations of Detecting Machine-Generated Text
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Edinburgh(爱丁堡大学)
本研究针对机器生成文本检测系统受文本风格和复杂度影响的不明确问题,通过多风格文本评估审计检测性能,发现分类器对风格、复杂度敏感,易读文本易被误分类,呼吁未来研究关注相关风格与阅读难度因素。
2024-12-12 cs.CL
Towards Verifiable Text Generation with Symbolic References
Massachusetts Institute of Technology(麻省理工学院);Good Data Initiative(好数据倡议)
针对大语言模型易产生幻觉、输出验证成本高的问题,提出符号锚定生成方法SymGen,通过在输出中穿插符号引用展示文本来源,在多类实验中验证了其可在保证文本流畅准确的同时提升人工验证效率。
2024-04-15 cs.AI cs.CL cs.LG
Generating Faithful Text From a Knowledge Graph with Noisy Reference Text
Monash University(莫纳什大学);Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
针对含噪参考文本易导致 KG-to-text 生成幻觉的问题,提出结合对比学习与可控生成的框架,提升并调控输出文本对知识图谱的忠实性。
2023-08-12 cs.AI cs.CL
Improving Citation Text Generation: Overcoming Limitations in Length Control
The university of Texas at Dallas(德克萨斯大学达拉斯分校)
本文针对引文文本生成中长度不匹配导致质量下降的问题,深入研究了预测科学引文文本长度的局限性,并探索了使用启发式方法估计所需长度。
2024-07-20 cs.CL cs.DL
A Human-in-the-Loop Approach to Improving Cross-Text Prosody Transfer
The Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学言语技术研究中心)
针对跨文本韵律迁移中韵律与文本难以分离的问题,提出HitL方法让用户微调显著韵律因素,以较少投入提升目标文本适配性。
2024-06-06 cs.AI cs.CL cs.SD
Granuscore: A Reference-Free Measure of Granularity for Text Analysis and Question Answering
School for Computation, Information and Technology(计算、信息与技术学院)
提出无参考粒度度量Granuscore,利用层次嵌入空间结构可靠恢复粒度顺序并解释句子特异性变化,应用于问答基准分析模型行为差异。
2026-08-24 cs.CL cs.HC
Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection
Renmin University of China(中国人民大学);Huawei Poisson Lab(华为泊松实验室)
本文提出DKGen,通过迭代动态选择相关参考段落并蒸馏相关性顺序到交叉注意力,提升长文本生成的事实准确性,实验优于所有基线。
2023-08-30 cs.AI cs.CL
Pragmatic constraints and pronoun reference disambiguation: the possible and the impossible
New York University(纽约大学)
在理解语篇和语篇的过程中,代词的消歧往往需要综合运用一般的语用知识和特定的语境信息。在人工智能和语言学研究中,这主要是在所指对象在前面的文本中明确陈述的情况下进行研究。然而,自然文本中的代词通常指的是先前只隐含提到的实体、集合或事件;在这些情况下,使用语用知识来消除歧义的需要变得更加尖锐,知识的表征变得更加困难。延伸的文学文本有时会使用极其复杂的参考模式和极其丰富和微妙的知识形式。事实上,在一个文本中,代词与其所指对象之间的距离很远,这种情况偶尔也会发生。在相反的方向,代词的使用受到注意力集中的考虑和形式上的限制,如对平行句法结构的偏好;这些可以是如此强大,没有语用知识足以推翻他们。
2022-04-05 cs.AI cs.CL
Resolving References in Visually-Grounded Dialogue via Text Generation
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对视觉落地对话中的指称消解难题,本文微调因果 LLM 生成融合上下文共指信息的有定描述,再由预训练 VLM 零样本识别所指对象,并在人工标注数据集上超过基线。
2023-09-23 cs.AI cs.CL cs.CV
Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders
University of Edinburgh(爱丁堡大学);Meta AI
基于文本的语音编辑(TBVE)使用文本到语音(TTS)系统的合成输出来替换原始录音中的单词。最近的工作使用神经模型来产生编辑后的语音,这些语音在清晰度、说话者身份和韵律方面与原始语音相似。然而,先前工作的一个限制是使用微调来优化性能:这需要对来自目标说话者的数据进行进一步的模型训练,这是一个昂贵的过程,可能会将潜在的敏感数据合并到服务器端模型中。相比之下,这项工作的重点是zero-shot的方法,它避免了微调,而是使用预先训练的说话人验证嵌入与联合训练的参考编码器一起编码话语级信息,帮助捕获方面,如说话人的身份和韵律。主观听音测试发现,在zero-shot设置下,话语嵌入和参考编码器都提高了编辑后的合成语音和未编辑的原始录音之间的说话人身份和韵律的连续性。
2022-10-28 cs.CL cs.SD eess.AS
An Online Reference-Free Evaluation Framework for Flowchart Image-to-Code Generation
Nanyang Technological University(南洋理工大学);AUMOVIO Singapore(AUMOVIO新加坡);VinUniversity(文理大学)
针对流程图图像到代码生成在生产中无真实代码难以评估输出质量的问题,提出无参考评估框架,通过RecallOCR和PrecisionVE两个指标及调和均值F1OCR-VE监测生成质量,在FlowVQA数据集验证了其可靠性。
2026-07-10 cs.AI cs.CL cs.CV
GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech
AGIGO;ETH Zurich(苏黎世联邦理工学院);Sapienza University of Rome(罗马大学);University of Zurich(苏黎世大学)
研究针对文本到语音神经编解码器语言建模中单词发音问题,提出GRAFT机制,通过短语音样本控制单词发音,经语音转换训练,提升发音效果,在多语言基准测试中表现出色。
2026-07-07 cs.CL cs.LG
Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech
Xinjiang University(新疆大学);Bytedance AI LAB(字节跳动人工智能实验室)
口音转换(AC)将非母语者的口音转换为母语者的口音,同时保持说话者的声音音色。在本文中,我们提出的方法来提高口音转换的适用性,以及质量。首先,我们假设在转换阶段没有参考语音可用,因此我们采用了一个端到端的文本到语音系统,该系统在母语上进行训练以生成母语参考语音。为了提高转换语音的质量和口音,我们引入了参考编码器,使我们能够利用多源信息。这是由从本地参考和语言信息中提取的声学特征激发的,这些声学特征与传统的语音后验图(PPG)互补,因此它们可以被连接为特征以改进仅基于PPG的基线系统。此外,我们使用基于GMM的注意力而不是窗口注意力来优化模型结构,以提高综合性能。实验结果表明,当所提出的技术被应用时,集成系统显着提高了声学质量(30 $\%$平均意见分数相对增加)和本地口音(68 $\%$相对偏好)的分数,同时保留了非母语说话人的语音身份。
2020-05-19 cs.CL cs.SD eess.AS
A Rule Based Solution to Co-reference Resolution in Clinical Text
Baylor College of Medicine(贝勒医学院);VA HSR&D Center of Excellence(退伍军人事务部卫生研究与发展卓越中心)
本文面向生物医学临床文本,利用2011年 i2b2 挑战赛数据构建基于人工规则的共指消解系统,在多个医学数据集上达到89.6%的总体性能,验证了规则方法的有效性。
2025-03-12 cs.AI cs.CL
Automated Creativity Evaluation for Large Language Models: A Reference-Based Approach
University of Science and Technology of China(中国科学技术大学);MetastoneTechnology(metastone技术)
针对LLM创造力评估难题,本文提出基于TTCW的参考式李克特评分方法,将生成文本与高质量参考对比,显著提升与人类评估的一致性,成对准确率达0.75(+15%)。
2025-04-22 cs.AI cs.CL
EdiText: Controllable Coarse-to-Fine Text Editing with Diffusion Language Models
Department of Electrical and Computer Engineering, Seoul National University(电子与计算机工程系,首尔国立大学);AIIS, ASRI, INMC, ISRC, and IPAI, Seoul National University(人工智能研究所、先进系统研究室、智能网络中心、信息科学研究中心和人工智能计划,首尔国立大学)
本文提出 EdiText,结合 SDEdit 与自条件化细粒度编辑方法,实现由粗到细的可控文本编辑,在毒性与情感控制等任务中展现出广泛且精确的属性调整能力。
2025-06-02 cs.CL cs.LG
SAGEval: The frontiers of Satisfactory Agent based NLG Evaluation for reference-free open-ended text
Microsoft(微软)
本文提出SAGEval框架,利用评判智能体纠正LLM评估器分数,在无参考标签条件下实现开放式文本生成评估,减少对标注数据的依赖。
2024-11-25 cs.CL cs.MA
Fine-grained robust prosody transfer for single-speaker neural text-to-speech
Amazon Research(亚马逊研究院)
我们提出了一个神经文本转语音系统细粒度的韵律从一个扬声器到另一个。用于端到端韵律传输的常规方法通常经由辅助注意使用固定维度或可变长度的韵律嵌入来编码参考信号。然而,当在单个说话人数据集上训练时,传统的韵律传递系统对于说话人的变化性不够鲁棒,特别是在参考信号来自看不见的说话人的情况下。因此,我们建议从整个系统的参考信号对准去耦。为此,我们预先计算音素级的时间戳,并使用它们来聚合每个音素的韵律特征,将它们注入到序列到序列的文本转语音系统。我们采用变分自动编码器,以进一步提高潜在的韵律嵌入表示。我们表明,我们提出的方法是显着更稳定,并实现了可靠的韵律移植从一个看不见的扬声器。我们还提出了一个解决方案,其中参考信号的转录是缺席的用例。我们使用客观和主观的听力测试来评估我们提出的所有方法。
2019-07-04 cs.CL eess.AS
Prosody Transfer in Neural Text to Speech Using Global Pitch and Loudness Features
Electronic Arts(美国艺电)
本文提出了一种简单而有效的方法来实现从参考语音信号到合成语音的韵律转换。主要思想是将韵律的众所周知的声学相关性(例如参考语音的音高和响度轮廓)并入现代神经文本到语音(TTS)合成器(例如Tacotron 2(TC2))中。更具体地,从参考音频中提取一小组声学特征,然后用于调节TC2合成器。训练后的模型使用主观听力测试进行评估,并提出了一种新的韵律迁移的客观评估。听力测试表明,合成的语音被评为高度自然的,韵律是成功地从参考语音信号的合成信号。
2020-05-15 cs.CL cs.LG cs.SD
Inference with Reference: Lossless Acceleration of Large Language Models
Microsoft(微软)
提出LLMA加速器,通过复用参考文本片段并并行验证,在保持与贪婪解码结果相同的前提下,实现大语言模型推理超过2倍的无损加速。
2023-04-10 cs.AI cs.CL
Reference and Document Aware Semantic Evaluation Methods for Korean Language Summarization
Kakao Corp.(Kakao公司);Kakao Enterprise Corp.(Kakao企业公司);Korea University, South Korea(韩国高丽大学);Hanshin University, South Korea(韩国韩神大学)
文本摘要是指从源文档中生成保留显著信息的较短形式的文本的过程。现有的许多文本摘要工作通常使用面向回忆的替代研究(ROUGE)分数进行评估。然而,由于ROUGE分数是基于n-gram重叠计算的,因此它们不反映生成的摘要和参考摘要之间的语义含义对应关系。由于韩语是一种粘着语言,它将各种语素组合成一个词来表达多种含义,因此ROUGE不适合韩语摘要。在本文中,我们提出了评价指标,反映语义的参考摘要和原始文件,参考和文档感知语义得分(RDASS)的含义。然后,我们提出了一种方法,用于提高人类判断的指标的相关性。评估结果表明,与人类判断的相关性显着高于我们的评估指标比ROUGE分数。
2020-11-02 cs.CL cs.LG stat.ML
LimTopic: LLM-based Topic Modeling and Text Summarization for Analyzing Scientific Articles limitations
Northern Illinois University(北伊利诺伊大学);Northwestern University(西北大学)
本文提出LimTopic框架,结合BERTopic与LLM从科学论文局限性中提取主题、生成标题与摘要,实验证明BERTopic+GPT-4主题建模及GPT-4摘要效果最佳。
2025-03-08 cs.CL cs.LG