BanglaIPA: Towards Robust Text-to-IPA Transcription with Contextual Rewriting in Bengali
Shahjalal University of Science and Technology(沙赫贾尔大学科学与技术学院);University of Maryland, Baltimore County, USA(马里兰大学巴尔的摩县分校)
BanglaIPA通过整合字符词汇与词级对齐,实现了对孟加拉语标准语言和方言文本的稳健IPA转录,提升了推理效率并降低了词错误率。
2026-02-04 cs.CL
Joint Copying and Restricted Generation for Paraphrase
The Hong Kong Polytechnic University(香港理工大学);Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院);Wuhan University(武汉大学);Peking University(北京大学)
许多自然语言生成任务,如摘要摘要和文本简化,都是面向释义的。在这些任务中,复制和重写是两种主要的写作模式。大多数以前的序列到序列(Seq2Seq)模型使用单个解码器,忽略了这一事实。在本文中,我们开发了一种新的Seq2Seq模型融合复制解码器和限制生成解码器。复制解码器基于典型的注意力模型找到要复制的位置。生成解码器产生在特定于源的词汇表中受限的词。为了结合两个解码器并确定最终输出,我们开发了一个预测器来预测复制或重写的模式。该预测器可以由训练数据中的实际写入模式来指导。我们在两个不同的释义数据集上进行了广泛的实验。结果表明,我们的模型优于国家的最先进的方法在信息量和语言质量。
2016-11-28 cs.CL cs.IR
In your own words: computationally identifying interpretable themes in free-text survey data
Technology and Operations Management Unit, Harvard Business School(哈佛商学院技术与运营管理系)
本文提出In Your Own Words框架,通过计算方法分析自由文本调查数据,识别结构化且可解释的主题,提升系统分析能力,应用于种族、性别和性取向数据,发现更清晰的主题,具有三个实际应用:建议新问题、揭示标准化分类内异质性、揭示自我认同与感知认同的系统不一致。
2026-04-03 cs.CL cs.CY
MLR: A Two-stage Conversational Query Rewriting Model with Multi-task Learning
Alibaba Group(阿里巴巴集团)
会话语境理解的目的是从会话历史中识别用户的真实意图,这对建立对话系统至关重要。然而,开放领域中的多轮会话理解仍然具有相当大的挑战性,这需要系统提取重要信息并解决各种开放主题之间的上下文依赖关系。在本文中,我们提出了会话查询重写模型- MLR,这是一个多任务模型的序列标记和查询重写。MLR将多轮会话查询转化为单轮查询,简洁地表达了用户的真实意图,降低了多轮会话建模的难度。在该模型中,我们制定了查询重写作为一个序列生成问题,并通过辅助词类别标签预测任务引入词类别信息。为了对模型进行训练,我们构造了一个新的中文查询重写数据集,并在该数据集上进行了实验,实验结果表明,该模型的性能优于其他模型,证明了词类别信息在提高重写性能方面的有效性。
2020-04-13 cs.AI cs.CL cs.LG
Multiple topic identification in telephone conversations
LIA, University of Avignon(阿维尼翁大学LIA实验室);McGill University(麦吉尔大学)
本文论述了自动分析的客户和代理之间的对话在呼叫中心的客户服务。分析的目的是假设对话中讨论的问题和抱怨的主题。主题由应用程序文档主题定义。对话可能包含与应用程序目的无关的提及和多个主题,其提及可能是对话的交错部分,无法很好地定义。提出了两种多主题假设的方法。其中之一是基于余弦相似性度量,使用从整个对话中提取的一袋特征。另一种方法引入了围绕会话中特定单词位置分布的主题密度的概念。除了自动选择单词之外,还考虑并选择在连续单词之间具有可能间隙的单词二元语法。实验结果表明,在相同的数据集上,该方法的分类效果优于支持向量机。此外,使用从中导出主题密度的会话的主题骨架,将有可能提取要用于改进服务性能的自动会话报告的成分。索引术语:多主题音频文档分类,人类/人类对话分析,语音分析,距离二元组
2018-12-29 cs.CL
Word Clouds as Common Voices: LLM-Assisted Visualization of Participant-Weighted Themes in Qualitative Interviews
Icahn School of Medicine at Mount Sinai(伊卡恩医学院辛辛那提分校)
提出开源工具ThemeClouds,利用LLM从访谈转录文本中生成基于参与者提及广度的主题加权词云,相比频率词云和主题建模基线能更有效地浮现可操作见解。
2025-08-11 cs.AI cs.CL cs.HC
Rewriting Meaningful Sentences via Conditional BERT Sampling and an application on fooling text classifiers
大多数设计用于欺骗文本分类器的对抗攻击方法通过修改几个单词或字符来改变文本分类器的预测。很少有人试图通过重写整个句子来攻击分类器,这是因为在句子级改写中存在固有的困难以及为合法重写设置标准的问题。在本文中,我们探讨了使用事务级重写创建对抗性示例的问题。我们设计了一个新的采样方法,命名为ParaphraseSampler,有效地改写了原始句子的多种方式。然后,我们提出了一个新的标准的修改,所谓的威胁级别的威胁模型。该标准允许单词和句子级别的变化,并且可以在两个维度上独立调整:语义相似性和语法质量。实验结果表明,这些改写的句子中有许多被分类器错误分类。在所有6个数据集上,我们的ParaphraseSampler实现了比我们的基线更好的攻击成功率。
2022-10-19 cs.AI cs.CL cs.LG
Raidar: geneRative AI Detection viA Rewriting
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
本研究发现大语言模型重写时对AI生成文本修改更少,据此提出Raidar检测方法,通过计算重写编辑距离检测AI内容,多领域下F1分数最高提升29点,兼容黑盒模型且鲁棒性强。
2024-04-14 cs.CL
DP-GTR: Differentially Private Prompt Protection via Group Text Rewriting
University of North Texas(北卡罗来纳州立大学);Department of Computer Science and Engineering(计算机科学与工程系);Department of Data Science(数据科学系)
针对现有提示隐私保护方法忽视文本多粒度表示的问题,提出DP-GTR三阶段框架,结合局部差分隐私和组文本重写,整合文档级与词级信息,在两个数据集上实现更优隐私-实用性权衡,且可作为插件兼容现有技术。
2025-09-19 cs.CL
Words that Represent Peace
Columbia University(哥伦比亚大学);Climate School(气候学院);Data Science Institute(数据科学研究所);Toyota Research Institute(丰田研究所);Teachers College(师范学院)
该研究利用LexisNexis新闻数据识别出区分国家和平水平的关键词语,发现高和平新闻侧重金融、日常与健康主题,低和平新闻侧重政治、政府与法律主题,为和平测量及社会过程分析提供了基础。
2024-10-02 cs.CL cs.CY cs.LG
Review of Unsupervised POS Tagging and Its Implications on Language Acquisition
University of California Irvine(加州大学欧文分校)
本文综述了无监督词性标注的各类工程方法,探讨了模型评估指标、约束学习的额外信息、上下文使用等共同主题,为句法范畴习得的认知研究及无监督POS标注的发展提供参考。
2023-12-15 cs.CL
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock(阿肯色大学小石城分校);Infosys Ltd.(印孚瑟斯有限公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院);National University of Singapore(新加坡国立大学)
关键词提取是自然语言处理中的一项基本任务,它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中,我们提出了一种无监督的技术,使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集,该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的,包括短摘要(Inspec)和长科学论文(SemEval 2010),并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
How Robust Is Multimodal Claim Verification to LLM Rewriting?
NII LLMC, Japan(国立情报学研究所 LLMC,日本);National Institute of Informatics, Japan(国立情报学研究所,日本);University of Göttingen, Germany(哥廷根大学,德国);University of Bologna, Italy(博洛尼亚大学,意大利);The University of Tokyo, Japan(东京大学,日本);Inria, LS2N, Nantes Université, France(法国国家信息与自动化研究所,LS2N,南特大学,法国)
本文研究LLM重写对多模态声明验证的影响,发现模型对自然重写和受控注入具有鲁棒性,但概率偏移存在,且对冲条件影响最大。
2026-10-05 cs.CL
Topic mining based on fine-tuning Sentence-BERT and LDA
Inner Mongolia University(内蒙古大学)
本文提出微调Sentence-BERT结合LDA的主题挖掘方法,用于电商在线评论细粒度属性分析,主题一致性比对比模型高0.5,提升了主题提取准确性。
2025-04-07 cs.CL cs.IR
Coarse-grained Cross-lingual Alignment of Comparable Texts with Topic Models and Encyclopedic Knowledge
FBK(布鲁诺·凯斯勒基金会);HITS gGmbH(海德堡理论研究所)
我们提出了一种粗粒度的跨语言对齐可比文本的方法:段组成的连续段落,讨论相同的主题(如历史,经济)的基础上诱导的多语言主题对齐。该方法结合了三个想法:一个两级LDA模型,过滤掉不传达主题的单词,一个HMM模型的主题在文档集合中的排序,以及独立于语言的概念注释,作为跨语言的桥梁,并通过概念关系加强同一段中段落之间的联系。该方法进行评估,以前用于单语对齐的英语和法语数据。结果表明,国家的最先进的性能在单语和跨语言设置。
2014-11-28 cs.CL
Multiple topic identification in human/human conversations
University of Avignon(阿维尼翁大学);McGill University(麦吉尔大学);LIA, University of Avignon(阿维尼翁大学LIA(此处按原文提取,LIA可能为实验室或研究所,但根据规则若其本身为独立机构则需保留,此处按要求提取到大学级别,同时保留LIA))
本文讨论了自动分析的真实生活中的电话交谈之间的代理和客户服务(ccs)的客户。应用领域是巴黎的公共交通系统,目的是收集有关客户问题的统计数据,以便监控服务并决定干预的优先级,以提高用户满意度。分析的首要任务是检测客户问题的主题。主题在应用程序需求中定义,并且是ccs文档中隐含的应用程序本体的一部分。由于客户人口的多样性,与代理的对话结构是不可预测的。对话可以是关于一个或多个主题。主题提及可以与与应用程序目的无关的事实提及交错。此外,在某些会话中,主题提及被定位在特定的会话片段中,而在其他会话中,提及不能被定位。因此,考虑了具有和不具有提及定位的特征提取的方法。由自动过程识别的应用领域相关主题由特定句子表达,该特定句子的单词由自动语音识别(asr)系统假设。asr系统容易出错。单词的出错率很高有很多原因。其中值得一提的是不可预测的背景噪音,扬声器口音,和各种类型的语音不流利。由于应用任务要求主题提及比例的组合,本文引入了一种顺序决策策略,用于对给定时间段内提供的大量会话进行调查。该策略必须对对话进行抽样,以形成一个包含足够高精度分析数据的调查,以便能够以足够的精度估计比例。由于主题提及的不可预测的类型,考虑基于全局和局部特征提取的主题假设方法是适当的。该策略将考虑基于每种特征提取类型的两个系统。这四种方法中有一种是新颖的。它是基于一个新的定义的密度的主题提到和本地化的高密度区的边界不…
2018-12-29 cs.CL
RewriteLM: An Instruction-Tuned Large Language Model for Text Rewriting
Google Research(谷歌研究院)
针对LLM在跨句子重写任务中的不足,提出指令调优与强化学习新策略,并构建OpenRewriteEval基准,显著提升重写性能。
2023-12-19 cs.AI cs.CL
A Poisson convolution model for characterizing topical content with word frequency and exclusivity
Harvard University(哈佛大学)
在分析文档集合中的一个持续的挑战是如何根据一组推断的主题来概括内容,这些主题可以根据主题进行实质性解释。目前的做法是根据最常见的单词来参数化主题,这种做法忽略了不同主题之间单词的差异使用,从而限制了可解释性。我们认为,共同和专属的主题的话更有效地表征主题内容。我们考虑一个设置,专业编辑注释文档的主题类别的集合,组织成一个树,其中叶节点对应于最具体的主题。每个文档都被注释到树的不同级别的多个类别中。我们引入了一个层次泊松卷积模型来分析在这种设置的注释文档。该模型利用专业编辑定义的类别之间的结构,推断出一个明确的语义描述,为每个主题的话,是频繁和排他性的。我们在Amazon Turk上进行了一个大型的随机实验,以证明基于FREX分数的主题摘要比目前建立的基于频率的摘要更具可解释性,并且所提出的模型比目前的模型更有效地估计排他性。我们还开发了一个并行化的哈密顿蒙特卡罗采样器,允许的推断规模以百万计的文件。
2014-07-28 cs.CL cs.IR cs.LG
"Hunt Takes Hare": Theming Games Through Game-Word Vector Translation
Queen Mary University of London(伦敦玛丽女王大学);King’s College London(伦敦国王学院)
针对AI难理解操控游戏主题元素的问题,研究提出关联游戏嵌入与词嵌入的技术,阐释两种应用方法,证明其能提升游戏跨主题的概念翻译效果,为游戏主题推理提供新可能。
2024-05-16 cs.AI cs.CL
Interactive Concept Learning for Uncovering Latent Themes in Large Text Collections
Microsoft Research(微软研究院);University of Colorado Boulder(科罗拉多大学博尔德分校);Purdue University(普渡大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出一种交互式概念学习框架,通过编码不同抽象层级的专家反馈,在自动化与人工编码之间取得平衡,从而更有效地揭示大型文本集合中的潜在主题。
2024-10-21 cs.CL cs.HC
Multidimensional counting grids: Inferring word order from disordered bags of words
Microsoft Research(微软研究院)
词袋模型通常假设主题混合,使得单个词袋中的词来自有限数量的主题。我们在这里表明,许多套袋的话表现出非常不同的变化模式比有效地捕捉主题混合的模式。在许多情况下,从一个单词袋到下一个单词袋,单词消失,新的单词出现,好像主题在文档中缓慢而平稳地移动(假设文档以某种方式有序)。描述这种排序的潜在结构的例子很容易想象。例如,新闻故事日期的提前反映在当天主题的平稳变化中,因为某些不断发展的新闻故事不再受欢迎,新事件创造了新的故事。连续几天的故事之间的重叠可以通过使用在词上线性排列的紧密分布上的窗口来建模。我们在这里表明,这种策略可以扩展到多个维度和数据的顺序并不明显的情况下。我们证明,这种方式的建模在词出现的协变优于标准的主题模型在分类和预测任务中的应用在生物学,文本建模和计算机视觉。
2012-02-14 cs.CL cs.IR cs.LG
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);Independent(独立研究者)
本文提出机制性主题模型(MTMs),利用稀疏自编码器学习可解释特征,以揭示深层概念主题,并通过topic judge评估框架验证其有效性。
2026-08-25 cs.CL cs.LG
CLEAR: A Comprehensive Linguistic Evaluation of Argument Rewriting by Large Language Models
University of St. Gallen(圣加尔登大学)
本文提出CLEAR评估流程,通过57个指标从词汇、句法、语义和语用四个层面分析大语言模型在论辩改进任务中的重写行为,发现模型倾向于缩短文本、增加平均词长并合并句子,从而提升说服力与连贯性。
2025-09-18 cs.AI cs.CL
Topics in the Haystack: Extracting and Evaluating Topics beyond Coherence
TU Clausthal(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
在自然语言处理(NLP)中,从大型文本语料库中提取和识别潜在主题变得越来越重要。大多数模型,无论是类似于潜在狄利克雷分配(LDA)的概率模型还是神经主题模型,都遵循相同的主题可解释性和主题提取的基本方法。我们提出了一种方法,它结合了句子和文档主题的更深入的理解,并超越了简单地分析数据中的词频。这使得我们的模型能够检测潜在的主题,这些主题可能包括不常见的单词或新词,以及文档中不存在的单词。此外,我们提出了几个新的评估指标的基础上入侵者的话和相似性措施的语义空间。我们提出的相关系数与人类识别入侵者的话,并实现接近人类水平的结果,在词入侵任务。我们证明了我们的方法与一个大型的基准研究的竞争力的表现,并取得优异的结果相比,国家的最先进的主题建模和文档聚类模型。
2023-03-30 cs.CL
Controllable Text Simplification with Explicit Paraphrasing
Georgia Institute of Technology(佐治亚理工学院);University of Sheffield(谢菲尔德大学)
文本简化通过几种重写转换(如词汇释义、删除和拆分)来提高句子的可读性。目前的简化系统主要是序列到序列模型,这些模型经过端到端的训练,可以同时执行所有这些操作。然而,这些系统局限于大多删除单词,并且不能容易地适应不同目标受众的要求。在本文中,我们提出了一种新的混合方法,利用语言动机的分裂和删除规则,并将它们与神经释义模型耦合,以产生不同的重写风格。我们引入了一种新的数据增强方法来提高我们的模型的解释能力。通过自动和手动评估,我们表明,我们提出的模型建立了一个新的国家的最先进的任务,释义更经常比现有的系统,并可以控制每个简化操作应用到输入文本的程度。
2021-04-14 cs.CL
Innovation and Word Usage Patterns in Machine Learning
University of Brasilia(巴西利亚大学);Machine Learning Laboratory in Finance and Organizations (LAMFO), University of Brasilia(金融与组织机器学习实验室(LAMFO),巴西利亚大学);Tutorial Education Program (PET), University of Brasilia(辅导教育计划(PET),巴西利亚大学);National Institute of Science and Technology for Complex Systems (INCT-SC), University of Brasilia(国家复杂系统科学技术研究所(INCT-SC),巴西利亚大学)
本研究利用Latent Dirichlet Allocation识别机器学习领域核心主题,结合Kullback-Leibler Divergence量化研究新颖性,以此追踪主题演化轨迹,明确研究者与学术平台的关键作用。
2023-11-07 cs.CL cs.LG
Voice Under Revision: Large Language Models and the Normalization of Personal Narrative
Social Sciences D-Lab, University of California, Berkeley(社会科学D实验室,加州大学伯克利分校)
研究探讨大型语言模型如何通过改写影响个人叙述的风格和叙述质感,发现改写导致风格规范化,包括功能词、缩略语和第一人称代词减少,而词汇多样性、词长和标点使用增加,影响叙述方式和因果推理。
2026-04-24 cs.CL cs.CY
ylmmcl at Multilingual Text Detoxification 2025: Lexicon-Guided Detoxification and Classifier-Gated Rewriting
University of British Columbia, Canada(不列颠哥伦比亚大学)
本文提出融合多语言有毒词典标注、微调序列到序列模型与分类器迭代门控的多语言文本去毒流水线,在多语言上优于基线并获 PAN-2025 第九名。
2025-07-24 cs.CL cs.LG
Detecting Policy Preferences and Dynamics in the UN General Debate with Neural Word Embeddings
University College London(伦敦大学学院);University of Essex(埃塞克斯大学)
外交政策分析一直在努力寻找衡量政策偏好和国际政治体系范式转变的方法。本文提出了一种新的,潜在的解决方案,通过应用神经词嵌入(Word2vec)模型的数据集上的国家元首或政府首脑在联合国一般性辩论的讲话。本文根据Word2vec模型的输出提供了三个关键贡献。首先,它提出了一套政策注意力指数,综合政治演讲的语义接近特定的政策主题。其次,它引入了特定国家的语义中心性指数,基于国家的语义位置相对于彼此的拓扑分析。第三,它测试的假设,政治演讲的语义内容和联合国投票行为之间存在着统计关系,伪造它,并建议政治演讲包含不同性质的信息,然后投票结果。本文最后讨论了其结果的实际应用和外交政策分析,公共问责制和透明度的后果。
2017-07-11 cs.AI cs.CL stat.ML
Making New Connections: LLMs as Puzzle Generators for The New York Times' Connections Word Game
New York University(纽约大学);Jester Labs(杰斯特实验室)
本文研究GPT系列大语言模型生成《纽约时报》连线单词谜题的能力,提出基于思维树提示的生成方法,并通过用户研究证明AI能生成多样且富有挑战性和创造性的谜题。
2024-07-15 cs.AI cs.CL
Unsupervised extraction of local and global keywords from a single text
Alikhanyan National Laboratory(阿里哈尼扬国家实验室)
本研究提出一种无监督、不依赖语料库和语言的单文本关键词提取方法,基于词语空间分布与随机置换响应,可提取局部和全局关键词、挖掘文本主题,在长文本上效果优于现有方法,经人工和非人工指标验证有效,并揭示了关键词与章节划分的关联。
2024-06-14 cs.CL cs.DL
Generating Thematic Chinese Poetry using Conditional Variational Autoencoders with Hybrid Decoders
计算机诗歌生成是我们走向计算机写作的第一步。写作必须有主题。目前的方法使用序列到序列模型与注意往往产生非主题诗。我们提出了一种新的条件变分自编码器的混合解码器添加到一般的递归神经网络的反卷积神经网络充分学习主题信息通过潜变量。这种方法通过不仅以上下文敏感的方式而且以与给定关键字和所学主题高度相关的整体方式表示诗歌的每一行来显着提高所生成的诗歌的相关性。提出的增强word2vec模型进一步提高了韵律和对称性。测试结果表明,我们的方法生成的诗歌大多数是令人满意的规则和一致的主题,其中73.42%的人得到的总分不低于3(最高分为5)。
2020-03-05 cs.AI cs.CL cs.LG
User-Initiated Repetition-Based Recovery in Multi-Utterance Dialogue Systems
Apple(苹果公司)
识别错误在人类交流中很常见。类似的错误经常导致对话系统或虚拟助理中的不希望的行为。在人类交流中,我们可以通过重复错误识别的单词或短语来恢复它们;然而在人机交流中,这种恢复机制不可用。在本文中,我们试图弥合这一差距,并提出了一个系统,允许用户纠正语音识别错误的虚拟助手通过重复误解的话。当用户重复短语的一部分时,系统重写原始查询以包含更正。这种重写允许虚拟助理成功地理解原始查询。我们提出了一个端到端的两步注意指针网络,可以通过将错误理解的话语与纠正后续合并在一起来生成重写的查询。我们评估的数据收集这项任务的模型,并比较所提出的模型,以基于规则的基线和标准指针网络。我们表明,重写原始查询是一种有效的方法来处理基于重复的恢复,该模型优于基于规则的基线,减少字出错率19%,相对于2%的误报率注释数据。
2021-08-02 cs.CL cs.SD eess.AS