RA-RRG: Multimodal Retrieval-Augmented Radiology Report Generation with Key Phrase Extraction
DEEPNOID Inc.（DEEPNOID公司）；Department of Artificial Intelligence and Data Science, Sejong University（Sejong大学人工智能与数据科学系）
RA-RRG通过结合多模态检索与大语言模型生成放射学报告，减少幻觉和计算需求，实验显示在CheXbert指标上优于现有模型。
2026-04-18 cs.CL cs.CV cs.LG
Unsupervised Paraphrase Generation using Pre-trained Language Models
Fidelity Investments（富达投资）
大规模预训练语言模型已被证明是各种自然语言任务中非常强大的方法。OpenAI的GPT-2 \cite{radford2019language}以其生成流畅，良好表达，语法一致的文本和短语完成的能力而闻名。在本文中，我们利用GPT-2的这种生成能力来生成释义，而无需对标记数据进行任何监督。我们研究了结果与其他监督和无监督方法的比较，以及使用释义进行数据增强对下游任务（如分类）的影响。我们的实验表明，与我们的模型生成的释义是质量好，是多样的，并提高下游任务的性能时，用于数据增强。
2020-06-09 cs.CL cs.LG
Automated Phrase Mining from Massive Text Corpora
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Army Research Laboratory（陆军研究实验室）
短语挖掘是文本分析的基本任务之一，其目的是从文本语料库中提取高质量的短语。短语挖掘在诸如信息抽取/检索、分类构造和主题建模等各种任务中是重要的。大多数现有的方法依赖于复杂的，受过训练的语言分析器，因此可能在新领域和体裁的文本语料库上的性能不令人满意，而无需额外但昂贵的适应。近年来，一些数据驱动的方法已经被成功地开发出来，用于从大量特定领域的文本中提取短语。然而，没有一个最先进的模型是完全自动化的，因为它们需要人类专家来设计规则或标记短语。由于人们可以很容易地从公共知识库中获得许多高质量的短语，其规模远远大于人类专家所产生的规模，因此在本文中，我们提出了一种用于自动短语挖掘的新框架AutoPhrase，该框架以有效的方式利用了大量的高质量短语，并与有限的人类标记短语相比，实现了更好的性能。此外，我们开发了一个POS引导的短语分割模型，它结合了浅层句法信息的词性（POS）标签，以进一步提高性能，当一个POS标签可用。请注意，AutoPhrase可以支持任何语言，只要通用知识库（例如，Wikipedia），同时受益于但不需要POS标记器。与最先进的方法相比，新方法在不同领域和语言的五个真实数据集上的有效性有了显着提高。
2017-03-11 cs.CL
Effidit: Your AI Writing Assistant
Tencent AI Lab（腾讯人工智能实验室）
在这份技术报告中，我们介绍了Effidit（高效智能编辑），这是一款数字写作助手，通过使用人工智能（AI）技术，帮助用户更高效地撰写更高质量的文本。以前的写作助手通常提供错误检查功能（检测和纠正拼写和语法错误）和有限的文本重写功能。随着大规模神经语言模型的出现，一些系统支持自动完成句子或段落。在Effidit中，我们通过提供五类功能来显着扩展写作助手的能力：文本完成，错误检查，文本抛光，关键字到句子（K2S）和云输入法（云IME）。在文本补全类别中，Effidit支持基于生成的句子补全，基于检索的句子补全和短语补全。相比之下，到目前为止，许多其他写作助手只提供这三种功能中的一种或两种。对于文本润色，我们有三个功能：（上下文感知）短语润色，句子释义和句子扩展，而许多其他写作助手通常支持这一类中的一个或两个功能。本报告的主要内容包括Effidit的主要模块，实现这些模块的方法，以及一些关键方法的评估结果。
2022-08-04 cs.CL
Collocation2Text: Controllable Text Generation from Guide Phrases in Russian
Vyatka State University（维亚特卡国立大学）
大型预训练的语言模型能够生成各种流畅的文本。从提示开始，这些模型产生了一种可以不可预测地发展的叙事。现有的可控文本生成方法，即引导文本中的叙事在用户指定的方向，需要创建一个训练语料库和一个额外的耗时的训练过程。本文提出并研究了Collocation 2 Text，即插即用的自动可控文本生成方法在俄罗斯，它不需要微调。该方法是基于两个相互作用的模型：自回归语言ruGPT-3模型和自动编码语言ruRoBERTa模型。该方法的思想是根据自编码模型的输出分布来移动自回归模型的输出分布，以确保文本中的叙述向引导短语的连贯过渡，引导短语可以包含单个单词或搭配。自动编码模型能够考虑令牌的左上下文和右上下文，“告诉”自回归模型哪些令牌在当前生成步骤中是最合乎逻辑的和最不合乎逻辑的，从而增加或减少相应令牌的概率。使用该方法生成新闻文章的实验表明，它的有效性自动生成流畅的文本，其中包含用户指定的短语之间的连贯过渡。
2022-06-18 cs.CL
Euphemistic Phrase Detection by Masked Language Model
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
众所周知，边缘团体和组织使用委婉语（听起来普通、看起来无辜、具有秘密含义的词语）来隐藏他们正在讨论的内容。例如，毒品贩子经常用“锅”来表示大麻，用“鳄梨”来表示海洛因。从社交媒体内容审核的角度来看，尽管NLP的最新进展已经能够自动检测这种单字委婉语，但现有的工作还不能自动检测多词委婉语，例如“蓝色梦想”（大麻）和“黑色焦油”（海洛因）。我们的论文处理的问题，委婉语短语检测，而无需人工努力的第一次，据我们所知。我们首先在原始文本语料库上执行短语挖掘（例如，社交媒体帖子）来提取高质量的短语。然后，我们利用词嵌入相似性来选择一组委婉短语候选。最后，我们用一个屏蔽的语言模型-- SpanBERT对这些候选者进行排序。与强基线相比，我们报告使用我们的算法检测委婉短语的检测准确率高出20-50%。
2021-09-10 cs.CL
Fully automatic multi-language translation with a catalogue of phrases - successful employment for the Swiss avalanche bulletin
WSL Institute for Snow and Avalanche Research SLF（WSL雪与雪崩研究所SLF）；VU University Amsterdam（阿姆斯特丹自由大学）
瑞士雪崩公告每天用四种语言发布两次。由于缺乏可用于手动翻译的时间，基于预定义短语的目录和这些短语如何组合以产生句子的预定规则，采用全自动翻译系统。由于该短语目录仅限于小的子语言，因此该系统能够自动地将这些句子从德语翻译成目标语言法语、意大利语和英语，而无需随后的校对或校正。已经运作了两个冬季，我们在这里评估的质量产生的文本的基础上，两个不同的调查，参与者从两个来源，短语与手动编写和翻译文本的目录，从真正的雪崩公告的文本。平均识别率为55%，用户很难区分这两种类型的文本，并且对它们的语言质量给出非常相似的评级。总的来说，目录系统的输出可以被认为几乎等同于雪崩预报员编写的文本，然后由专业翻译人员手动翻译。此外，预报员宣布，该系统以足够的准确度捕捉到了所有相关情况。预报员的工作量并没有随着目录的引入而改变：他们不再需要仔细检查手动翻译的文本，从而弥补了寻找匹配句子的额外时间。预计每日翻译费用的减少将在几年内抵消最初的开发费用。
2015-09-23 cs.CL
Induction of Word and Phrase Alignments for Automatic Document Summarization
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
目前，在自动单文档摘要的研究主要是由两个有效的，但幼稚的方法：通过句子提取摘要，并通过词袋模型的标题生成。虽然在某些任务中取得了成功，但这些模型都无法充分捕捉人类在生成摘要时使用的大量语言设备。这些模型被广泛使用的一个可能的解释是，已经开发出了良好的技术，可以从现有的文档/摘要和文档/标题语料库中为其提取适当的训练数据。我们相信，自动摘要的未来进展将受到更复杂的语言信息模型的开发以及更有效地利用文档/摘要语料库的推动。为了打开大门，同时实现这两个目标，我们已经开发了自动生成文档及其人类书面摘要之间的单词到单词和短语到短语对齐的技术。这些对齐使得存在于这样的文档/摘要对中的对应关系变得明确，并且创建了复杂的摘要算法可以从中学习的潜在丰富的数据源。本文介绍了我们已经进行了实验，以分析人类的能力，执行这样的路线，并根据这些分析，我们描述了实验自动创建它们。我们的比对任务模型是基于标准隐马尔可夫模型的扩展，并学习以完全无监督的方式创建比对。我们详细描述了我们的模型，并给出了实验结果，这些结果表明我们的模型能够学习可靠地识别<document，abstract>对语料库中的单词和短语级别的对齐。
2009-07-04 cs.CL
Extracting Noun Phrases from Large-Scale Texts: A Hybrid Approach and Its Automatic Evaluation
从运行的文本中获取名词短语有许多应用，如词分组，术语索引等，已报道的文献采用纯概率的方法，或纯基于规则的名词短语语法来解决这个问题。在本文中，我们使用一个概率组块来确定成分的隐含边界，并利用语言学知识，通过有限状态机制来提取名词短语。测试文本为SUSANNE语料库，测试结果通过自动比较SUSANNE语料库的句法分析字段进行评价。这一初步试验的结果令人鼓舞。
1994-06-01 cmp-lg cs.CL
Automatic Creation of Named Entity Recognition Datasets by Querying Phrase Representations
Korea University（高丽大学）；Adobe Research（Adobe研究院）；AIGEN Sciences（AIGEN科学公司）
针对弱监督 NER 依赖专家词典且自动伪词典覆盖不足的问题，提出 HighGEN，通过短语嵌入搜索和嵌入距离验证生成高覆盖低噪声数据集，并在五个基准上平均 F1 提升 4.7。
2023-06-01 cs.CL
Corpus analysis without prior linguistic knowledge - unsupervised mining of phrases and subphrase structure
Ludwig Maximilians University（路德维希-马克西米利安大学）
在研究自然语言的结构时，“短语”和“词”是中心概念。我们认为，在一个完全基于语料库和语言独立的方式，而不使用任何形式的先前的语言知识，任何长度和潜在的组成原则的语言的“有意义的子部分”的识别问题。描述了用于识别“短语”、挖掘子短语结构和以全自动方式查找单词的无监督方法。这可以被认为是自动计算“语料库的通用词典和语法”的一个步骤。我们希望，从长远来看，我们的方法的变体也适用于其他类型的序列数据，例如，语音、基因组序列或音乐注释。即使我们不是主要感兴趣的即时应用程序，各种语言的结果表明，我们的方法是有趣的文本挖掘，术语提取和词典编纂，搜索引擎技术，以及相关领域的许多实际任务。
2016-02-18 cs.CL
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分，如主题识别，垃圾邮件过滤，电子邮件路由，语言识别，体裁分类，可读性评估等。当使用短语模式时，文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为，从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务，它使用语法检查，问答，信息抽取，机器翻译，文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
An Improved Phrase-based Approach to Annotating and Summarizing Student Course Responses
University of Pittsburgh（匹兹堡大学）；University of Central Florida（中佛罗里达大学）
大班教学仍然是一个巨大的挑战，主要是因为很难及时满足所有学生的需求。自动文本摘要系统可以用来总结学生的反馈，每次讲座后立即提交，但它是留给发现什么是一个很好的总结学生的反应。在这项工作中，我们探索一种新的方法，有效地提取摘要短语从学生的反应。每个短语都标有提出问题的学生人数。这些短语沿着两个维度进行评估：就文本内容而言，它们应该是信息丰富和形式良好的，由ROUGE度量标准衡量;此外，它们应该满足最迫切的学生需求，由新提出的度量标准衡量。这项工作是由一个基于短语的注释和突出显示方案，这是新的总结任务。基于短语的框架允许我们将学生的回答总结成一组要点，并及时呈现给教师。
2018-05-25 cs.CL
Evaluating the fully automatic multi-language translation of the Swiss avalanche bulletin
WSL Institute for Snow and Avalanche Research SLF（WSL雪与雪崩研究所SLF）；ETH Zurich（苏黎世联邦理工学院）；Universität Zürich（苏黎世大学）
瑞士雪崩公告每天用四种语言发布两次。由于缺乏可用于手动翻译的时间，基于预定义短语的目录和这些短语如何组合以产生句子的预定规则，采用全自动翻译系统。该系统能够自动将这些句子从德语翻译成目标语言法语、意大利语和英语，而无需随后的校对或更正。我们的短语目录仅限于一个小的子语言。预计每日翻译费用的减少将在几年内抵消最初的开发费用。经过两个冬季的运作，我们在这里评估所产生的文本的质量的基础上进行评估，其中参与者从两个来源，短语目录与手工编写和翻译的文本的真实危险描述的评价。平均识别率为55%，用户几乎无法区分这两种类型的文本，并且对它们的语言质量给出类似的评级。总的来说，目录系统的输出可以被认为几乎等同于雪崩预报员编写的文本，然后由专业翻译人员手动翻译。此外，预报员宣布，该系统在有限的时间内以足够的准确度捕捉到了所有相关情况。
2014-05-23 cs.CL
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University（西北工业大学）；Chongqing Changan Automobile Co., Ltd.（重庆长安汽车有限公司）
针对ASR中子词独立增强损害短语完整性的问题，提出基于动态词表预测与激活的短语级语境化ASR方法，引入偏置损失和置信度激活解码，在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
Design and Implementation of English To Yorùbá Verb Phrase Machine Translation System
Obafemi Awolowo University（奥巴费米·阿沃洛沃大学）
本文设计并实现了一个英语到约鲁巴语的动词短语机器翻译系统，结合词典匹配、上下文无关文法和有限状态自动机，在人工评估中超过70%的响应优于谷歌翻译。
2023-08-05 cs.CL
Classifying Cue Phrases in Text and Speech Using Machine Learning
提示短语可以在语篇意义上明确地表示语篇结构，也可以在语义意义上传达语义信息而不是结构信息。本文探讨了使用机器学习分类提示短语作为话语或话语。两个机器学习程序（Ccludel和C4.5）被用来从预分类的提示短语及其特征集合中归纳分类规则。机器学习被证明是一种有效的技术，不仅可以自动生成分类规则，而且可以改进以前的结果。
1994-05-09 cmp-lg cs.CL
Progressive Multi-Granularity Training for Non-Autoregressive Translation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）；JD Explore Academy, JD.com（京东探索研究院，京东）
非自回归翻译（NAT）通过预测整个目标序列来显著加速推理过程。然而，最近的研究表明，NAT在学习高模式的知识，如一对多的翻译是薄弱的。我们认为，模式可以分为各种粒度，可以从容易到困难的学习。在这项研究中，我们的经验表明，NAT模型更倾向于学习细粒度的低模式知识，如单词和短语，与句子相比。在此基础上，我们提出了渐进式多粒度NAT训练方法。为了充分利用训练数据，我们将训练层样本分为词、短语、句子三种类型，并随着训练的进行逐步增加粒度。罗马尼亚语-英语，英语-德语，汉语-英语和日语-英语的实验表明，我们的方法提高了短语翻译的准确性和模型重新排序的能力，从而导致更好的翻译质量对强大的NAT基线。此外，我们表明，更多的确定性细粒度的知识可以进一步提高性能。
2021-06-11 cs.CL
Phrase-Level Adversarial Training for Mitigating Bias in Neural Network-based Automatic Essay Scoring
Eötvös Lorand University（厄特沃什·罗兰大学）；University of Groningen（格罗宁根大学）
本文提出一种与模型无关的短语级对抗作文生成与数据增强方法，以缓解AES模型对高频样本的偏见，并在多种神经网络评分模型上验证其稳健性与性能提升。
2024-09-07 cs.AI cs.CL cs.LG
Rethinking Word-Level Auto-Completion in Computer-Aided Translation
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
本文重新思考计算机辅助翻译中词级自动补全（WLAC）的标准，提出一种通用方法促使模型遵循该标准，在更小模型规模下超越了WMT2022最优系统。
2023-10-24 cs.CL
Learning from Past Mistakes: Improving Automatic Speech Recognition Output via Noisy-Clean Phrase Context Modeling
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
自动语音识别（ASR）系统经常由于子系统修剪（声学、语言和发音模型）而产生不可恢复的错误;例如，在基于语言学用长期上下文重新评分之前，由于使用短期上下文的声学而修剪单词。在这项工作中，我们建模ASR作为一个基于短语的嘈杂的变换通道，并提出了一个纠错系统，可以从所有独立的模块组成的ASR的聚合错误，并试图反转这些。所提出的系统可以使用神经网络语言模型来利用长期上下文，并且可以更好地在现有ASR输出可能性之间进行选择，以及重新引入先前修剪的或看不见的（词汇表外的）短语。它在性能不佳的ASR条件下提供校正，而不会降低任何准确的transmittance;这种校正在域外和不匹配的数据ASR上更大。我们的系统始终如一地提供了对基线ASR的改进，即使基线通过递归神经网络语言模型重新评分进一步优化。这表明，任何ASR改进都可以独立利用，并且我们提出的系统仍然可以为高度优化的ASR提供好处。最后，我们提出了一个广泛的分析，我们的系统纠正的错误类型。
2019-03-28 cs.CL cs.SD eess.AS
Noun-Phrase Analysis in Unrestricted Text for Information Retrieval
信息检索是自然语言处理的一个重要应用领域，人们面临着处理大量不受限制的自然语言文本的真正挑战。本文介绍了几种简单、健壮、高效的名词短语分析技术在信息检索中的应用。特别是，我们描述了一种混合的方法来提取有意义的（连续或不连续）子复合词从复杂的名词短语使用语料库统计和语言学。实验结果表明，基于这种提取的子复合词的索引提高了信息检索系统的查全率和查准率。名词短语分析技术在图书标引和主题词表自动抽取方面也有潜在的应用价值。
1996-05-13 cmp-lg cs.CL
Detecting multiword phrases in mathematical text corpora
Cologne University of Applied Sciences（科隆应用科学大学）；Institute of Information Science（信息科学研究所）
本文提出了一种在数学文本语料库中检测多词短语的方法。所使用的方法是基于数学术语的特征。它使用一个名为Lingo的软件工具，可以通过以前定义的词典识别特定的词类，如形容词，人名或名词。多字组的检测是通过算法完成的。索引和信息检索的方法可能的优点和应用基于字典的自动索引的方法，而不是词干程序的结论进行了讨论。
2012-10-02 cs.CL cs.IR
Unsupervised Keyphrase Extraction via Interpretable Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
关键词提取的目的是自动提取一个列表的“重要”的短语表示的关键概念，在一个文件。用于无监督关键短语提取的先前方法通过嵌入聚类或图中心性诉诸于短语重要性的启发式概念，需要广泛的领域专业知识。我们的工作提出了一个简单的替代方法，它定义为文档短语的关键词是突出的预测文档的主题。为此，我们提出了检查-一种方法，使用自我解释模型，通过测量输入短语对文档主题分类的下游任务的预测影响来识别文档中有影响力的关键短语。我们证明了这种新方法不仅满足了对ad-hoc关键词提取的需求，而且在两个领域的四个数据集中实现了无监督关键词提取的最新结果：科学出版物和新闻文章。
2023-02-17 cs.CL
Subword Language Model for Query Auto-Completion
Clova AI, NAVER Corp.（NAVER公司Clova AI）
目前的神经查询自动完成（QAC）系统依赖于字符级语言模型，但当查询很长时，它们会变慢。我们提出了如何利用子字语言模型的快速和准确的生成查询完成候选。用子词表示查询显著缩短了解码长度。针对引入子词语言模型所带来的问题，提出了一种基于近似边缘化的回溯算法和重排序方法。因此，我们的模型实现了高达2.5倍的速度，同时与字符级基线相比，保持了类似的生成结果质量。此外，我们提出了一个新的评估指标，平均可恢复长度（MRL），衡量有多少即将到来的字符模型可以正确完成。它提供了更明确的含义，并消除了对现有的基于秩的度量的前缀长度采样的需要。此外，我们进行了全面的分析与消融研究，以找出每个组件的重要性。
2019-09-02 cs.CL
Neural embeddings for metaphor detection in a corpus of Greek texts
National and Kapodistrian University of Athens（雅典国立与卡波迪斯特里亚大学）
NLP面临的主要挑战之一是隐喻检测，特别是通过自动手段，对于缺乏语言资源和工具的语言来说，这项任务变得更加困难。我们的目的是通过机器学习的计算方法，从希腊语语料库中的真实的无注释短语的字面意义和隐喻意义之间的自动微分。为此目的，分布语义学的理论背景进行了讨论和就业。分布语义学理论根据语言元素的分布特性，提出了对大量语言数据中语言元素所表现出的语义相似性进行量化和分类的概念和方法。根据这一模型，本文所采用的方法考虑到了语言环境，用于计算短语在几何空间中的分布表示，以及与其他短语的分布表示进行比较，这些短语在言语中的功能已经是“已知的”，目的是得出关于它们在特定语言环境中的字面或隐喻功能的结论。这一程序旨在解决希腊语缺乏语言资源的问题，因为迄今为止几乎不可能在“短语”之间进行语义比较，这种比较采取的形式是对它们在几何空间中的分布表示进行算术比较。
2019-02-10 cs.CL
Exploiting Similarities among Languages for Machine Translation
Google Inc.（谷歌公司）
词典和短语表是现代统计机器翻译系统的基础。本文提出了一种方法，可以自动生成和扩展字典和短语表的过程。我们的方法可以通过学习语言结构的基础上大单语数据和语言之间的映射，从小双语数据翻译丢失的单词和短语条目。它使用单词的分布式表示，并学习语言向量空间之间的线性映射。尽管简单，我们的方法是令人惊讶的有效：我们可以实现几乎90%的精度@5英语和西班牙语之间的单词翻译。这种方法对语言的假设很少，因此它可以用于扩展和改进任何语言对的词典和翻译表。
2013-09-17 cs.CL
Phrase-Based & Neural Unsupervised Machine Translation
Facebook AI Research（脸书人工智能研究院）；Sorbonne Universités（索邦大学）；Université Le Mans（勒芒大学）
机器翻译系统在某些语言上实现了接近人类水平的性能，但它们的有效性强烈依赖于大量并行句子的可用性，这阻碍了它们对大多数语言对的适用性。这项工作研究了在只能访问每种语言的大型单语语料库时如何学习翻译。我们提出了两种模型变体，神经和基于短语的模型。这两个版本都利用了参数的仔细初始化、语言模型的去噪效果以及通过迭代反向翻译自动生成并行数据。这些模型明显优于文献中的方法，同时更简单，超参数更少。在广泛使用的WMT'14英-法和WMT'16德-英基准测试中，我们的模型在不使用单个平行句子的情况下分别获得了28.1和25.2个BLEU点，比现有技术高出11个BLEU点。在英语-乌尔都语和英语-罗马尼亚语等低资源语言上，我们的方法比半监督和监督方法利用可用双文本的缺乏取得了更好的结果。我们的NMT和PBSMT代码是公开的。
2018-08-13 cs.CL
Actionable Phrase Detection using NLP
可诉性句子是指在最基本的意义上，暗示采取特定行动的必要性的术语。在语言学术语中，它们是实现操作的步骤，通常通过使用动作动词。例如，“明天之前完成你的家庭作业”这句话是可诉的，因为它要求采取一个具体的行动（在这种情况下，完成家庭作业）。相比之下，一个简单的句子，如“我喜欢弹吉他”，并不符合可操作的短语，因为它只是陈述了一个人的个人选择，而不是要求完成一项任务。在本文中，目的是探索是否可以使用从头开始设计的语言过滤器从原始文本中提取可识别项。这些过滤器专门用于使用迁移学习作为主导角色来识别可操作的文本。可操作检测可用于在危机期间检测紧急任务，急救指导准确性，也可用于制作生产力工具，如会议中的自动ToDo列表生成器。为了实现这一点，我们使用安然电子邮件数据集，并在清理后的文本数据上应用我们的语言过滤器。然后，我们使用迁移学习和通用句子编码器来训练一个模型，以分类给定的原始文本字符串是否可操作。
2022-10-30 cs.CL
Automatic Sentence Completion Using Bengali Audio Speech with a Transformer-Based Early Speech Recognition System
Daffodil International University（达福迪尔国际学校）；Department of Computer Science and Engineering, Daffodil International University（达福迪尔国际学校计算机科学与工程系）
本研究针对孟加拉语这一代表性不足的语言，开发了结合Transformer语音识别与Bi-LSTM注意力机制的系统，用于检测痴呆症并实现对话中的句子自动补全，填补了相关领域空白。
2026-10-16 cs.CL
Improving Neural Language Models by Segmenting, Attending, and Predicting the Future
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
常见的语言模型通常根据上下文预测下一个单词。在这项工作中，我们提出了一种方法，通过学习对齐给定的上下文和下面的短语，提高语言建模。该模型不需要任何语言注释的短语分割。相反，我们定义了句法高度和短语分割规则，使模型能够自动归纳短语，识别其特定任务的头部，并以无监督学习的方式生成短语嵌入。我们的方法可以很容易地应用到语言模型与不同的网络架构，因为一个独立的模块用于短语归纳和上下文短语对齐，并在底层的语言建模网络不需要改变。实验表明，我们的模型在不同的数据集上优于几个强基线模型。我们在Wikitext-103数据集上实现了17.4困惑度的最新性能。此外，可视化短语归纳模块的输出表明，我们的模型能够在没有任何注释的情况下学习近似的短语级结构知识。
2019-06-04 cs.CL cs.LG
Constructing Phrase-level Semantic Labels to Form Multi-Grained Supervision for Image-Text Retrieval
Fudan University（复旦大学）；Zhejiang Lab（之江实验室）；Princeton University（普林斯顿大学）
现有的图像文本检索研究主要依靠文本级监督来区分查询图像的匹配和不匹配句子。然而，图像和句子之间的语义不匹配通常发生在更细的粒度中，即，短语级。在本文中，我们探索引入额外的短语级监督，以更好地识别文本中的不匹配单元。在实践中，多粒度的语义标签自动构建的查询图像在句子级和短语级。我们为匹配的句子构建文本场景图，并提取实体和三元组作为短语级标签。为了整合句子级和短语级的监督，我们提出了语义结构感知多模态Transformer（SSAMT）多模态表示学习。在SSAMT中，我们利用不同类型的注意力机制来加强视觉和语言双方多粒度语义单元的交互。对于训练，我们从全局和局部角度提出了多尺度匹配损失，并惩罚不匹配的短语。在MS-COCO和Flickr 30 K上的实验结果表明了该方法的有效性。
2021-09-12 cs.CL cs.CV
SemEval-2022 Task 7: Identifying Plausible Clarifications of Implicit and Underspecified Phrases in Instructional Texts
University of Stuttgart（斯图加特大学）；Institute for Natural Language Processing（自然语言处理研究所）
本文介绍 SemEval-2022 任务 7，研究教学文本中隐式与欠明确短语的澄清合理性自动判断，最佳系统准确率达 68.9%，并证明其预测可用于识别多合理澄清语境。
2023-09-21 cs.CL
Personalized Language Model for Query Auto-Completion
University of Washington（华盛顿大学）
查询自动完成是搜索引擎的一个功能，通过该功能，系统在用户键入时建议完成的查询。最近，建议使用递归神经网络语言模型作为生成查询补全的方法。我们展示了如何使用自适应的语言模型来生成个性化的补全，以及该模型如何使用在线更新来为训练过程中看不到的用户进行预测。个性化预测明显优于不使用用户信息的基线。
2018-04-25 cs.CL cs.IR
INarIG: Iterative Non-autoregressive Instruct Generation Model For Word-Level Auto Completion
Huawei Translation Service Center（华为翻译中心）
本文提出 INarIG 模型，将人工键入序列构建为指令单元并结合子词迭代解码，用于词级自动补全，在低频词场景及 WMT22 等基准上取得最优效果，准确率最大提升超 10%。
2023-11-30 cs.CL
SC-Ques: A Sentence Completion Question Dataset for English as a Second Language Learners
TAL Education Group（好未来教育集团）；Guangdong Institute of Smart Education, Jinan University（暨南大学广东省智慧教育研究院）；City University of Hong Kong（香港城市大学）；Shenzhen Everants Technology（深圳云之鼎科技有限公司）
本文提出了面向ESL学习者的大规模句子填空数据集SC-Ques，包含289,148道真实考试题目，并基于预训练语言模型构建自动解题基准，通过详细分析模型性能、局限性与权衡推动该领域研究。
2023-04-07 cs.AI cs.CL
Efficient Neural Query Auto Completion
LinkedIn（领英）
查询自动补全（QAC）作为信息检索任务的起点，对用户体验至关重要。通常它有两个步骤：根据查询前缀生成完整的查询候选，并根据提取的特征进行排序。查询自动完成系统面临三个主要挑战：（1）QAC有严格的在线延迟要求。对于每个查询，结果必须在几十毫秒内返回，这对为其设计复杂的语言模型提出了重大挑战。（2）对于不可见查询，生成的候选查询质量很差，因为上下文信息没有得到充分利用。(3)传统的QAC系统严重依赖于手工制作的功能，如搜索日志中的查询候选频率，缺乏足够的语义理解的候选人。在本文中，我们提出了一个有效的神经QAC系统与有效的上下文建模，以克服这些挑战。在候选生成方面，该系统使用尽可能多的信息，在看不见的前缀，以产生相关的候选人，增加了很大幅度的召回。在候选排序方面，提出了一种非规范化的语言模型，有效地捕捉了查询的深层语义。这种方法比最先进的神经排序方法具有更好的排序性能，并且与神经语言建模方法相比，减少了$\sim$ 95\%的延迟。在公开数据集上的实验结果表明，该模型在准确性和效率之间取得了较好的平衡。该系统在LinkedIn求职中提供服务，并观察到显著的产品影响。
2020-08-06 cs.CL
Detection of tortured phrases in scientific literature
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
本文提出基于语言模型的自动检测方法，通过嵌入相似性或掩码标记预测识别科学文献中的扭曲短语，最佳方法在召回率0.87和精确率0.61下有效发现新短语。
2024-02-02 cs.AI cs.CL cs.DL
Improving Contextual Spelling Correction by External Acoustics Attention and Semantic Aware Data Augmentation
Microsoft Corporation（微软公司）
我们以前提出了上下文拼写校正（CSC），以纠正输出端到端（E2 E）自动语音识别（ASR）模型与上下文信息，如姓名，地点等，虽然CSC已经取得了合理的改善偏置问题，仍然有两个缺点，进一步提高准确性。首先，由于纯文本假设中的信息限制或ASR模型在稀有域上的弱性能，CSC模型可能无法纠正具有相似发音的短语或反上下文情况，其中所有偏见短语都不存在于话语中。第二，CSC的训练和推理之间存在差异。训练中的偏差列表是随机选择的，但在推理中，地面真实短语和其他短语之间可能存在更多的相似性。针对上述问题，本文提出了一种改进的非自回归（NAR）拼写纠正模型，用于E2 E神经元ASR系统中的语境偏差问题，从两个方面对已有的CSC模型进行了改进：首先，在CSC模型中加入了带有外部注意力的声学信息以及文本假设，以更好地区分目标短语和不相似或不相关的短语。其次，我们在训练短语中设计了一个语义感知的数据增强模式，以减少训练和推理之间的不匹配，从而进一步提高偏置精度。实验结果表明，在不同的偏置列表名字覆盖率下，改进的方法比基准ASR+Biasing系统的相对名字召回率提高了20.3%，并且与之前的CSC方法相比，取得了稳定的改进。
2023-02-22 cs.CL cs.LG cs.SD
Visual Natural Language Query Auto-Completion for Estimating Instance Probabilities
Columbia University（哥伦比亚大学）
我们提出了一个新的任务，估计实例概率的查询自动完成。我们完成了一个用户查询前缀的图像条件。给定完整的查询，我们微调BERT嵌入，以估计广泛的实例集的概率。所得到的实例概率用于选择，同时与分割或注意力机制无关。我们的研究结果表明，使用语言和视觉的自动完成比只使用语言更好，并且微调BERT嵌入可以有效地对图像中的实例进行排名。本着可重复研究的精神，我们提供我们的数据、模型和代码。
2019-10-10 cs.CL cs.CV cs.LG
Translation Word-Level Auto-Completion: What can we achieve out of the box?
ADAPT Centre（ADAPT中心）；School of Computing（计算学院）；National College of Ireland（爱尔兰国家学院）；Dublin City University（都柏林城市大学）
机器翻译的研究在多个领域取得了重要突破。虽然要在这一成功的基础上再接再厉还有很多工作要做，但我们认为，语言行业需要更好的方法来充分利用目前的成就。由于时间、资源和技能等多种因素的综合影响，企业倾向于将实用主义应用于其人工智能工作流程。因此，他们更关注结果，例如交付，运输，发布和功能，并在可能的情况下采用高水平的工作生产解决方案。被认为对翻译人员有帮助的功能包括句子级和单词级翻译、自动建议和自动完成。建议替代方案可以激励翻译人员，限制他们参考外部资源的需求，这有望提高他们的生产力。这项工作描述了我们提交给WMT的共享任务的词级自动完成，为中文到英文，英文到中文，德语到英语，和英语到德语的语言方向。我们研究了使用预训练模型和可用库中的开箱即用功能的可能性。我们采用随机抽样产生不同的替代品，这表明了良好的效果。此外，我们还介绍了基于CTranslate2的开源API，用于提供翻译、自动建议和自动完成。
2022-10-23 cs.CL cs.HC
Extracting Emotion Phrases from Tweets using BART
本文提出一种基于问答框架和BART模型的情感短语提取方法，通过分类器预测答案边界，实现了87%的最终损失和0.61的Jaccard分数，克服了传统方法忽略具体情感短语的缺陷。
2024-07-27 cs.CL cs.LG stat.AP
Personalized neural language models for real-world query auto completion
National Center for Biotechnology Information（美国国立生物技术信息中心）；National Library of Medicine, NIH（美国国立卫生研究院国家医学图书馆）
查询自动完成（QAC）系统是行业中搜索引擎的标准部分，帮助用户制定查询。这样的系统在用户输入每个字符后更新他们的建议，使用各种信号预测用户的意图-最常见的信号之一是流行度。最近，已经提出了用于QAC任务的深度学习方法，以专门解决先前基于流行度的方法的主要限制：无法预测未见过的查询。在这项工作中，我们改进了以前的基于神经语言建模的方法，目标是建立一个端到端的系统。我们特别注重使用真实世界的数据，在可能的情况下整合用户信息以提供个性化建议。我们还利用时间信息，并研究如何增加多样性的建议，同时研究对可扩展性的影响。我们的实证结果表明，在准确性和可扩展性方面，两个独立的数据集比以前的最佳方法有了显着的改进，朝着生产搜索引擎中的神经查询自动完成迈出了一步。
2018-05-09 cs.AI cs.CL
Towards Controlled Transformation of Sentiment in Sentences
Maastricht University（马斯特里赫特大学）
开发许多自然语言处理产品的一个障碍是获得满意结果所需的大量训练样本。生成这些示例通常是一项繁琐且耗时的任务。本文提出了一种转换句子情感的方法，以减少生成更多训练数据的工作量。这意味着一个句子可以转换为一个相反的情感句子，并且应该减少一半的文本生成所需的工作。建议的管道包括一个情感分类器与注意力机制，以突出的短句，确定一个句子的情感。然后，使用基线模型和自动编码器方法将这些短语更改为相反情感的短语。实验运行在管道的单独部分以及端到端模型上。情感分类器的准确性进行了测试，并发现执行充分。测试自动编码器如何改变编码短语的情感，发现这样的任务是可能的。我们使用人工评估来判断完整（端到端）流水线的性能，这表明使用词向量的模型优于编码器模型。数值评估显示，情感变化的成功率为54.7%。
2019-01-31 cs.AI cs.CL
Router-Suggest: Dynamic Routing for Multimodal Auto-Completion in Visually-Grounded Dialogs
IIT Kharagpur（印度IIT卡拉格浦大学）；Microsoft（微软公司）
Router-Suggest 通过动态路由选择文本模型和 VLMs，提升多模态对话中的自动补全效率和用户满意度。
2026-01-09 cs.AI cs.CL cs.CV
Semantically Driven Auto-completion
Bloomberg（彭博）
30多年来，彭博终端一直是金融数据和分析的主要来源。通过其数千种功能，终端允许其用户查询和运行分析大量数据源，包括结构化，半结构化和非结构化数据;以及绘制图表、设置事件驱动的警报和触发器、创建交互式地图、通过即时消息和电子邮件样式的消息交换信息等。为了改善用户体验，我们一直在构建问答系统，该系统能够理解用户基本感兴趣的各种领域的大范围自然语言结构。这样的自然语言界面虽然对用户非常有帮助，但也带来了许多可用性方面的挑战。我们通过自动完成查询公式来解决其中的一些挑战。我们的自动补全系统的一个显著特点是它们是基于相应的语义解析系统并由其指导的。我们描述了自动完成的问题，因为它出现在这种情况下，我们用来解决它的新算法，并报告的质量的结果和我们的方法的效率。
2019-06-22 cs.CL cs.IR
The DeLiVerMATH project - Text analysis in mathematics
FIZ Karlsruhe/Zentralblatt MATH（FIZ Karlsruhe/Zentralblatt MATH（卡尔斯鲁厄研究中心/数学中央文献库））；FIZ Karlsruhe（卡尔斯鲁厄研究中心（FIZ Karlsruhe））；Zentralblatt MATH（数学中央文献库（Zentralblatt MATH））
高质量的内容分析对于检索功能至关重要，但手动提取关键短语和分类的成本很高。自然语言处理提供了一个框架来自动化这个过程。在这里，一个基于机器的方法进行内容分析的数学文本。提出了一个数学文本关键短语抽取和分类的原型系统。
2013-06-07 cs.CL cs.DL cs.IR
Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
机器翻译（MT）系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译（NMT）已经引领了机器翻译领域，但我们对它如何以及为什么工作的理解很差。在本文中，我们通过评估NMT模型与短语表（双语词典的可解释表）学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明，该短语表是合理的，对语言对和随机种子是一致的。我们发现，NMT模型配备了可解释的短语表，学习模式从简单到复杂，并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展（例如，翻译），并报告一些有趣的发现。我们相信，这项工作开辟了一个新的角度来解释NMT的统计模型，并提供了经验支持的最新进展，改进NMT模型。
2020-04-28 cs.CL cs.LG
An Unsupervised Semantic Sentence Ranking Scheme for Text Documents
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
本文提出了语义句子排名（SSR），一个无监督的计划自动排名句子在一个单一的文件，根据其相对重要性。特别地，SSR从文本文档中提取关键词和短语，并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体，对第一个图上的短语和单词以及第二个图上的句子进行评分。然后，它将这些分数结合起来，生成每个句子的最终分数。最后，SSR解决了一个多目标优化问题，排名句子的基础上，他们的最终得分和主题的多样性，通过语义子主题聚类。在二次时间内运行的SSR的实现，它优于，在SummBank基准，每个单独的法官的排名，并与所有法官的综合排名相比。
2020-04-28 cs.CL cs.IR cs.LG
Auto Completion of User Interface Layout Design Using Transformer-Based Tree Decoders
Google Research（谷歌研究院）
它已在该领域越来越感兴趣的是开发自动机械，以促进设计过程。在本文中，我们专注于辅助图形用户界面（UI）布局设计，在应用程序开发的一个重要任务。给定设计师输入的部分布局，我们的模型通过预测具有正确位置和维度以及层次结构的剩余UI元素来学习完成布局。这种自动化将大大减轻UI设计师和开发人员的工作。虽然我们专注于界面布局预测，我们的模型可以普遍适用于其他布局预测问题，涉及树结构和二维布局。特别地，我们设计了两个版本的基于transformer的树解码器：指针和递归Transformer，并在公共数据集上实验这些模型。我们还提出了几个指标，用于测量树预测的准确性和地面这些指标在领域的用户体验。这为深度学习的研究提供了新的课题和方法。
2020-01-14 cs.CL cs.HC cs.LG
