Fast Statistical Parsing of Noun Phrases for Document Indexing
信息检索(IR)是自然语言处理(NLP)的一个重要应用领域,人们遇到了处理大量无限制自然语言文本的真正挑战。虽然已经做出了很大的努力,将NLP技术应用于IR,但很少有NLP技术在大于几兆字节的文档集合上进行评估。许多NLP技术在处理大量文本时效率不够高,也不够健壮。本文提出了一种新的概率模型的名词短语分析,并报告了这样的分析技术,以提高文档索引的应用。使用语法分析器提供的短语,以补充单个单词的索引的有效性进行评估与250兆字节的文档集合。实验结果表明,在单个词的基础上增加句法短语进行索引,可以显著提高检索性能。
1997-02-12 cmp-lg cs.CL
Automatic extraction of paraphrastic phrases from medium size corpora
本文提出了一个通用的系统,旨在获取释义短语从一个有代表性的语料库。为了减少用于NLP系统(例如信息抽取,IE)的资源的详细描述所花费的时间,我们建议使用机器学习系统,该系统有助于定义新的模板和相关的资源。这些知识是从文本集合中自动获得的,与大型语义网络进行交互。
2005-09-28 cs.AI cs.CL
Phrase Retrieval Learns Passage Retrieval, Too
Princeton University(普林斯顿大学);Korea University(高丽大学)
密集检索方法在一系列自然语言处理问题中显示出比稀疏检索方法更好的前景。其中,密集短语检索是最细粒度的检索单元,因为短语可以直接用作问答和槽填充任务的输出。在这项工作中,我们遵循的直觉,检索短语自然需要检索较大的文本块,并研究短语检索是否可以作为粗层次检索,包括段落和文件的基础。我们首先观察到,与段落检索器相比,密集短语检索系统在没有任何再训练的情况下已经实现了更好的段落检索准确度(前5名准确度为+3-5%),这也有助于以更少的段落实现卓越的端到端QA性能。然后,我们提供了一个解释,为什么短语级监督有助于学习更好的细粒度蕴涵相比,短语级监督,也表明,短语检索可以得到改善,以实现有竞争力的性能,在文档检索任务,如实体链接和知识为基础的对话。最后,我们展示了短语过滤和矢量量化如何将索引的大小减少4 - 10倍,使密集短语检索成为多粒度检索中实用且通用的解决方案。
2021-09-16 cs.CL cs.IR
OKGIT: Open Knowledge Graph Link Prediction with Implicit Types
Indian Institute of Science(印度科学学院)
开放知识图谱(OpenKG)是指使用OpenIE工具从语料库中提取的一组(中心名词短语、关系短语、尾名词短语)三元组,例如(tesla,return to,new york)。虽然OpenKG很容易为某个领域引导,但它们非常稀疏,远不能直接用于最终任务。因此,预测新事实的任务,即,当在诸如文本理解、问答和web搜索查询推荐的下游任务中使用这些图时,链接预测成为重要的步骤。OpenKG的学习嵌入是链接预测的一种方法,最近受到了一些关注。然而,在仔细检查,我们发现,目前的OpenKG链接预测算法往往预测名词短语(NP)与不兼容的类型为给定的名词和关系短语。我们在这项工作中解决这个问题,并提出OKGIT,提高OpenKG链接预测使用新的类型兼容性得分和类型正则化。通过在多个数据集上的大量实验,我们证明了所提出的方法在链接预测任务中产生类型兼容的NP的同时实现了最先进的性能。
2021-06-24 cs.CL
Joint Open Knowledge Base Canonicalization and Linking
Nankai University(南开大学);Tsinghua University(清华大学)
开放式信息抽取(OIE)方法从文本中抽取出大量的OIE三元组(名词短语、关系短语、名词短语),组成大型的开放式知识库(OKB)。然而,OKB中的名词短语和关系短语并不规范,经常出现在不同的释义文本变体中,这导致了冗余和歧义的事实。为了解决这个问题,有两个相关的任务:OKB规范化(即,将NP和RP转化为规范化形式)和OKB连接(即,将NP和RP与它们在策划的知识库中的对应实体和关系链接起来(例如,DBPedia)。这两个任务是紧密耦合的,一个任务可以从另一个任务中受益匪浅。然而,迄今为止,它们一直被孤立地研究。本文首次探讨了OKB规范化和链接的联合任务,并提出了一个基于因子图模型的新框架JOCL,使两者相互加强。JOCL足够灵活,可以结合来自两个任务的不同信号,并能够扩展以适应任何新的信号。通过对两个大规模OIE三重数据集的实验研究表明,我们的框架在平均F1(准确性)方面优于所有用于OKB规范化(OKB链接)任务的基线方法。
2022-12-02 cs.AI cs.CL
Automated Phrase Mining from Massive Text Corpora
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Army Research Laboratory(陆军研究实验室)
短语挖掘是文本分析的基本任务之一,其目的是从文本语料库中提取高质量的短语。短语挖掘在诸如信息抽取/检索、分类构造和主题建模等各种任务中是重要的。大多数现有的方法依赖于复杂的,受过训练的语言分析器,因此可能在新领域和体裁的文本语料库上的性能不令人满意,而无需额外但昂贵的适应。近年来,一些数据驱动的方法已经被成功地开发出来,用于从大量特定领域的文本中提取短语。然而,没有一个最先进的模型是完全自动化的,因为它们需要人类专家来设计规则或标记短语。由于人们可以很容易地从公共知识库中获得许多高质量的短语,其规模远远大于人类专家所产生的规模,因此在本文中,我们提出了一种用于自动短语挖掘的新框架AutoPhrase,该框架以有效的方式利用了大量的高质量短语,并与有限的人类标记短语相比,实现了更好的性能。此外,我们开发了一个POS引导的短语分割模型,它结合了浅层句法信息的词性(POS)标签,以进一步提高性能,当一个POS标签可用。请注意,AutoPhrase可以支持任何语言,只要通用知识库(例如,Wikipedia),同时受益于但不需要POS标记器。与最先进的方法相比,新方法在不同领域和语言的五个真实数据集上的有效性有了显着提高。
2017-03-11 cs.CL
Improving Text Auto-Completion with Next Phrase Prediction
University of Southern California(南加州大学);Upstage AI Research(Upstage AI 研究院);Singapore University of Technology and Design(新加坡科技设计大学)
语言模型,如GPT-2,在构建文本自动完成任务的句法健全的句子表现良好。然而,这样的模型通常需要相当大的训练努力来适应特定的写作领域(例如,医学)。在本文中,我们提出了一种中间训练策略,以提高预训练的语言模型在文本自动完成任务中的性能,并使其快速适应特定领域。我们的策略包括一个新的自监督训练目标,称为下一个短语预测(NPP),它鼓励语言模型完成部分查询与丰富的短语,并最终提高模型的文本自动完成性能。初步实验表明,我们的方法是能够超越基线的自动完成电子邮件和学术写作领域。
2021-09-15 cs.CL
CLIP also Understands Text: Prompting CLIP for Phrase Understanding
UC San Diego(加州大学圣地亚哥分校);UC Santa Barbara(加州大学圣巴巴拉分校)
对比图像预训练(CLIP)通过自然语言监督的预训练有效地学习视觉概念。CLIP及其视觉编码器已经在各种视觉和语言任务上进行了探索,并实现了强大的zero-shot或迁移学习性能。然而,它的文本编码器的应用,仅用于文本理解已经较少探索。在本文中,我们发现,CLIP的文本编码器实际上表现出强大的短语理解能力,甚至可以显着优于流行的语言模型,如BERT与适当设计的提示。大量的实验验证了我们的方法在不同数据集和领域的实体聚类和实体集扩展任务的有效性。
2022-10-11 cs.CL
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock(阿肯色大学小石城分校);Infosys Ltd.(印孚瑟斯有限公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院);National University of Singapore(新加坡国立大学)
关键词提取是自然语言处理中的一项基本任务,它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中,我们提出了一种无监督的技术,使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集,该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的,包括短摘要(Inspec)和长科学论文(SemEval 2010),并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
Incorporating Pass-Phrase Dependent Background Models for Text-Dependent Speaker Verification
Aalborg University(奥尔堡大学)
在本文中,我们提出了密码短语相关的背景模型(PBM)的文本相关(TD)的说话人确认(SV)集成到传统的TD-SV系统的密码短语识别过程中,PBM是来自一个文本无关的背景模型,通过适应使用特定的密码短语的话语。在训练期间,使用用于相应目标模型的训练数据从特定PBM导出通行短语特定目标说话者模型。在测试时,首先在最大似然(ML)意义上为测试话语选择最佳PBM,然后将所选择的PBM用于相对于索赔人模型的对数似然比(LLR)计算。所提出的方法在LLR计算中结合了通行短语识别步骤,这在传统的独立TD-SV系统中是不考虑的。所提出的方法的性能相比,传统的文本无关的背景模型为基础的TD-SV系统使用高斯混合模型(GMM)-通用背景模型(UBM)或隐马尔可夫模型(HMM)-UBM或i-向量范例。此外,我们考虑两种方法来建立PBM:说话人无关和说话人相关。我们表明,所提出的方法显着降低了出错率的文本相关的说话人验证的非目标类型:目标错误和冒名顶替者错误,而它保持可比TD-SV性能时,冒名顶替者说一个正确的话语相对于传统的系统。实验在RedDots挑战和由短话语组成的RSR 2015数据库上进行。
2017-06-12 cs.CL
Counterfactual Language Model Adaptation for Suggesting Phrases
University of California(加利福尼亚大学);Microsoft Research(微软研究院)
移动设备使用语言模型来建议用于文本输入的单词和短语。传统的语言模型是基于静态文本语料库中的上下文词频。然而,某些类型的短语,当提供给作者作为建议时,可能会被系统地选择,频率超过其预测的频率。在本文中,我们提出了生成建议的任务,作家接受,一个相关的,但不同的任务,以作出准确的预测。虽然这项任务从根本上是互动的,我们提出了一个反事实的设置,允许离线培训和评估。我们发现,即使是一个简单的语言模型可以捕捉文本的特点,提高可接受性。
2017-10-04 cs.CL
Collocation2Text: Controllable Text Generation from Guide Phrases in Russian
Vyatka State University(维亚特卡国立大学)
大型预训练的语言模型能够生成各种流畅的文本。从提示开始,这些模型产生了一种可以不可预测地发展的叙事。现有的可控文本生成方法,即引导文本中的叙事在用户指定的方向,需要创建一个训练语料库和一个额外的耗时的训练过程。本文提出并研究了Collocation 2 Text,即插即用的自动可控文本生成方法在俄罗斯,它不需要微调。该方法是基于两个相互作用的模型:自回归语言ruGPT-3模型和自动编码语言ruRoBERTa模型。该方法的思想是根据自编码模型的输出分布来移动自回归模型的输出分布,以确保文本中的叙述向引导短语的连贯过渡,引导短语可以包含单个单词或搭配。自动编码模型能够考虑令牌的左上下文和右上下文,“告诉”自回归模型哪些令牌在当前生成步骤中是最合乎逻辑的和最不合乎逻辑的,从而增加或减少相应令牌的概率。使用该方法生成新闻文章的实验表明,它的有效性自动生成流畅的文本,其中包含用户指定的短语之间的连贯过渡。
2022-06-18 cs.CL
Extracting Noun Phrases from Large-Scale Texts: A Hybrid Approach and Its Automatic Evaluation
从运行的文本中获取名词短语有许多应用,如词分组,术语索引等,已报道的文献采用纯概率的方法,或纯基于规则的名词短语语法来解决这个问题。在本文中,我们使用一个概率组块来确定成分的隐含边界,并利用语言学知识,通过有限状态机制来提取名词短语。测试文本为SUSANNE语料库,测试结果通过自动比较SUSANNE语料库的句法分析字段进行评价。这一初步试验的结果令人鼓舞。
1994-06-01 cmp-lg cs.CL
Principal Phrase Mining
Drew University(德鲁大学);Rutgers University(罗格斯大学)
从文本集合中提取频繁词在许多学科中是常见的。然而,尽管从文本中获得常见单词的集合是有用的,但是需要以最常见短语的形式从文本中获得更具体的信息。尽管有这种需求,但由于固有的复杂性,提取频繁短语并不常见,最重要的是重复计算。当单词或短语出现在更长的短语中时,会发生双重计数,而这些短语本身也会被计数,从而导致选择大多数无意义的短语,这些短语之所以频繁出现,只是因为它们出现在频繁的超级短语中。已经有几篇关于短语挖掘的论文描述了这个问题的解决方案;然而,它们要么需要一个所谓的质量短语列表可用于提取过程,要么需要人工交互来识别过程中的质量短语。我们在这里提出了一种方法,通过一个独特的整流过程,不需要高质量的短语列表,消除重复计算。在一组文本的上下文中,我们将主短语定义为不交叉标点符号、不以停用词开始(除了停用词“not”和“no”之外)、不以停用词结束、在这些文本中频繁出现而不被重复计数并且对用户有意义的短语。我们的方法可以在没有人工输入的情况下独立识别这些主要短语,并在合理的时间内从任何文本中提取它们。
2022-10-31 cs.CL stat.AP
Fully automatic multi-language translation with a catalogue of phrases - successful employment for the Swiss avalanche bulletin
WSL Institute for Snow and Avalanche Research SLF(WSL雪与雪崩研究所SLF);VU University Amsterdam(阿姆斯特丹自由大学)
瑞士雪崩公告每天用四种语言发布两次。由于缺乏可用于手动翻译的时间,基于预定义短语的目录和这些短语如何组合以产生句子的预定规则,采用全自动翻译系统。由于该短语目录仅限于小的子语言,因此该系统能够自动地将这些句子从德语翻译成目标语言法语、意大利语和英语,而无需随后的校对或校正。已经运作了两个冬季,我们在这里评估的质量产生的文本的基础上,两个不同的调查,参与者从两个来源,短语与手动编写和翻译文本的目录,从真正的雪崩公告的文本。平均识别率为55%,用户很难区分这两种类型的文本,并且对它们的语言质量给出非常相似的评级。总的来说,目录系统的输出可以被认为几乎等同于雪崩预报员编写的文本,然后由专业翻译人员手动翻译。此外,预报员宣布,该系统以足够的准确度捕捉到了所有相关情况。预报员的工作量并没有随着目录的引入而改变:他们不再需要仔细检查手动翻译的文本,从而弥补了寻找匹配句子的额外时间。预计每日翻译费用的减少将在几年内抵消最初的开发费用。
2015-09-23 cs.CL
The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models
University of Oregon(俄勒冈大学);Vail Systems, Inc(Vail Systems公司)
研究文本和音频语言模型对动词+up短语的整体存储,发现频率和可预测性驱动独立表征,支持基于使用的语言理论。
2026-10-06 cs.CL
Classifying Cue Phrases in Text and Speech Using Machine Learning
提示短语可以在语篇意义上明确地表示语篇结构,也可以在语义意义上传达语义信息而不是结构信息。本文探讨了使用机器学习分类提示短语作为话语或话语。两个机器学习程序(Ccludel和C4.5)被用来从预分类的提示短语及其特征集合中归纳分类规则。机器学习被证明是一种有效的技术,不仅可以自动生成分类规则,而且可以改进以前的结果。
1994-05-09 cmp-lg cs.CL
Enhancing Phrase Representation by Information Bottleneck Guided Text Diffusion Process for Keyphrase Extraction
OPPO Research Institute(OPPO研究院)
针对关键短语抽取任务中现有方法无法有效利用关键短语信息的问题,提出Diff-KPE方法,利用变分信息瓶颈引导文本扩散过程生成增强的关键短语表示并结合排序网络进行候选短语排序,在多个数据集上优于现有方法。
2024-03-20 cs.CL
Constructing Phrase-level Semantic Labels to Form Multi-Grained Supervision for Image-Text Retrieval
Fudan University(复旦大学);Zhejiang Lab(之江实验室);Princeton University(普林斯顿大学)
现有的图像文本检索研究主要依靠文本级监督来区分查询图像的匹配和不匹配句子。然而,图像和句子之间的语义不匹配通常发生在更细的粒度中,即,短语级。在本文中,我们探索引入额外的短语级监督,以更好地识别文本中的不匹配单元。在实践中,多粒度的语义标签自动构建的查询图像在句子级和短语级。我们为匹配的句子构建文本场景图,并提取实体和三元组作为短语级标签。为了整合句子级和短语级的监督,我们提出了语义结构感知多模态Transformer(SSAMT)多模态表示学习。在SSAMT中,我们利用不同类型的注意力机制来加强视觉和语言双方多粒度语义单元的交互。对于训练,我们从全局和局部角度提出了多尺度匹配损失,并惩罚不匹配的短语。在MS-COCO和Flickr 30 K上的实验结果表明了该方法的有效性。
2021-09-12 cs.CL cs.CV
An Improved Phrase-based Approach to Annotating and Summarizing Student Course Responses
University of Pittsburgh(匹兹堡大学);University of Central Florida(中佛罗里达大学)
大班教学仍然是一个巨大的挑战,主要是因为很难及时满足所有学生的需求。自动文本摘要系统可以用来总结学生的反馈,每次讲座后立即提交,但它是留给发现什么是一个很好的总结学生的反应。在这项工作中,我们探索一种新的方法,有效地提取摘要短语从学生的反应。每个短语都标有提出问题的学生人数。这些短语沿着两个维度进行评估:就文本内容而言,它们应该是信息丰富和形式良好的,由ROUGE度量标准衡量;此外,它们应该满足最迫切的学生需求,由新提出的度量标准衡量。这项工作是由一个基于短语的注释和突出显示方案,这是新的总结任务。基于短语的框架允许我们将学生的回答总结成一组要点,并及时呈现给教师。
2018-05-25 cs.CL
Evaluating text coherence based on the graph of the consistency of phrases to identify symptoms of schizophrenia
Taras Shevchenko National University of Kyiv(基辅塔拉斯·舍甫琴科国立大学)
分析了基于文本连贯性估计的精神分裂症症状检测的不同方法。建议在短语层面上对语篇进行分析。提出了基于短语一致性图的语篇语义连贯性和衔接性评价方法。语义连贯性,衔接,和其他语言特征(词汇多样性,词汇密度)已被考虑到形成特征向量的训练模型分类器。分类器的训练已经在英语访谈集上进行。根据检索结果,分析了各特征对模型输出的影响。实验结果表明,基于短语一致性图的方法可用于不同的精神疾病检测任务。
2020-05-06 cs.CL cs.IR
Using Additional Indexes for Fast Full-Text Search of Phrases That Contain Frequently Used Words
Ural Federal University(乌拉尔联邦大学)
考虑了通过附加索引对大文本数组中的短语和词集进行排序。与标准倒排文件相比,它们的使用可以减少查询处理时间。
2018-11-25 cs.CL cs.IR
Phrase-Localized Language-Contrastive Guidance: Training-Free Localized Accent Control for Code-Switching Text-to-Speech
Seoul National University(首尔大学);University of Seoul(首尔市立大学)
该研究针对代码切换文本到语音的重音偏差问题,提出无训练的短语定位语言对比引导框架,通过自注意力探测定位短语边界,实现各语言区域重音的准确控制,提升代码切换语音的原生度与自然度。
2026-09-02 cs.CL cs.SD
GGP: A Graph-based Grouping Planner for Explicit Control of Long Text Generation
Alibaba Group(阿里巴巴集团)
现有的数据驱动方法可以很好地处理短文本生成。然而,当应用于商业场景中的故事生成或广告文本生成等长文本生成场景时,这些方法可能会生成不合逻辑且不可控的文本。为了解决上述问题,我们提出了一个基于图的分组规划器(GGP)的思想,先计划,然后生成。具体地说,给定一组关键短语,GGP首先将这些短语分别编码为实例级的顺序表示和语料库级的基于图的表示。有了这两个协同表示,我们将这些短语重新组合成一个细粒度的计划,并在此基础上生成最终的长文本。我们在三个长文本生成数据集上进行了实验,实验结果表明,GGP显著优于基线,这证明了GGP可以通过知道如何说和以什么顺序来控制长文本生成。
2021-08-18 cs.CL
Scalable Topical Phrase Mining from Text Corpora
The University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Army Research Laboratory(陆军研究实验室)
虽然大多数主题建模算法使用单字对文本语料库进行建模,但人类的解释通常依赖于将术语固有地分组为短语。因此,我们考虑发现混合长度的主题短语的问题。现有的工作要么执行后处理的推理结果的unigram为基础的主题模型,或利用复杂的n-gram发现主题模型。这些方法通常产生低质量的主题短语,或者即使在中等大小的数据集上也具有较差的可扩展性。我们提出了一种不同的方法,计算效率和有效的。我们的解决方案结合了一种新的短语挖掘框架,将文档分割成单个和多个单词的短语,以及一个新的主题模型,该模型对诱导的文档分区进行操作。我们的方法发现了高质量的主题短语,在各种数据集中,包括研究出版物的标题,摘要,评论和新闻文章的词袋主题模型的额外成本可以忽略不计。
2014-11-19 cs.CL cs.IR cs.LG
SemEval-2022 Task 7: Identifying Plausible Clarifications of Implicit and Underspecified Phrases in Instructional Texts
University of Stuttgart(斯图加特大学);Institute for Natural Language Processing(自然语言处理研究所)
本文介绍 SemEval-2022 任务 7,研究教学文本中隐式与欠明确短语的澄清合理性自动判断,最佳系统准确率达 68.9%,并证明其预测可用于识别多合理澄清语境。
2023-09-21 cs.CL
Actionable Phrase Detection using NLP
可诉性句子是指在最基本的意义上,暗示采取特定行动的必要性的术语。在语言学术语中,它们是实现操作的步骤,通常通过使用动作动词。例如,“明天之前完成你的家庭作业”这句话是可诉的,因为它要求采取一个具体的行动(在这种情况下,完成家庭作业)。相比之下,一个简单的句子,如“我喜欢弹吉他”,并不符合可操作的短语,因为它只是陈述了一个人的个人选择,而不是要求完成一项任务。在本文中,目的是探索是否可以使用从头开始设计的语言过滤器从原始文本中提取可识别项。这些过滤器专门用于使用迁移学习作为主导角色来识别可操作的文本。可操作检测可用于在危机期间检测紧急任务,急救指导准确性,也可用于制作生产力工具,如会议中的自动ToDo列表生成器。为了实现这一点,我们使用安然电子邮件数据集,并在清理后的文本数据上应用我们的语言过滤器。然后,我们使用迁移学习和通用句子编码器来训练一个模型,以分类给定的原始文本字符串是否可操作。
2022-10-30 cs.CL
Random Sentences from a Generalized Phrase-Structure Grammar Interpreter
在认知科学的许多领域中,拥有随机生成的语料库的来源通常是有用的。这些语料库可以用作学习实验中的人工刺激的基础(例如,Ellefson & Christiansen,2000),或者作为计算模型的输入(例如,Christiansen & Dale,2001)。下面的紧凑和通用的C程序解释文本文件中指定的短语结构语法。它遵循在Unix或基于Unix的命令行设置的参数,并从该语法生成随机句子的语料库。
2007-02-14 cs.CL
How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text
Tokyo University of Technology(东京工业大学);Denso IT Laboratory(电装信息技术实验室);The Institute of Statistical Mathematics(统计数学研究所)
长短期记忆递归神经网络(LSTM)被广泛使用,并且已知用于捕获信息性的长期句法依赖关系。然而,这些信息是如何反映在其内部向量的自然文本尚未得到充分的研究。我们通过学习一个语言模型来分析它们,其中语法结构是隐式给出的。我们根据经验表明,上下文更新向量,即内部门的输出,近似量化为二进制或三进制值,以帮助语言模型准确计算嵌套的深度,正如Suzgun等人(2019)最近为合成Dyck语言所展示的那样。对于上下文向量中的某些维度,我们发现它们的激活与短语结构的深度高度相关,如VP和NP。此外,通过$L_1$正则化,我们还发现它可以从上下文向量的少量分量准确地预测单词是否在短语结构中。即使是从原始文本中学习的情况下,上下文向量仍然与短语结构相关。最后,我们证明了功能词和触发短语的部分语音的自然集群表示在LSTM的上下文更新向量的一个小但主要的子空间中。
2020-10-01 cs.CL
Prosody in Cascade and Direct Speech-to-Text Translation: a case study on Korean Wh-Phrases
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
针对直接语音转文本翻译的韵律优势缺乏定量证明的问题,本研究通过对比评估韩英wh短语翻译任务,证实直接S2TT系统在歧义场景下准确率较级联模型提升12.9%,首次定量证明其可有效利用韵律,且评估代码已开源。
2024-02-01 cs.CL
Extraction of Templates from Phrases Using Sequence Binary Decision Diagrams
Kyushu University(九州大学);University of Tokyo(东京大学);National Institute of Information and Communications Technology(信息通信研究机构)
从一组相关短语中提取模板,如“把X当作Y”,需要识别其内部结构。本文提出了一种无监督的方法,通过使用一种新的放松的序列二叉决策图(SeqBDD)的变体,只从标记的文本中提取模板。SeqBDD可以将一组序列压缩成与最小DFA等效的图形结构,但更紧凑,更适合模板提取任务。本文的主要贡献是SeqBDD构造算法的宽松形式,使其能够从少量数据中形成一般表示。在Relaxed SeqBDD构建过程中,文本中共享结构的压缩过程自然会导致我们希望提取的模板。实验表明,该方法能够对语料库中基于动词+介词模板的任务和社交媒体短信中基于短语模板的任务进行高质量的抽取。
2020-01-28 cs.CL
Augmenters at SemEval-2023 Task 1: Enhancing CLIP in Handling Compositionality and Ambiguity for Zero-Shot Visual WSD through Prompt Augmentation and Text-To-Image Diffusion
University of Maryland, College Park(马里兰大学帕克分校);Duolingo, Inc.(多邻国公司)
针对零样本视觉词义消歧中 CLIP 难以处理语言组合性、短语焦点变化和图文多对多匹配的问题,提出 LLM 提示增强、跨语言 CLIP 与 Stable Diffusion 采样方法。
2023-07-09 cs.CL
Neural embeddings for metaphor detection in a corpus of Greek texts
National and Kapodistrian University of Athens(雅典国立与卡波迪斯特里亚大学)
NLP面临的主要挑战之一是隐喻检测,特别是通过自动手段,对于缺乏语言资源和工具的语言来说,这项任务变得更加困难。我们的目的是通过机器学习的计算方法,从希腊语语料库中的真实的无注释短语的字面意义和隐喻意义之间的自动微分。为此目的,分布语义学的理论背景进行了讨论和就业。分布语义学理论根据语言元素的分布特性,提出了对大量语言数据中语言元素所表现出的语义相似性进行量化和分类的概念和方法。根据这一模型,本文所采用的方法考虑到了语言环境,用于计算短语在几何空间中的分布表示,以及与其他短语的分布表示进行比较,这些短语在言语中的功能已经是“已知的”,目的是得出关于它们在特定语言环境中的字面或隐喻功能的结论。这一程序旨在解决希腊语缺乏语言资源的问题,因为迄今为止几乎不可能在“短语”之间进行语义比较,这种比较采取的形式是对它们在几何空间中的分布表示进行算术比较。
2019-02-10 cs.CL
ViConsFormer: Constituting Meaningful Phrases of Scene Texts using Transformer-based Method in Vietnamese Text-based Visual Question Answering
Ho Chi Minh city University of Technology(胡志明市理工大学);Vietnam National University, Ho Chi Minh city(越南国家大学胡志明市分校);University of Information Technology(信息技术大学)
针对越南语 Text-based VQA,本文提出 ViConsFormer,依据语言学含义定义构建场景文本短语并有效挖掘其信息,在两个大规模数据集上达到最先进水平。
2024-10-24 cs.CL cs.CV
An investigation of phrase break prediction in an End-to-End TTS system
International Institute of Information Technology, Hyderabad(印度信息技术国际学院)
本研究探索在端到端TTS系统中引入外部短语停顿预测模型(双向LSTM和微调BERT)以提升听者理解度,主观听力测试表明听者明显偏好带有预测短语停顿的合成语音。
2025-01-01 cs.CL cs.SD eess.AS
Phrase break prediction with bidirectional encoder representations in Japanese text-to-speech synthesis
LINE Corp.(LINE公司)
我们提出了一种新的短语中断预测方法,该方法结合了从预训练的大型语言模型(即BERT)中提取的隐式特征和从BiLSTM中提取的显式特征以及语言特征。在传统的基于BiLSTM的方法中,单词表示和/或句子表示被用作独立的组件。所提出的方法考虑到这两种表示提取潜在的语义,这是不能被以前的方法捕获。客观评价结果表明,与基于BiLSTM的使用语言特征的传统方法相比,该方法的F1分数绝对提高了3.2分。此外,感知听力测试结果验证,TTS系统,应用我们提出的方法实现了平均意见分数为4.39的韵律自然,这是非常有竞争力的分数为4.37的合成语音与地面真理短语休息。
2021-04-26 cs.CL cs.LG eess.AS
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University(巴伊兰大学)
构建有意义的短语表示是具有挑战性的,因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义,引入隐含信息。我们测试了广泛的文本表示,以解决这些问题的能力。我们发现,正如预期的那样,语境化的词表征比静态的词嵌入表现更好,更多的是在检测意义转移比在恢复隐含信息,其中他们的表现仍然是远离人类。我们的评估套件,包括5个任务相关的词汇组成的影响,可以为未来的研究,旨在改善这种表征。
2019-05-19 cs.CL
Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications
Ericsson AB(爱立信公司);Uppsala University(乌普萨拉大学)
已经探索了几种方法来自动化系统映射(SM)和系统评价(SR)方法的一部分。挑战通常围绕文本语义理解的差距以及缺乏弥合这一差距所需的领域和背景知识而演变。在本文中,我们研究可能的方法自动化部分SM/SR过程,即提取关键字和关键短语从科学文献中使用无监督的方法,然后使用语义关键短语聚类技术作为基础,构建相应的分类方案。具体而言,我们探讨了集成分数测量在关键短语提取中的作用,我们探讨了基于语义网络的词嵌入在短语语义的嵌入表示中的作用,最后我们还探讨了如何使用聚类来对相关的关键短语进行分组。评估是在与“可解释的人工智能”领域有关的出版物数据集上进行的,我们使用标准的公开数字图书馆和索引术语(关键词)集构建了该数据集。实验结果表明:集成排序得分确实提高了关键词提取的性能。基于ConceptNet语义网络的基于语义网络的词嵌入与上下文化的词嵌入具有相似的性能,但是前者的计算效率更高。最后,在术语级进行语义关键词聚类,可以将相似的术语聚集在一起,从而适合于分类方案。
2021-02-08 cs.CL
Conducting sparse feature selection on arbitrarily long phrases in text corpora with a focus on interpretability
我们提出了一个通用的框架,为特定主题的大型文本语料库的摘要,并说明它如何可以用于分析在两个完全不同的情况下:OSHA数据库的死亡和灾难报告(以促进监督模式的情况下,导致受伤或死亡)和工人的赔偿要求的法律决定(探索相关的案例法)。我们的摘要框架建立在稀疏分类方法的基础上,是目前广泛使用的基于简单词频的方法与更重量级的模型密集型方法(如潜在狄利克雷分配(LDA))之间的折衷。对于感兴趣的特定主题(例如,心理健康残疾或化学反应),我们将文档的标记回归到文档中所有其他单词和短语的高维计数上。然后,将所得到的一小组被发现具有预测性的短语作为摘要收集。使用分支定界方法,可以扩展该方法以允许任意长度的短语,从而实现潜在的丰富摘要。我们讨论了如何专注于摘要的目的可以告知正则化参数和模型约束的选择。我们通过比较计算时间和汇总统计结果的单词列表在文献中的其他三种方法来评估这个工具。我们还提出了一个新的R包,textreg。总的来说,我们认为稀疏方法有很多提供文本分析,是一个分支的研究,应进一步考虑在这种情况下。
2016-07-23 cs.CL cs.IR stat.AP
Tortured phrases: A dubious writing style emerging in science. Evidence of critical issues affecting established journals
University of Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);Yandex(扬德克斯)
十多年来,伪文本生成器一直被用来制作虚假的科学论文。这种无意义的论文很容易被人类和机器检测到。现在,更复杂的人工智能生成技术产生的文本与人类的文本无法区分,并且已经记录了从几个关键字生成科学文本。我们的研究引入了折磨短语的概念:意想不到的怪异短语代替了既定的短语,比如“伪造的意识”代替了“人工智能”。“我们梳理了文献,寻找折磨人的短语,并研究了一份著名的期刊,这些期刊集中在一起。假设使用先进的语言模型,我们运行了一个检测器的摘要,最近的文章,这本杂志和几个控制集。成对比较显示,该杂志中标记为“合成”的摘要集中。我们还强调其运作中的违规行为,例如编辑时间表的突然变化。我们通过分析几篇可疑的文章来证实我们的调查呼吁,强调可疑的特征:折磨人的写作风格,引用不存在的文献,以及未经承认的图像重复使用。令人惊讶的是,一些网站提供免费重写文本,生成充满折磨短语的官样文章。我们相信一些作者用重写的文本来填充他们的手稿。我们希望提高对包含通过(差)同行评审的有问题的AI生成或重写文本的出版物的认识。对合成文本的欺骗威胁着科学文献的完整性。
2021-07-12 cs.CL cs.CY cs.DL
Evaluating the fully automatic multi-language translation of the Swiss avalanche bulletin
WSL Institute for Snow and Avalanche Research SLF(WSL雪与雪崩研究所SLF);ETH Zurich(苏黎世联邦理工学院);Universität Zürich(苏黎世大学)
瑞士雪崩公告每天用四种语言发布两次。由于缺乏可用于手动翻译的时间,基于预定义短语的目录和这些短语如何组合以产生句子的预定规则,采用全自动翻译系统。该系统能够自动将这些句子从德语翻译成目标语言法语、意大利语和英语,而无需随后的校对或更正。我们的短语目录仅限于一个小的子语言。预计每日翻译费用的减少将在几年内抵消最初的开发费用。经过两个冬季的运作,我们在这里评估所产生的文本的质量的基础上进行评估,其中参与者从两个来源,短语目录与手工编写和翻译的文本的真实危险描述的评价。平均识别率为55%,用户几乎无法区分这两种类型的文本,并且对它们的语言质量给出类似的评级。总的来说,目录系统的输出可以被认为几乎等同于雪崩预报员编写的文本,然后由专业翻译人员手动翻译。此外,预报员宣布,该系统在有限的时间内以足够的准确度捕捉到了所有相关情况。
2014-05-23 cs.CL
Corpus analysis without prior linguistic knowledge - unsupervised mining of phrases and subphrase structure
Ludwig Maximilians University(路德维希-马克西米利安大学)
在研究自然语言的结构时,“短语”和“词”是中心概念。我们认为,在一个完全基于语料库和语言独立的方式,而不使用任何形式的先前的语言知识,任何长度和潜在的组成原则的语言的“有意义的子部分”的识别问题。描述了用于识别“短语”、挖掘子短语结构和以全自动方式查找单词的无监督方法。这可以被认为是自动计算“语料库的通用词典和语法”的一个步骤。我们希望,从长远来看,我们的方法的变体也适用于其他类型的序列数据,例如,语音、基因组序列或音乐注释。即使我们不是主要感兴趣的即时应用程序,各种语言的结果表明,我们的方法是有趣的文本挖掘,术语提取和词典编纂,搜索引擎技术,以及相关领域的许多实际任务。
2016-02-18 cs.CL
Disambiguating Reference in Visually Grounded Dialogues through Joint Modeling of Textual and Multimodal Semantic Structures
Nara Institute of Science and Technology(奈良科学技術研究所);Guardian Robot Project(守護機器人計劃);RIKEN(理化学研究所);Kyoto University(京都大學);Institute of Science Tokyo(東京科學研究院)
本文提出一个统一文本和多模态指代消解的框架,通过将提及嵌入映射到对象嵌入并基于相似性进行选择,实验证明结合共指消解等文本指代关系能有效提升多模态指代消解性能,减少视觉基础对话中的歧义。
2025-06-01 cs.CL
A Formal Look at Dependency Grammars and Phrase-Structure Grammars, with Special Consideration of Word-Order Phenomena
词汇在意义语篇理论和其他依赖性语言学理论中的核心作用在基于上下文无关语法的语言学理论中是不可复制的。我们描述树邻接语法(TAG)作为一个系统,自然出现在词汇化的过程中的CFGs。因此,TAG语法可以直接与意义文本模型(MTM)进行比较。我们说明了这一点,通过讨论某些非投射结构的计算复杂性,并提出了一种方法,将局部的词序定义到表面的语法组件MTT。
1994-10-18 cmp-lg cs.CL
Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding
University of Tabriz(大不里士大学);Ayvansaray University(艾万萨雷大学)
背景:关键词抽取是自然语言处理领域的一个热门研究课题。关键字是描述文档中最相关信息的术语。如何高效、准确地从文档中提取核心关键词是研究者面临的主要问题。然而,以前的关键词提取方法都利用了文本和图形特征,缺乏能够正确学习和以最佳方式组合这些特征的模型。方法:在本文中,我们开发了一个多模态的关键短语提取方法,即Phraseformer,使用Transformer和图形嵌入技术。在Phraseformer中,每个关键词候选都由一个向量表示,该向量是文本和结构学习表示的串联。Phraseformer利用了最近的研究,如BERT和ExEm的优点,以保持这两种表示。此外,Phraseformer将关键短语提取任务视为使用分类任务解决的序列标记问题。结果:我们通过F1-score分析了Phraseformer在Inspec,SemEval 2010和SemEval 2017三个数据集上的性能。此外,我们还研究了不同分类器在Inspec数据集上对Phraseformer方法的性能。实验结果证明了Phraseformer方法在三个数据集上的有效性。此外,随机森林分类器在所有分类器中获得最高的F1分数。结论:BERT和ExEm的结合更有意义,更能表征词语的语义。因此,Phraseformer显著优于单模态方法。
2021-06-09 cs.AI cs.CL cs.LG
Task-specific Word Identification from Short Texts Using a Convolutional Neural Network
Tongji University(同济大学);University of Arkansas(阿肯色大学)
特定任务词识别的目的是选择与任务相关的词,最好地描述一个简短的文本。现有的方法需要定义良好的种子词或词典(例如,WordNet),这些技术通常不适用于许多应用,例如社会歧视检测和虚假评论检测。然而,我们通常有一组带标签的短文本,其中每个短文本都有一个与任务相关的类标签,例如,歧视性或非歧视性,由用户指定或通过分类算法学习。在本文中,我们专注于识别特定于任务的单词和短语,从短文本利用其类标签,而不是使用种子词或词汇字典。我们将特定于任务的单词和短语识别视为特征学习。我们在一组标记文本上训练一个卷积神经网络,并使用分数向量来定位特定于任务的单词和短语。情感词识别的实验结果表明,我们的方法显着优于现有的方法。我们进一步进行两个案例研究,以显示我们的方法的有效性。一个爬行的推文数据集上的案例研究表明,我们的方法可以成功地捕获歧视相关的词/短语。另一个关于虚假评论检测的案例研究表明,我们的方法可以识别虚假评论词/短语。
2017-06-03 cs.CL cs.IR cs.LG
Weak Semi-Markov CRFs for NP Chunking in Informal Text
Singapore University of Technology and Design(新加坡科技设计大学)
本文介绍了一个新的注释语料库的基础上现有的非正式文本语料库:NUS短信语料库(陈和Kan,2013)。新的语料库包括来自26,500条短信的76,490个名词短语,由大学生注释。然后,我们探讨了几个图形模型,包括一个新的变体的半马尔可夫条件随机场(半CRF)的任务名词短语组块。我们通过对新数据集的经验评估证明,与传统的半CRF相比,新变体产生了类似的准确性,但运行时间显着降低。
2018-10-19 cs.CL
Extracting Text Representations for Terms and Phrases in Technical Domains
IBM Research(IBM研究院)
本文提出一种完全无监督的文本编码方法,通过训练小型字符级模型重建大型预训练嵌入矩阵,在技术领域中达到与句子编码器相当的质量,同时模型体积缩小5倍、速度提升最高10倍。
2023-05-25 cs.AI cs.CL cs.LG
Unsupervised Low-Dimensional Vector Representations for Words, Phrases and Text that are Transparent, Scalable, and produce Similarity Metrics that are Complementary to Neural Embeddings
University of Illinois College of Medicine(伊利诺伊大学医学院)
神经嵌入是一组流行的方法,用于将单词,短语或文本表示为低维向量(通常为50 - 500维)。然而,很难以有意义的方式解释这些维度,并且创建神经嵌入需要对多个参数和超参数进行广泛的训练和调整。我们在这里提出了一个简单的无监督的方法来表示单词,短语或文本作为一个低维向量,其中的意义和维度的相对重要性是透明的检查。我们已经创建了一个近乎全面的矢量表示的话,并选择二元组,三元组和缩写,使用的标题和摘要集在PubMed作为语料库。这个向量被用来创建几个新的隐式词-词和文本-文本相似性度量。隐式词-词相似性度量与人类对词对相似性和相关性的判断密切相关,并且在各种生物医学基准上优于或等于所有其他报告的方法,包括在PubMed语料库上训练的神经嵌入的几种实现。与基于word2vec的度量相比,我们的隐式词-词度量捕获了词-词相关性的不同方面,并且仅部分相关(rho =~0.5 - 0.8,取决于任务和语料库)。单词、双字母组、三字母组、缩写和PubMed标题+摘要的矢量表示都可以从www.example.com公开获得,并在CC-BY-NC许可下发布。在同一个网站上也提供了几个公共网络查询界面,其中一个允许用户指定一个给定的单词,并根据直接同现以及不同的隐式相似性度量来查看其最密切相关的术语。
2018-01-09 cs.CL cs.IR
Text Windows and Phrases Differing by Discipline, Location in Document, and Syntactic Structure
窗口样式、内容、位置和语法结构的知识可用于将文档分类为源自特定学科,或者可用于将文档置于理论与实践谱上。这种区别也在这里使用类型标记比率来区分子语言。基于标题、摘要、引文和章节标题中术语的存在以及二进制独立(BI)和逆文档频率(IDF)权重,计算窗口的统计显著性。窗口的特点进行了研究,通过检查他们的窗口内密度(WWD)和S浓度(SC),集中的各种文件领域(如标题,摘要)的全文。从文档全文开始到结束的窗口出现率在学术领域之间是不同的。不同的句法结构的子语言进行检查,他们的使用被认为是区分特定的学科,更一般地说,理论与实践或知识与应用导向的文件。
1996-02-18 cmp-lg cs.CL
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University(麦吉尔大学)
自动摘要是通过计算缩短一组文本数据的过程,以创建表示原始文本中最重要信息的子集(摘要)。现有的文摘方法大致可以分为两类:抽取式和抽象式。提取摘要器显式地选择文本片段(单词、短语、句子等)。从源文档,而抽象的摘要生成器生成新颖的文本片段,以传达源中流行的最突出的概念。
2022-04-20 cs.CL
<think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs
AIRI;Skoltech
本研究探索用LLM生成的合成有毒数据训练去毒模型,发现其性能比人类数据训练低达30%,归因于词汇多样性不足,凸显人工数据的重要性。
2025-09-10 cs.AI cs.CL
Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection
University of Virginia(弗吉尼亚大学)
为神经网络生成解释对于它们在现实世界中的可靠性和可信度方面的应用已经变得至关重要。在自然语言处理中,现有的方法通常只提供从输入文本中选取的词或短语作为解释的重要特征,而忽略了它们之间的相互作用。它对人类解释解释并将其与模型预测联系起来提出了挑战。在这项工作中,我们通过检测功能的相互作用建立层次的解释。此类解释可视化了单词和短语如何在层次结构的不同级别组合,这可以帮助用户理解黑盒模型的决策。通过自动和人工评估,在两个基准数据集上使用三个神经文本分类器(LSTM,CNN和BERT)对所提出的方法进行了评估。实验表明,该方法在提供解释,既忠实于模型和人类可解释的有效性。
2020-05-18 cs.CL
Improving Abstraction in Text Summarization
KTH Royal Institute of Technology(瑞典皇家理工学院);Salesforce Research(赛富时研究院)
摘要文本摘要旨在将长文本文档缩短为人类可读的形式,其中包含原始文档中最重要的事实。然而,在现有的方法中,通过不出现在源文档中的新颖短语来测量的实际抽象水平仍然很低。我们提出了两种技术来提高生成的摘要的抽象水平。首先,我们将解码器分解为一个上下文网络,用于检索源文档的相关部分,以及一个预先训练的语言模型,该模型包含有关语言生成的先验知识。其次,我们提出了一个新颖的度量,直接通过策略学习优化,以鼓励新短语的生成。我们的模型实现了与最先进的模型相当的结果,由ROUGE分数和人类评估确定,同时实现了显着更高的抽象级别,由与源文档的n-gram重叠测量。
2018-08-23 cs.CL