Scalable Topical Phrase Mining from Text Corpora
The University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Army Research Laboratory（陆军研究实验室）
虽然大多数主题建模算法使用单字对文本语料库进行建模，但人类的解释通常依赖于将术语固有地分组为短语。因此，我们考虑发现混合长度的主题短语的问题。现有的工作要么执行后处理的推理结果的unigram为基础的主题模型，或利用复杂的n-gram发现主题模型。这些方法通常产生低质量的主题短语，或者即使在中等大小的数据集上也具有较差的可扩展性。我们提出了一种不同的方法，计算效率和有效的。我们的解决方案结合了一种新的短语挖掘框架，将文档分割成单个和多个单词的短语，以及一个新的主题模型，该模型对诱导的文档分区进行操作。我们的方法发现了高质量的主题短语，在各种数据集中，包括研究出版物的标题，摘要，评论和新闻文章的词袋主题模型的额外成本可以忽略不计。
2014-11-19 cs.CL cs.IR cs.LG
Joint Word Representation Learning using a Corpus and a Semantic Lexicon
University of Liverpool（利物浦大学）；Shizuoka University（静冈大学）；National Institute of Informatics（国立信息学研究所）
使用大型文本语料库学习单词表示的方法最近受到了广泛的关注，这是因为它们在许多自然语言处理（NLP）任务中表现出色，例如语义相似性测量和单词类比检测。尽管他们的成功，这些数据驱动的词表示学习方法不考虑在一个共同出现的上下文中的词之间的丰富的语义关系结构。另一方面，已经有大量的人工努力投入到语义词典的构建中，例如WordNet，它通过定义语言中单词之间存在的各种关系来表示单词的含义。我们考虑的问题是，我们是否可以通过整合语义词典中的知识来改善使用语料库学习的单词表示？为此，我们提出了一个联合词的表示学习方法，同时预测的共同出现的两个词在一个句子中的语义词典给出的关系约束。我们使用词汇中单词之间存在的关系来规范从语料库中学习到的单词表示。我们提出的方法在统计上显着优于先前提出的方法，将语义词典到词表示的几个基准数据集的语义相似性和词的类比。
2015-11-19 cs.AI cs.CL
Conducting sparse feature selection on arbitrarily long phrases in text corpora with a focus on interpretability
我们提出了一个通用的框架，为特定主题的大型文本语料库的摘要，并说明它如何可以用于分析在两个完全不同的情况下：OSHA数据库的死亡和灾难报告（以促进监督模式的情况下，导致受伤或死亡）和工人的赔偿要求的法律决定（探索相关的案例法）。我们的摘要框架建立在稀疏分类方法的基础上，是目前广泛使用的基于简单词频的方法与更重量级的模型密集型方法（如潜在狄利克雷分配（LDA））之间的折衷。对于感兴趣的特定主题（例如，心理健康残疾或化学反应），我们将文档的标记回归到文档中所有其他单词和短语的高维计数上。然后，将所得到的一小组被发现具有预测性的短语作为摘要收集。使用分支定界方法，可以扩展该方法以允许任意长度的短语，从而实现潜在的丰富摘要。我们讨论了如何专注于摘要的目的可以告知正则化参数和模型约束的选择。我们通过比较计算时间和汇总统计结果的单词列表在文献中的其他三种方法来评估这个工具。我们还提出了一个新的R包，textreg。总的来说，我们认为稀疏方法有很多提供文本分析，是一个分支的研究，应进一步考虑在这种情况下。
2016-07-23 cs.CL cs.IR stat.AP
Augmenting Phrase Table by Employing Lexicons for Pivot-based SMT
Harbin Institute of Technology（哈尔滨工业大学）
Pivot语言被用来解决机器翻译中的数据稀疏问题，特别是当特定语言对的数据不存在时。源-主元翻译模式和主元-目标翻译模式的结合可以通过主元语言产生一种新的翻译模式。然而，两个模型中的误差可能会混合为噪声，并且组合模型仍然可能遭受严重的短语稀疏性问题。在本文中，我们直接使用IBM模型中的单词词法模型作为一个额外的资源，以增加枢轴短语表。此外，我们还提出了一个短语表修剪方法，同时考虑到源和目标短语覆盖率。实验结果表明，我们的修剪方法显着优于传统的，它只考虑源端短语覆盖。此外，通过将词条包含在词典模型中，短语覆盖率增加，并且我们在以英语为中心语言的中日翻译中取得了改善的结果。
2015-12-01 cs.CL
Aligning Noisy Parallel Corpora Across Language Groups : Word Pair Feature Matching by Dynamic Time Warping
我们提出了一个新的算法称为DK-vec对齐对亚洲/印欧噪声平行文本没有句子边界。DK-vec改进了以前的对齐算法，因为它更好地处理了嘈杂语料库的非线性性质。该算法使用频率，位置和新近度信息作为模式匹配的特征。动态时间弯曲被用作词对之间的匹配技术。该算法产生一个小的双语词典，提供锚点对齐。
1994-09-22 cmp-lg cs.CL
Lexicon Infused Phrase Embeddings for Named Entity Resolution
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
大多数用于命名实体识别（NER）的最先进的方法使用词簇和词典形式的半监督信息。最近，已经探索了基于神经网络的语言模型，因为它们作为副产品生成词的高度信息化的向量表示，称为词嵌入。在本文中，我们提出了两个贡献：一种新的形式的学习词嵌入，可以利用相关词汇的信息，以改善表示，和第一个系统使用神经词嵌入，以实现国家的最先进的结果，命名实体识别在CoNLL和Ontonotes NER。我们的系统在CoNLL 2003的测试集上获得了90.90的F1分数-明显优于以前任何基于公共数据训练的系统，并与采用大量私有工业查询日志数据的系统相匹配。
2014-04-22 cs.CL
Noun-phrase co-occurrence statistics for semi-automatic semantic lexicon construction
相对于手工创建语义词典，半自动生成语义词典可以节省大量时间。在本文中，我们提出了一种算法，从在线语料库中提取潜在的条目的类别，基于一个小的样本集。我们的算法发现更多的正确的条款和更少的不正确的比以前的工作在这方面。此外，生成的条目可能提供比手工编码更广泛的类别覆盖范围。我们的算法发现许多术语不包括在Wordnet中（比以前的算法多得多），可以被视为现有广泛覆盖资源的“增强器”。
2000-08-24 cs.CL
LexGen: Domain-aware Multilingual Lexicon Generation
Indian Institute of Technology Bombay（印度理工学院孟买分校）；NVIDIA（英伟达）
本文提出LexGen模型，通过领域特定与通用层及可学习路由技术，为6种印度语言生成多领域词典，并构建含75K翻译对的基准，在零样本和少样本实验中验证了有效性。
2025-06-02 cs.CL
Neural Based Statement Classification for Biased Language
L3S Research Center（L3S研究中心）；Leibniz University of Hannover（莱布尼茨汉诺威大学）
有偏见的语言通常发生在具有争议性的话题周围，从而在讨论的不同参与方之间引发分歧。这是因为语言及其使用，特别是短语的理解和使用，在特定群体中的立场是有凝聚力的。然而，这种凝聚力并不存在于群体之间。在协作环境或需要公正语言的环境中（例如维基百科，新闻媒体），声明和其中的语言应该平等地代表相关各方，并且措辞中立。有偏见的语言是通过煽动性的词语或短语，或可能不正确或片面的陈述，从而违反这种共识。在这项工作中，我们专注于措辞偏见的具体情况下，这可能是通过特定的煽动性词语或短语在声明中介绍。为此，我们提出了一种依赖于递归神经网络的方法，以捕获引入偏见的短语中单词之间的相互依赖关系。我们进行了全面的实验评估，在那里我们显示了基于神经的方法在检测有偏见的语言方面优于依赖单词词典和其他手工制作的功能的竞争对手。我们能够以P=0.92的精度区分有偏见的陈述，从而显著优于基线模型，提高了30%以上。最后，我们发布了最大的带有偏见语言注释的声明语料库。
2018-11-14 cs.CL
Transfer Learning with Synthetic Corpora for Spatial Role Labeling and Reasoning
Michigan State University（密歇根州立大学）
最近的研究表明，合成数据作为监督的来源有助于预训练语言模型（PLM）迁移学习到新的目标任务/领域。然而，这种想法在空间语言中的探索较少。我们为多个空间语言处理任务提供了两个新的数据资源。第一个数据集被合成用于空间问答（SQA）和空间角色标记（SpRL）的迁移学习。与以前的SQA数据集相比，我们包含了更多的空间关系类型和空间表达式。我们的数据生成过程很容易扩展新的空间表达词典。第二个是真实世界的SQA数据集，其中包含基于SPRL注释的现有语料库构建的人工生成的问题。该数据集可用于评估现实情况下的空间语言处理模型。我们表明，使用自动生成的数据进行预训练可以显着提高几个SQA和SPRL基准测试的SOTA结果，特别是当目标域中的训练数据很小时。
2022-11-03 cs.CL
A Pattern Matching method for finding Noun and Proper Noun Translations from Noisy Parallel Corpora
我们提出了一个模式匹配的方法来编译一个双语词汇的名词和专有名词从不对齐，嘈杂的平行文本的亚洲/印欧语言对。使用一种语言的标记信息。高频词和低频词的词频和位置信息以两种不同的向量形式表示，用于模式匹配。介绍了新的锚点发现和噪声消除技术。精密度为73.1%。我们还展示了如何使用的结果在特定领域的名词短语的编译。
1995-05-06 cmp-lg cs.CL
Unsupervised Key Event Detection from Massive Text Corpora
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Westlake University（西湖大学）；Google Research（谷歌研究院）
从新闻语料库中自动检测事件是挖掘快速发展的结构化知识的关键任务。由于现实世界中的事件具有不同的粒度，从顶级主题到关键事件，再到与具体行动相对应的事件提及，通常有两条研究路线：（1）主题检测从新闻语料库中识别主要主题（例如，“2019年香港抗议”对“2020年美国总统选举”）;以及（2）动作提取从一个文档中提取提及级动作（例如，“警察击中了抗议者的左臂”），这些内容过于细致，无法理解该事件。在本文中，我们提出了一个新的任务，关键事件检测在中间水平，旨在检测从新闻语料库的关键事件（例如，“8月12日至14日香港机场抗议活动”），每一个都发生在特定的时间/地点，关注同一个话题。这项任务可以连接事件理解和结构化，并且由于关键事件的主题和时间接近性以及由于新闻文章的快速发展性质而导致的标记数据的稀缺性而具有内在的挑战性。为了解决这些挑战，我们开发了一个无监督的关键事件检测框架EvMine，该框架（1）使用新的ttf-itf分数提取时间上频繁的峰值短语，（2）通过从我们设计的峰值短语图中检测社区来将峰值短语合并到事件指示特征集中，该峰值短语图捕获文档共现，语义相似性和时间接近度信号，以及（3）通过用来自事件指示特征集的自动生成的伪标签训练分类器并使用检索到的文档来精炼检测到的键事件，来迭代地检索与每个键事件相关的文档。大量的实验和案例研究表明，EvMine优于所有的基线方法和它的消融在两个现实…
2022-07-03 cs.CL cs.IR
Spanish Legalese Language Model and Corpora
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
根据英语在世界范围内的相关性，英语有许多语言模型。然而，对于西班牙语来说，即使它是一种广泛使用的语言，也只有很少的西班牙语语言模型，这导致其规模小且过于通用。法律俚语可以被认为是西班牙语的变体，因为它在词汇，语义和短语理解方面非常复杂。在这项工作中，我们收集了来自不同来源的法律领域语料库，生成了一个模型，并对西班牙语的一般领域任务进行了评估。该模型在这些任务中提供了合理的结果。
2021-10-23 cs.AI cs.CL
Part of Speech Tagging (POST) of a Low-resource Language using another Language (Developing a POS-Tagged Lexicon for Kurdish (Sorani) using a Tagged Persian (Farsi) Corpus)
标注语料库在广泛的自然语言处理中起着至关重要的作用。词性标注是标注语料库建设的关键。它既费时又费力，而且成本高昂，因此，如果实现自动化，它可能更便宜。库尔德语目前缺乏公开可用的适当大小的标记语料库。标记公开可用的库尔德语语料库可以将这些资源的能力提高到比原始或分割语料库所能提供的更高的水平。开发POS标记的词典可以帮助完成上述任务。我们使用标记语料库（Bijankhan语料库）在波斯语（波斯语）作为一个接近库尔德语开发一个POS标记的词汇。本文提出了利用与库尔德语关系密切的语言资源丰富库尔德语资源的方法。结果的部分数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/公开用于非商业用途。我们计划在对结果进行进一步调查后，提供整个标记语料库。该数据集可以帮助开发其他库尔德方言的POS标记词汇和自动库尔德语料库标记。
2022-01-30 cs.CL
WikiAtomicEdits: A Multilingual Corpus of Wikipedia Edits for Modeling Language and Discourse
Google AI Language（谷歌AI语言部门）
我们发布了8种语言的4300万个原子编辑的语料库。这些编辑是从维基百科的编辑历史中挖掘出来的，包括人类编辑在现有句子中插入或删除单个连续短语的实例。我们使用收集到的数据来表明，编辑过程中生成的语言与我们在标准语料库中观察到的语言不同，并且在编辑上训练的模型与在原始非结构化文本上训练的模型相比，编码了语义和话语的不同方面。我们发布了完整的语料库，作为一种资源，以帮助正在进行的语义，话语和表示学习的研究。
2018-08-28 cs.CL
Neural Machine Translation for Low Resource Languages using Bilingual Lexicon Induced from Comparable Corpora
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
非英语语言的资源是稀缺的，本文解决了这个问题的背景下，机器翻译，自动提取平行的句子对多语种的文章在互联网上。在本文中，我们使用了一个端到端的Siamese双向递归神经网络来从维基百科中的可比多语言文章中生成并行句子。随后，我们已经表明，使用收获的数据集提高了低资源语言对的NMT和基于短语的SMT系统的BLEU分数：英语-印地语和英语-泰米尔语，与专门在为这些语言对收集的有限双语语料库上进行训练相比。
2018-06-25 cs.CL
Multilingual corpora for the study of new concepts in the social sciences and humanities:
Université Paris 8（巴黎第八大学）
本文提出了一种构建多语言语料库的方法，用于研究社会科学和人文学科中的新兴概念，通过自动提取和标注技术生成适用于机器学习的数据集。
2025-12-08 cs.CL
The IIT Bombay English-Hindi Parallel Corpus
IIT Bombay（印度理工学院孟买分校）
我们介绍了IIT孟买英语-印地语平行语料库。该语料库是以前在公共领域提供的平行语料库以及我们收集的新平行语料库的汇编。该语料库包含149万个平行片段，其中69.4万个片段以前在公共领域不可用。该语料库已被预处理的机器翻译，我们报告的基线短语为基础的SMT和NMT的翻译结果在这个语料库。该语料库已被用于亚洲语言翻译研讨会（2016年和2017年）的两个版本的共享任务。该语料库可免费用于非商业研究。据我们所知，这是最大的公开英语-印地语平行语料库。
2018-05-19 cs.CL
A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A Transformer-based Approach
IIIT Naya Raipur（新赖布尔印度信息技术学院）
针对传统神经网络在语义相似度建模中上下文提取不当的问题，本文提出基于Transformer的DeBERTa变体方法，结合K折交叉验证在专利短语匹配数据集上实验，取得0.79平均Pearson相关系数，性能优于传统技术。
2023-06-25 cs.AI cs.CL cs.NE
Know thy corpus! Robust methods for digital curation of Web corpora
Centre for Translation Studies, University of Leeds（利兹大学翻译研究中心）
本文提出了一种新的框架，数字策展的Web语料库，以提供强大的估计，如其组成和词汇的参数。近年来，在大型语料库上预训练的语言模型在许多NLP任务中成为明显的赢家，但没有对导致其成功的语料库进行适当的分析。本文提出了一个强大的频率估计，这有助于建立一个给定的语料库的核心词汇，以及通过无监督的主题模型和监督的体裁分类的网页估计语料库组成的过程。数字策展研究的结果适用于几个网络派生语料库展示了相当大的差异。首先，这涉及到不同的频率突发，影响从每个语料库获得的核心词汇。第二，这涉及到它们所包含的文本类型。例如，OpenWebText包含了比ukWac或维基百科更多的主题新闻和政治辩论。工具和分析结果已经发布。
2020-03-13 cs.CL
Characterizing the Google Books corpus: Strong limits to inferences of socio-cultural and linguistic evolution
University of Vermont（佛蒙特大学）
人们很容易将GoogleBooks数据集的频率趋势视为各种单词和短语“真正”流行程度的指标。这样做可以让我们对特定主题（如时间或性别）的文化观念的演变得出定量的有力结论。然而，谷歌图书语料库受到一些限制，使其成为文化流行的模糊面具。一个主要的问题是，语料库实际上是一个图书馆，包含每本书中的一本。因此，一个多产的作者能够明显地将新短语插入到Google图书词典中，无论作者是否被广泛阅读。理解了这一点，谷歌图书语料库仍然是一个重要的数据集，被认为更像词典而不是文本。在这里，我们表明，一个明显的问题的功能，从列入科学文本，这已成为一个越来越实质性的部分，整个20世纪的语料库。其结果是学术文章中常见但一般不太常见的短语激增，例如以引用的形式提到时间。我们强调这些动态检查和比较的主要贡献，几十年来在1800- 2000年期间的英语数据集的统计分歧。我们发现，只有英文小说数据集的第二个版本的语料库是不严重的专业文本的影响，形成鲜明对比的小说数据集的第一个版本和未经过滤的英文数据集。我们的研究结果强调，在使用这些数据集得出关于文化和语言演变的广泛结论之前，需要充分表征Google Books语料库的动态。
2020-05-27 cond-mat.stat-mech cs.CL physics.soc-ph
MASRAD: Arabic Terminology Management Corpora with Semi-Automatic Construction
Arab Center for Research and Policy Studies（阿拉伯研究中心与政策研究所）
本文提出MASRAD阿拉伯语术语数据集及半自动构建方法MASRAD-Ex，通过提取书籍中的术语配对并综合多种相似度指标选择最佳候选，最佳方法精确率达90.5%，召回率达92.4%。
2025-10-07 cs.CL
Concise comparative summaries (CCS) of large text corpora with a human experiment
Peking University（北京大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；San Francisco State University（旧金山州立大学）
在本文中，我们提出了一个通用的框架，主题特定的摘要的大型文本语料库，并说明它可以用于分析的新闻数据库。我们的框架，简明比较摘要（CCS），是建立在稀疏分类方法。CCS是一个轻量级和灵活的工具，提供了一个简单的词频为基础的方法，目前广泛使用的更重量级的，模型密集型的方法，如潜在的狄利克雷分配（LDA）之间的妥协。我们认为，稀疏的方法有很多提供文本分析，并希望CCS打开大门，在这个重要领域的一个新的研究分支。对于感兴趣的特定主题（例如，中国或能源），CSS会自动将文档标记为主题或主题外（通常通过关键字搜索），然后使用稀疏分类方法来预测这些标签与文档中所有其他单词和短语的高维计数。然后，将所得到的一小组被发现具有预测性的短语作为摘要收集。为了验证我们的工具，我们使用《纽约时报》国际版的新闻文章，设计并进行了一项人类调查，以比较不同的摘要器与人类的理解。我们通过两个案例研究来展示我们的方法，一个是对《纽约时报》在整个阿拉伯之春中对“埃及”的框架的媒体分析，另一个是对《纽约时报》和《华尔街日报》对“能源”的报道的非正式比较。“总的来说，我们发现，Lasso与$L^2$规范化可以有效地和有用地用于总结大型语料库，无论文档大小。
2014-04-29 cs.CL stat.AP
Idioms-Proverbs Lexicon for Modern Standard Arabic and Colloquial Sentiment Analysis
Cairo University（开罗大学）
虽然，在过去十年中，在情感分析（SA）和意见挖掘（OM）系统中的相当数量的工作以及关于这些系统的性能，但是由于语言本身的性质存在的复杂性和挑战，仍然没有期望的性能，特别是对于诸如阿拉伯语的形态丰富语言（MRL）。这些挑战之一是在作者文本或评论中检测成语或谚语短语。成语或谚语是一种独特的言语形式或表达方式。在语法上，它不能从其元素的单独含义来理解，并且当被视为单独的单词时会产生不同的情绪。因此，为了便于自动SA系统的词汇短语的检测和分类的任务，本文提出了AIPSeLEX现代标准阿拉伯语（MSA）和口语的一种新的成语/谚语情感词典。AIPSeLEX是手动收集和注释的句子水平与语义取向（积极或消极）。手工建立和注释的词典的努力报告。此外，我们建立了一个分类器，提取成语和谚语，短语从文本中使用n-gram和相似性度量方法。最后，对各种数据进行了几次实验，包括来自公开的阿拉伯语在线评论网站（社交媒体，博客，论坛，电子商务网站）的阿拉伯语推文和阿拉伯语微博（酒店预订，产品评论和电视节目评论），以评估AIPSeLEX的覆盖范围和准确性。
2015-06-05 cs.CL
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
Automatic Evaluation and Uniform Filter Cascades for Inducing N-Best Translation Lexicons
本文展示了如何从双语文本语料库中归纳出一个N-最佳翻译词典，利用语料库的统计特性以及四个外部知识源。知识源被转换为过滤器，以便它们的任何子集都可以在统一的框架中级联。提出了一种新的客观评价方法，用于比较不同过滤级联所产生的词典质量。最好的过滤器级联将词典质量提高了137%，超过了普通的统计方法，并接近人类的表现。当使用这些知识源时，减少训练语料库的大小对词典质量的影响要小得多。这使得在大型双语语料库不可用的情况下，在小型手工构建的语料库上进行语言对的训练变得切实可行。此外，四个过滤器中的三个即使在使用大型训练语料库时也是有用的。
1995-05-25 cmp-lg cs.CL
Random Sentences from a Generalized Phrase-Structure Grammar Interpreter
在认知科学的许多领域中，拥有随机生成的语料库的来源通常是有用的。这些语料库可以用作学习实验中的人工刺激的基础（例如，Ellefson & Christiansen，2000），或者作为计算模型的输入（例如，Christiansen & Dale，2001）。下面的紧凑和通用的C程序解释文本文件中指定的短语结构语法。它遵循在Unix或基于Unix的命令行设置的参数，并从该语法生成随机句子的语料库。
2007-02-14 cs.CL
Automatic extraction of paraphrastic phrases from medium size corpora
本文提出了一个通用的系统，旨在获取释义短语从一个有代表性的语料库。为了减少用于NLP系统（例如信息抽取，IE）的资源的详细描述所花费的时间，我们建议使用机器学习系统，该系统有助于定义新的模板和相关的资源。这些知识是从文本集合中自动获得的，与大型语义网络进行交互。
2005-09-28 cs.AI cs.CL
Detecting multiword phrases in mathematical text corpora
Cologne University of Applied Sciences（科隆应用科学大学）；Institute of Information Science（信息科学研究所）
本文提出了一种在数学文本语料库中检测多词短语的方法。所使用的方法是基于数学术语的特征。它使用一个名为Lingo的软件工具，可以通过以前定义的词典识别特定的词类，如形容词，人名或名词。多字组的检测是通过算法完成的。索引和信息检索的方法可能的优点和应用基于字典的自动索引的方法，而不是词干程序的结论进行了讨论。
2012-10-02 cs.CL cs.IR
Assessment of contextualised representations in detecting outcome phrases in clinical trials
University of Liverpool（利物浦大学）
使用机器学习自动识别临床试验中报告的结果，在加快医疗决策所需证据的获取方面具有巨大的潜力。然而，之前的研究已经承认，不足的培训语料库作为一个挑战的结果检测（OD）任务。此外，几个情境化的表示，如BERT和ELMO在检测各种疾病、基因、蛋白质和化学物质方面取得了无与伦比的成功，然而，同样的结果不能被强调，因为这些模型相对来说在OD任务中的测试和研究不足。我们介绍了“EBM-COMET”，一个数据集，其中300 PubMed摘要专业注释的临床结果。与使用任意结果分类的先前相关数据集不同，我们使用最近发布的分类法中的标签来标准化结果分类。为了提取结果，我们微调了各种预先训练的上下文表示，此外，我们在我们的自定义神经模型中使用冻结的上下文和上下文无关表示，并使用临床信息的词性嵌入和成本敏感的损失函数进行增强。我们对训练模型进行严格的评估，奖励它们正确识别完整的结果短语而不是实体中的单词，即给定结果“收缩压”，只有当模型按顺序预测所有3个单词时，模型才会获得分类分数，否则，它们不会得到奖励。我们观察到我们的最佳模型（BioBERT）达到81.5%的F1，81.3%的敏感性和98.0%的特异性。我们达成了共识，哪些语境化的表示是最适合检测临床试验摘要的结果。此外，我们的最佳模型优于原始EBM-NLP数据集排行榜上公布的分数。
2022-03-13 cs.CL cs.LG
Will This Idea Spread Beyond Academia? Understanding Knowledge Transfer of Scientific Concepts across Text Corpora
Stanford University（斯坦福大学）；Harvard Business School（哈佛商学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加利福尼亚大学）
什么样的基础研究理念更容易在实践中得到应用？关于知识转移模式的研究由来已久，但通常侧重于将文件作为分析单位，并将其转移到特定科学领域的实践中。在这里，我们研究翻译研究的科学概念的水平，为所有科学领域。我们使用三个语料库通过文本挖掘和预测建模来做到这一点：3860万篇论文摘要，400万篇专利文件和28万篇临床试验。我们提取科学概念（即，短语）作为“研究想法”的实例，创建由文献激发的概念级特征，然后跟踪超过450，000个新概念（从1995年到2014年出现）的轨迹，以确定导致这些想法中只有一小部分用于发明和药物试验的因素。我们的分析结果表明，有几种机制可以区分哪些科学概念将在实践中被采用，哪些不会。我们还证明，我们的衍生功能可以用来解释和预测知识转移的高精度。我们的工作为有兴趣鼓励转化研究的研究人员，从业人员和政府机构提供了更好的知识转移理解。
2020-10-13 cs.CL cs.CY cs.DL
Improving Agreement and Disagreement Identification in Online Discussions with A Socially-Tuned Sentiment Lexicon
Cornell University（康奈尔大学）
我们研究了在线讨论中的一致性和不一致性检测问题。提出了一种基于保序条件随机场（保序CRF）的序列模型来进行句子或语段级别的预测。我们自动构建一个社会调整的词典，是从现有的通用情感词典，以进一步提高性能。我们评估我们的协议和分歧标记模型上两个不同的在线讨论语料库-维基百科的讨论页面和在线辩论。我们的模型在这两个数据集中的表现都优于最先进的方法。例如，当线性链CRF对于维基百科讨论页面上的讨论获得0.58和0.56时，等张CRF模型对于一致性和不一致性检测获得0.74和0.67的F1分数。
2016-06-17 cs.CL
Pointer-based Fusion of Bilingual Lexicons into Neural Machine Translation
Simon Fraser University（西蒙弗雷泽大学）
神经机器翻译（NMT）系统需要大量高质量的域内并行语料库进行训练。最先进的NMT系统仍然面临着与词汇表外单词和处理低资源语言对相关的挑战。在本文中，我们提出并比较了几种模型的融合双语词典的端到端训练序列到序列模型的机器翻译。其结果是一个融合模型与两个信息源的解码器：神经条件语言模型和双语词典。该融合模型学习如何结合两种信息源，以产生更高质量的翻译输出。我们的实验表明，我们提出的模型在相对低资源的情况下工作得很好，也有效地减少了NMT的参数大小和训练成本，而不牺牲性能。
2019-09-17 cs.CL
Word Embedding Transformation for Robust Unsupervised Bilingual Lexicon Induction
Harbin Institute of Technology（哈尔滨工业大学）
无监督双语词典归纳（UBLI）通过对齐在单语语料库上独立训练的源和目标词嵌入，取得了很大的进展。大多数UBLI模型的共同假设是两种语言的嵌入空间近似同构。因此，性能受到同构程度的约束，特别是在词源和类型学上遥远的语言上。为了解决这个问题，我们提出了一种基于变换的方法来增加同构。通过旋转和缩放使两种语言的嵌入相互匹配。该方法不需要任何形式的监督，可以应用于任何语言对。在双语词典归纳的基准数据集上，与最先进的方法相比，我们的方法可以实现具有竞争力或优越的性能，在遥远的语言上发现了特别强大的结果。
2021-05-26 cs.CL
Incorporating Discrete Translation Lexicons into Neural Machine Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Carnegie Mellon University（卡内基梅隆大学）
神经机器翻译（NMT）在翻译对理解句子含义至关重要的低频内容词时经常出错。我们提出了一种方法来缓解这个问题，通过增加NMT系统与离散翻译词典，有效地编码这些低频词的翻译。我们描述了一种通过使用NMT模型的注意向量来选择模型应该关注的源词词汇概率来计算翻译候选中下一个词的词汇概率的方法。我们测试了两种方法来将此概率与标准NMT概率相结合：（1）将其用作偏差，（2）线性插值。在两个语料库上的实验表明，BLEU和NIST评分分别提高了2.0-2.3和0.13-0.44，收敛速度也更快。
2016-10-05 cs.CL
Word Sense Disambiguation Using English-Spanish Aligned Phrases over Comparable Corpora
UNED（西班牙国立远程教育大学）
在本文中，我们描述了一个WSD实验的基础上双语英语-西班牙语可比语料库中的个别名词短语已被确定，并与他们各自的对应在其他语言。该实验的评估是针对SemCor进行的。我们发现，采用的对齐算法，潜在的精度是高的（74.3%），但该方法的覆盖率是低的（2.7%），由于对齐是远远低于我们预期的频率。与我们的直觉相反，精确度并不随着比对的数量而一致地上升。由于几个因素，覆盖率很低;存在重要的领域差异，并且英语和西班牙语对于这种方法来说过于接近，无法有效地区分感官，因此不适合WSD，尽管该方法在机器翻译中可能更有成效。
2009-10-29 cs.AI cs.CL
Qabas: An Open-Source Arabic Lexicographic Database
Birzeit University（比尔宰特大学）
本文介绍开源阿拉伯语词典 Qabas，它通过映射框架和网络工具半自动整合 110 部词典并链接 12 个形态标注语料库，形成约 5.8 万个词元的最大规模阿拉伯语词典资源。
2024-06-06 cs.AI cs.CL
How (Non-)Optimal is the Lexicon?
University of Cambridge（剑桥大学）；Yle；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；ETH Zürich（苏黎世联邦理工学院）；Harvard University（哈佛大学）；MPI for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）；HSE University（高等经济大学）
词汇意义到词形的映射是自然语言的一个主要特征。虽然使用压力可能会将短词分配给频繁的含义（齐普夫的缩写法则），但对生产性和开放式词汇的需求，对符号序列的地方限制以及各种其他因素都塑造了世界语言的词汇。尽管这些因素在词汇结构的形成中起着重要作用，但它们的相对贡献还没有被完全量化。以编码理论的观点的词典，并利用一种新的生成统计模型，我们定义了上限的压缩性的词典在各种约束条件下。检查语料库从7个类型不同的语言，我们使用这些上限来量化的词典的最优性，并探讨自然代码的主要限制的相对成本。我们发现，（组成）形态学和graphotactics可以充分占大部分的自然代码的复杂性-作为衡量的代码长度。
2021-04-30 cs.CL
Towards Neural Machine Translation with Partially Aligned Corpora
National Laboratory of Pattern Recognition, CASIA（模式识别国家重点实验室，中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Toshiba (China) Co.,Ltd.（东芝（中国）有限公司）
神经机器翻译（NMT）已成为新的范式，参数优化需要大规模的并行数据，这是在许多领域和语言对稀缺。在本文中，我们解决了一个新的情况下，只有单语语料库和短语对的翻译。本文提出了一种基于短语对和单语语料库的部分对齐句对翻译方法。为了充分利用部分对齐的语料库，我们从两个方面对传统的NMT训练方法进行了改进。一方面，针对对齐和非对齐目标词设计了不同的生成策略;另一方面，设计了不同的目标函数来对部分对齐的零件进行建模。实验结果表明，我们的方法可以在这样的翻译场景中取得相对较好的效果，小的双文本可以在很大程度上提高翻译质量。
2017-11-03 cs.CL
A Modality Lexicon and its use in Automatic Tagging
University of Maryland, College Park, MD（马里兰大学帕克分校（马里兰州））；Carnegie Mellon University, Pittsburgh, PA（卡内基梅隆大学（宾夕法尼亚州匹兹堡））；U.S. Dept. of Defense, Fort Meade, MD（美国国防部（马里兰州米德堡））；Johns Hopkins Applied Physics Laboratory, Laurel, MD（约翰霍普金斯应用物理实验室（马里兰州劳雷尔））；Johns Hopkins HLT Center of Excellence, Baltimore, MD（约翰霍普金斯HLT卓越中心（马里兰州巴尔的摩））
本文介绍了我们的资源建设成果，为期八周的JHU人类语言技术卓越夏令营中心应用语言探索（SCALE-2009）语义知情的机器翻译。具体来说，我们描述了一个模态注释计划，模态词典，和两个自动模态标记器，建立使用的词典和注释计划的建设。我们的注释方案是基于识别模态的三个组成部分：触发器，目标和持有人。我们描述了我们的模态词典是如何半自动地产生的，从最初的手选择的模态触发词和短语的列表扩展。由此产生的扩展模态词汇正在向公众提供。我们证明，一个标签-基于结构的标签-结果在精度约86%（取决于流派）的标记一个标准的LDC数据集。在一个机器翻译应用中，使用基于结构的标记器在英语-乌尔都语训练语料库上注释英语模态，在面对稀疏训练数据时，乌尔都语的翻译质量分数提高了0.3个Bleu点。
2014-10-17 cs.CL
Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
机器翻译（MT）系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译（NMT）已经引领了机器翻译领域，但我们对它如何以及为什么工作的理解很差。在本文中，我们通过评估NMT模型与短语表（双语词典的可解释表）学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明，该短语表是合理的，对语言对和随机种子是一致的。我们发现，NMT模型配备了可解释的短语表，学习模式从简单到复杂，并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展（例如，翻译），并报告一些有趣的发现。我们相信，这项工作开辟了一个新的角度来解释NMT的统计模型，并提供了经验支持的最新进展，改进NMT模型。
2020-04-28 cs.CL cs.LG
Connecting Phrase based Statistical Machine Translation Adaptation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（信息通信研究机构）
虽然统计机器翻译（SMT）可以使用更多的附加语料，但只有那些与原始语料属于相同或相似领域的语料才能直接提高SMT的性能。现有的改编方法大多集中在句子选择上。相比之下，短语是一个更小，更细粒度的数据选择单元，因此，我们提出了一个简单而有效的连接短语的适应方法，这是适用于双语短语对和单语n-gram适应。在IWELT/NIST数据集上对该方法进行了测试，结果表明，基于短语的SMT性能得到了显著提高（与基于短语的SMT基线系统相比提高了+1.6，与现有方法相比提高了+0.9）.
2016-07-29 cs.CL
Code-Switching for Enhancing NMT with Pre-Specified Translation
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Westlake University（西湖大学）
利用用户提供的翻译来约束NMT具有现实意义。现有的方法可以分为两大类，即使用占位符标记的词汇和使用硬约束在解码过程中。由于各种原因，这两种方法都可能损害翻译保真度。我们研究了一种数据增强方法，通过用目标翻译替换源短语来生成代码转换的训练数据。我们的方法不改变MNT模型或解码算法，允许模型通过复制源端目标词来学习词典翻译。大量的实验表明，我们的方法实现了一致的改进，现有的方法，提高了翻译的约束词，而不伤害不受约束的话。
2019-05-16 cs.CL
A symbolic description of punning riddles and its computer implementation
基于简单双关语的谜语可以根据它们所依赖的单词、音节或短语相似性的模式来分类。我们已经设计了一个形式化的模型的语义和句法的基础上的一些简单类型的双关谜语。我们还实现了这一初步的理论，在一个计算机程序，可以产生谜语的词汇包含有关单词和短语的一般数据，也就是说，词汇的内容是不定制的，以产生笑话。一组人类裁判对该程序结果的非正式评估表明，该程序产生的谜语质量与学校儿童中普遍流传的谜语相当。
1994-06-13 cmp-lg cs.CL
Ancient Korean Archive Translation: Comparison Analysis on Statistical phrase alignment, LLM in-context learning, and inter-methodological approach
Seoul National University（首尔大学）
本研究比较三种古代文本翻译方法，提出基于统一语料库句子片段标记的统计机器翻译方法，BLEU达36.71，超越现有模型。
2024-07-16 cs.CL
Le sens de la famille : analyse du vocabulaire de la parent{é} par les plongements de mots
本文利用词嵌入对25个法语亲属名词进行分布分析，发现词向量能捕捉血统、姻亲、兄弟姐妹和性别等语义特征，且特征表现因语料库不同而变化。
2024-06-28 cs.CL
Large-Scale Machine Translation between Arabic and Hebrew: Available Corpora and Initial Results
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
阿拉伯语和希伯来语之间的机器翻译迄今为止一直受到缺乏平行语料库的限制，尽管这对语言在政治和文化上很重要。以前的工作依赖于手工制作的语法或通过英语旋转，这两者对于构建可扩展和准确的MT系统都是不令人满意的。在这项工作中，我们比较了标准的基于短语和神经系统的阿拉伯语-希伯来语翻译。我们通过外部工具进行了标记化实验，并通过字符级神经模型进行了子词建模实验，结果表明这两种方法都可以提高翻译性能，但神经模型的优势较小。
2016-09-25 cs.CL
Arabic Text Sentiment Analysis: Reinforcing Human-Performed Surveys with Wider Topic Analysis
Princess Nourah bint Abdulrahman University（努拉宾特阿卜杜拉赫曼大学）；University of Durham（杜伦大学）
本文结合133篇论文的人工调查与2297篇文献的主题建模、时间分析，系统梳理阿拉伯语情感分析方法、算法、资源与工具缺口，并提出未来方向。
2024-03-04 cs.CL
More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs
Universidade da Coruña, CITIC（科鲁纳大学，CITIC）；Independent Researcher（独立研究者）；Palacký University, Olomouc（帕拉茨基大学，奥洛穆克）
研究比较两代LLM生成的新闻文本与人类写作的语法特性，发现新模型在语法和词汇多样性上有所下降。
2026-05-07 cs.CL
Constructing Parallel Multidimensional Chromatic Lexicons for Corpus-Assisted Analysis of Russian and English Texts
本文针对文学文本色彩术语语料库分析工具匮乏的问题，构建含俄语224条、英语141条的多维色彩词典，经试点研究发现别雷诗歌语料库色彩术语出现频率为狄金森语料库的3.4倍，提供了透明可复用的多语言色彩词典构建应用流程。
2026-08-04 cs.CL
Morphological Constraints for Phrase Pivot Statistical Machine Translation
Columbia University（哥伦比亚大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
统计机器翻译（SMT）面临的一个重要挑战是，许多语言对缺乏并行数据。一种常见的解决方案是通过第三种语言进行旋转，对于第三种语言，存在与源语言和目标语言平行的语料库。虽然旋转是一种健壮的技术，但它引入了一些低质量的翻译，特别是当使用差的形态语言作为丰富形态语言之间的枢轴时。在本文中，我们研究使用同步形态约束功能，以提高质量的短语枢轴SMT。我们比较手工制作的约束，从有限的并行数据之间的源和目标语言。所学习的形态约束基于枢轴短语表中的源短语和目标短语之间的投影对齐。我们在希伯来语-阿拉伯语SMT（以英语为中心）上显示出积极的结果。我们在短语枢轴基线上获得1.5个BLEU点，在系统组合基线上获得0.8个BLEU点，其中直接模型是从并行数据中构建的。
2016-09-12 cs.CL
Augmenting semantic lexicons using word embeddings and transfer learning
UC Berkeley（加州大学伯克利分校）；University of Vermont（佛蒙特大学）；The MITRE Corporation（MITRE公司）
感知情感的智能系统对于广泛的应用是必不可少的。这些系统是由语言模型驱动的，语言模型大致分为两种范式：基于词汇的和上下文的。尽管最近的上下文模型越来越占主导地位，但我们仍然看到对基于词典的模型的需求，因为它们的可解释性和易用性。例如，基于词典的模型使研究人员能够轻松确定哪些单词和短语对测量的情绪变化贡献最大。任何基于词典的方法都面临的一个挑战是，词典需要经常用新的单词和短语来扩展。在这里，我们提出了两个模型的自动词典扩展。我们的第一个模型建立了一个基线，采用一个简单而浅层的神经网络，使用非上下文方法用预训练的词嵌入初始化。我们的第二个模型改进了我们的基线，具有基于transformer的深度网络，可以使用单词定义来估计它们的词汇极性。我们的评估表明，这两种模型都能够以与Amazon Mechanical Turk的评论者相似的准确度对新词进行评分，但成本只有后者的一小部分。
2021-11-02 cs.CL cs.LG cs.SI
Bilingual Lexicon Induction through Unsupervised Machine Translation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
最近的一项研究在双语词典归纳方面取得了很好的成果，即通过对齐两种语言中独立训练的词嵌入，并使用所得到的跨语言嵌入通过最近邻或相关检索方法来归纳词翻译对。在本文中，我们提出了一种替代方法，这个问题的基础上，最近的工作无监督机器翻译。这种方式，而不是直接从跨语言嵌入中诱导双语词典，我们使用它们来构建短语表，将其与语言模型相结合，并使用由此产生的机器翻译系统来生成一个合成的平行语料库，从其中我们使用统计词对齐技术提取双语词典。因此，我们的方法可以与任何词嵌入和跨语言映射技术，它不需要任何额外的资源，除了用于训练嵌入的单语语料库。当在完全相同的跨语言嵌入上进行评估时，我们提出的方法比最近邻平均提高了6个精度点，比CSLS检索平均提高了4个精度点，在标准MUSE数据集中建立了一个新的最先进的技术。
2019-07-24 cs.AI cs.CL cs.LG
An Attempt to Develop a Neural Parser based on Simplified Head-Driven Phrase Structure Grammar on Vietnamese
Faculty of Information Science and Engineering, University of Information Technology, Ho Chi Minh City, Vietnam（信息科学与工程学院，信息技术大学，胡志明市，越南）；Laboratory of Multimedia Communications, University of Information Technology, Ho Chi Minh City, Vietnam（多媒体通信实验室，信息技术大学，胡志明市，越南）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南）
本文基于简化HPSG开发越南语神经分析器，通过排列样本使其符合语法规则并替换为PhoBERT/XLM-RoBERTa模型，在成分分析上取得82%的最优F-score，依存分析UAS提升，但LAS因未改标签而较低。
2025-04-28 cs.CL
