Emerging Language Spaces Learned From Massively Multilingual Corpora
University of Helsinki（赫尔辛基大学）
翻译捕捉了关于语言的重要信息，这些信息可以在学习语言属性和语义表征时用作隐含监督。在以信息为中心的观点中，翻译文本可以被认为是原文的语义镜像，我们可以观察到不同语言之间的显著差异，可以用来消除基于翻译的语言信号对给定表达的歧义。由大量人类翻译组成的并行语料库具有很大的语言差异，可以应用于增加抽象，我们建议使用高度多语言的机器翻译模型来寻找语言独立的意义表示。我们的初步实验表明，神经机器翻译模型确实可以在这样的设置中学习，并且我们可以证明学习算法拾取关于语言之间关系的信息，以便使用共享参数优化迁移学习。该模型创建了一个连续的语言空间，以几何距离表示关系，我们可以将其可视化，以说明语言如何根据语言家族和群体进行聚类。这是否为数据驱动的语言类型学的新思想打开了大门，并在经验性的跨语言研究中提供了有前途的模型和技术？
2018-02-01 cs.CL
The Cross-Lingual Cost: Retrieval Biases in RAG over Arabic-English Corpora
Technology Innovation Institute（技术创新研究所）
本研究针对阿拉伯语-英语跨语言RAG，发现检索是跨语言领域场景的关键瓶颈，并提出两种简单策略（平等检索或查询翻译）显著提升跨语言与整体性能。
2025-10-27 cs.AI cs.CL cs.IR
Polish to English Statistical Machine Translation
Polish Japanese Institute of Technology（波兰日本信息技术学院）
本研究探讨了各种训练设置对波兰语到英语口语统计机器翻译系统的影响。TED、Europarl和OPUS平行文本语料库的各种元素被用作语言模型培训的基础，用于开发、调整和测试翻译系统。采用BLEU、NIST、METEOR和TER指标评估数据准备对翻译结果的影响。
2015-09-30 cs.CL stat.ML
Polish -English Statistical Machine Translation of Medical Texts
Polish Japanese Institute of Information Technology（波兰日本信息技术学院）
这项新的研究探讨了各种训练方法对医学文本的波兰语到英语统计机器翻译系统的影响。OPUS项目的EMEA平行文本语料库的各种元素被用作短语表和语言模型的训练以及翻译系统的开发、调整和测试的基础。BLEU、NIST、METEOR、RIBES和TER指标已被用于评估各种系统和数据准备对翻译结果的影响。我们的实验包括使用POS标记，因子短语模型，层次模型，句法标记和许多不同的对齐方法的系统。我们还对波兰数据进行了深入分析，作为自动数据校正的准备工作，例如真正的大小写和标点符号规范化阶段。
2015-09-29 cs.CL cs.IR stat.ML
Improving the Performance of English-Tamil Statistical Machine Translation System using Source-Side Pre-Processing
Amrita Vishwa Vidyapeetham（阿姆rita大学）；SRM University（SRM大学）
机器翻译是自然语言处理中最古老、最活跃的研究领域之一。统计机器翻译（SMT）是目前机器翻译研究的主流。统计机器翻译是机器翻译的一种方法，它使用模型直接从数据中学习翻译模式，并将其推广到翻译新的不可见文本。SMT方法在很大程度上是独立于语言的，即模型可以应用于任何语言对。统计机器翻译（SMT）试图利用统计方法生成基于双语文本语料库的译文。如果有这样的语料库，翻译相似的文本可以达到很好的效果，但这样的语料库仍然没有为许多语言对。统计机器翻译系统通常难以处理源端或目标端的词法，特别是对于词法丰富的语言。目标语言中的词法或句法错误会对句子的意义产生严重的影响。它们通过动词中不正确的时态信息改变词的语法功能或句子的理解。Baseline SMT也被称为基于短语的统计机器翻译（PBSMT）系统，它不使用任何语言信息，只对表面单词形式进行操作。近年来的研究表明，在双语语料较少的情况下，增加语言信息有助于提高译文的准确性。可以使用因子统计机器翻译系统通过预处理步骤来添加语言信息。本文研究了如何利用英文侧预处理来提高英文-泰米尔文SMT系统的准确性。
2014-09-29 cs.CL
Cross-lingual Back-Parsing: Utterance Synthesis from Meaning Representation for Zero-Resource Semantic Parsing
POSTECH（浦项科技大学）；aiXplain, Inc.（aiXplain公司）
本文提出跨语言回解析（CBP）方法，利用多语言预训练语言模型的表示几何结构，从源语言意义表示合成目标语言话语，在零资源条件下有效提升语义解析的跨语言迁移性能。
2024-10-01 cs.AI cs.CL
Acronym-Meaning Extraction from Corpora Using Multi-Tape Weighted Finite-State Machines
从语料库中自动提取缩略词及其含义是文本挖掘的一个重要子任务。它可以被视为字符串对齐的特殊情况，其中文本块与首字母缩略词对齐。替代比对具有不同的成本，并且理想地，成本最低的比对应该给出首字母缩略词的正确含义。我们展示了这种方法如何可以通过一个3-磁带加权有限状态机（3-WFSM）来实现，该机器读取磁带1上的文本块和磁带2上的首字母缩略词，并在磁带3上生成所有替代对齐。3-WFSM可以从一个简单的正则表达式自动生成。在任何阶段都不需要额外的算法。我们的3-WFSM具有27个状态和64个转换的大小，并在几毫秒内找到对首字母缩略词的最佳分析。
2006-12-06 cs.CL cs.DS cs.SC
Polish - English Speech Statistical Machine Translation Systems for the IWSLT 2013
Polish Japanese Institute of Information Technology（波兰日本信息技术研究所）
本研究探讨了从波兰语到英语的口语统计机器翻译系统的各种训练设置的效果。2013年国际工作组评价活动的TED平行文本语料库的各种要素被用作语言模型培训以及翻译系统开发、调整和测试的基础。BLEU、NIST、METEOR和TER指标被用来评估数据准备对翻译结果的影响。我们的实验包括系统，它使用波兰语单词的词干和形态信息。我们还对提供的波兰数据进行了深入分析，作为自动数据校正和清理阶段的准备工作。
2015-09-30 cs.CL stat.ML
Creating Domain-Specific Translation Memories for Machine Translation Fine-tuning: The TRENCARD Bilingual Cardiology Corpus
Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出一种由译者主导的半自动翻译记忆构建方法，并据此从土耳其心脏病学期刊双语摘要构建了约80万词、5万句的TRENCARD土英双语语料库，用于机器翻译及大语言模型微调。
2024-09-04 cs.CL
Sentence Simplification with Deep Reinforcement Learning
University of Edinburgh（爱丁堡大学）
句子简化的目的是使句子更容易阅读和理解。最新的方法借鉴了机器翻译的见解，从复杂和简单句子的单语语料库中学习简化重写。我们用一个编码器-解码器模型和一个深度强化学习框架来解决简化问题。我们的模型，我们称之为{ \sc Dress}（作为{ \bf D}eep { \bf RE}隐含{ \bf S}句子{ \bf S}隐含的简写），探索可能的简化空间，同时学习优化奖励函数，鼓励简单，流畅的输出，并保留输入的意义。三个数据集上的实验表明，我们的模型优于竞争简化系统。
2017-07-16 cs.CL cs.LG
Real-Time Statistical Speech Translation
Polish Japanese Institute of Information Technology（波兰日本信息技术学院）
本研究探讨统计机器翻译方法，以实现语音的实时的自动翻译。这种系统可以与语音识别和合成软件一起用于管道中，以便在外国人之间产生实时的语音通信系统。我们从代表三种不同类型的人类语音的口语程序中获得了三个主要的数据集。TED、Europarl和OPUS平行文本语料库被用作语言模型训练的基础，用于翻译系统的开发调整和测试。我们还进行了实验，涉及词性标注，复合词分裂，线性语言模型插值，TrueCasing和形态句法分析。我们使用BLEU、NIST、METEOR和TER度量标准评估了各种数据准备对翻译结果的影响，并试图给出哪种度量标准最适合PL-EN语言对的答案。
2015-09-30 cs.CL stat.ML
A Formal Limitation on Learning Human Language From Textual Corpora
Universitat Pompeu Fabra（庞培法布拉大学）；ETH Zürich（苏黎世联邦理工学院）
该研究从信息论角度推导了听者从话语表示恢复说话者意图含义的概率上界，通过三类实验验证了理论，表明任何文本特征提取器的表示都无法超越该上界。
2026-09-29 cs.CL
An Unsupervised Method for Building Sentence Simplification Corpora in Multiple Languages
Yangzhou University（扬州大学）
并行句子简化（SS）的可用性是稀缺的神经SS建模。我们提出了一种无监督的方法来建立SS语料库从大规模的双语翻译语料库，减轻需要SS监督语料库。我们的方法的动机是以下两个发现：神经机器翻译模型通常倾向于生成更多的高频令牌和文本复杂度水平的差异存在于源语言和目标语言的翻译语料库。通过将翻译语料库中的源语句和其参考文献的译文对用一种桥语言进行翻译，可以构造出大规模的伪并行SS数据。然后，我们保持这些句子对具有较高的复杂度差异作为SS句子对。采用无监督的方法建立的SS语料库可以满足对齐后的句子保持相同的意义和具有不同的文本复杂度的期望。实验结果表明，我们的语料库训练的SS方法达到了最先进的结果，并显着优于英文基准WikiLarge的结果。
2021-09-01 cs.CL cs.IR
Meaning-focused and Quantum-inspired Information Retrieval
Center Leo Apostel for Interdisciplinary Studies（莱奥·阿波斯泰尔跨学科研究中心）；Brussels Free University（布鲁塞尔自由大学）；University of British Columbia（不列颠哥伦比亚大学）
近年来，基于量子的方法在信息检索（IR）和自然语言处理（NLP）中集成了传统的过程。受我们在认知中量子结构的识别和应用研究的启发，更具体地说，我们在概念及其组合的表示方面的工作，我们提出了一个“基于量子意义”的文本语料库和标准化测试语料库结构化查询检索框架。IR的这个方案依赖于考虑作为基本概念，（i）“意义实体”，例如，概念及其组合，以及（ii）这些意义实体的痕迹，这就是在这种方法中考虑文件的方式。这些“意义实体”的意义内容是通过解决量子形式主义中的“逆问题”来重建的，该逆问题包括从相关文献中被标识为痕迹的意义实体的塌陷状态重建其完整状态。相对于传统的方法，如潜在语义分析（LSA）的优势，通过具体的例子进行了讨论。
2013-03-30 cs.CL cs.IR quant-ph
Cross Script Hindi English NER Corpus from Wikipedia
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰大学）
社交媒体平台上生成的文本基本上是混合语言文本。任何形式的语言混合都会给语言处理系统带来相当大的困难。此外，语言处理研究的进展取决于标准语料库的可用性。混合语言印度命名实体识别（NER）系统的发展面临的障碍，由于缺乏标准的评估语料库。这样的语料库可能是混合语言的性质，其中文本是使用多种语言编写的，主要是使用一个单一的脚本。我们的工作的动机是强调自动生成这样的语料库，以鼓励混合语言的印度语净率。本文介绍了一个跨脚本印地语-英语语料库的准备从维基百科的类别页面。语料库成功地使用标准的CoNLL-2003的PER，ORG，MISC的类别进行注释。对多种机器学习算法进行了评价，取得了良好的效果。
2018-10-08 cs.CL cs.IR cs.LG
Compass-aligned Distributional Embeddings for Studying Semantic Differences across Corpora
Bocconi University（博科尼大学）；BUP Solution（BUP解决方案公司）；University of Milan-Bicocca（米兰比可卡大学）
Word2vec是最常用的生成词嵌入的算法之一，因为它很好地结合了效率、生成的表示的质量和认知基础。然而，词义不是静态的，它取决于词语使用的上下文。词义的差异取决于时间、地点、主题和其他因素，可以通过分析从代表这些因素的集合中的不同语料库生成的嵌入来研究。例如，语言进化可以通过收集不同时期发表的新闻文章来研究。在本文中，我们提出了一个通用的框架，以支持跨语料库语言研究与词嵌入，从不同的语料库中生成的嵌入可以进行比较，以找到跨语料库的意义的对应关系和差异。CADE是我们框架的核心组件，解决了对齐不同语料库生成的嵌入的关键问题。特别是，我们专注于提供坚实的证据，CADE的有效性，通用性和鲁棒性。为此，我们在不同的领域进行定量和定性实验，从时间词嵌入到语言本地化和主题分析。我们的实验结果表明，CADE实现国家的最先进的或优越的性能的任务，其中几个竞争的方法是可用的，但提供了一个通用的方法，可用于各种领域。最后，我们的实验揭示了对齐是可靠的条件下，这在很大程度上取决于跨语料库词汇重叠的程度。
2020-04-13 cs.AI cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University（甲南大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Tokyo University of Foreign Studies（东京外国语大学）；University of Tokyo（东京大学）
本文提出基于上下文化词向量范数的方法，无需训练和词对齐即可发现两个语料库中词语的语义差异，在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
Texts in, meaning out: neural language models in semantic similarity task for Russian
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Mail.ru Group（Mail.ru集团）
自然语言词汇的分布式向量表示在当代计算语言学中得到了广泛的关注。本文总结了将神经网络语言模型应用于俄语语义相似度计算的经验。实验是在俄语语义相似度评估轨道的过程中进行的，根据任务的不同，我们的模型从第二位到第五位。我们介绍所使用的工具和语料库，评论的性质的共享任务，并描述所取得的成果。研究发现，以前成功应用于英语材料的连续跳跃语法和连续词袋模型也可以用于俄语的语义建模。此外，我们表明，在俄罗斯国家语料库（RNC）的文本提供了一个很好的培训材料，这种模式，优于其他更大的语料库。对于语义相关性任务尤其如此（尽管在RNC模型之上堆叠在较大语料库上训练的模型可以更好地提高性能）。以这种方式学习的高质量语义向量可以用于各种语言任务，并为进一步研究提供了一个令人兴奋的领域。
2015-04-30 cs.CL
$\textit{Swap and Predict}$ -- Predicting the Semantic Changes in Words across Corpora by Context Swapping
Tokyo Metropolitan University（东京都立大学）；Amazon（亚马逊）；University of Liverpool（利物浦大学）
提出基于上下文交换的无监督方法SSCD，利用预训练掩码语言模型预测词语在两个语料库间的语义变化，在四种语言和时间跨度上取得准确预测，并优于强基线。
2023-10-16 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science（数据科学中心）；New York University（纽约大学）
在句子压缩中，缩短句子同时保留原始含义的任务，模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求，我们模拟了一个摘要任务，并添加噪声来扩展句子，训练一个去噪自动编码器来恢复原始句子，构建了一个端到端的训练机制，而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估，并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据，但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳，但我们的模型与基于人类评估的监督基线相比，在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
The TUB Sign Language Corpus Collection
German Research Center for AI (DFKI)（德国人工智能研究中心）
该研究构建了一个包含12种手语、超1300小时视频的平行语料库，首次为8种拉丁美洲手语提供一致语料，并将德国手语语料规模扩大十倍，通过多阶段收集与处理流程实现。
2025-08-07 cs.CL
Matching Meaning at Scale: Evaluating Semantic Search for 18th-Century Intellectual History through the Case of Locke
University of Helsinki（赫尔辛基大学）；TurkuNLP, University of Turku（图尔库大学TurkuNLP）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文通过洛克作品的接受情况，评估语义搜索在18世纪思想史中的应用，发现其能更有效地检索隐含意义，但受限于词汇重叠。
2026-05-12 cs.AI cs.CL cs.CY
Sharing Network Parameters for Crosslingual Named Entity Recognition
IBM Research India（IBM印度研究院）
用于命名实体识别的大多数现有技术方法依赖于手工制作的特征和注释的语料库。最近提出了基于神经网络的模型，它不需要手工制作的特征，但仍然需要注释的语料库。然而，这样的注释语料库可能不适用于许多语言。在本文中，我们提出了一个神经网络为基础的模型，允许共享解码器以及字和字符级参数之间的两种语言，从而允许资源幸运的语言，以帮助资源匮乏的语言。具体来说，我们专注于有限的注释语料库是在一种语言（$L_1$）和丰富的注释语料库是在另一种语言（$L_2$）。在$L_1$和$L_2$之间共享网络架构和参数导致$L_1$中的改进的性能。此外，我们的方法不需要任何手工制作的功能，而是直接从训练数据本身学习有意义的功能表示。我们用4种语言对进行了实验，结果表明，在资源受限的设置（较少注释的语料库）中，用另一种语言的数据联合训练的模型比只在一种语言的有限语料库上训练的模型表现更好。
2016-07-01 cs.CL
Impact of enriched meaning representations for language generation in dialogue tasks: A comprehensive exploration of the relevance of tasks, corpora and metrics
University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
本文研究了在对话任务中，通过提供任务示范器是否能提升微调模型的生成质量，分析了不同领域、语料特征和评估指标对生成质量的影响，发现意义增强输入在复杂任务和小数据集上效果显著，且语义指标比词汇指标更准确。
2026-03-31 cs.AI cs.CL
JeSemE: A Website for Exploring Diachronic Changes in Word Meaning and Emotion
Graduate School ‘The Romantic Model’（“浪漫主义模式”研究生院）；Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
我们在这里介绍了一个大大扩展版本的JeSemE，一个交互式网站，用于可视化地探索计算得出的时变信息的词义和词汇的情绪，从五个大的历时文本语料库组装。JeSemE是专为（数字）人文学科的学者设计的，作为查阅手动编译的替代方案，印刷字典以获取此类信息（如果有的话）。这个工具独特地结合了最先进的分布式语义与人类情感的细微差别模型，我们认为这两个信息流有利于人文文本的数据驱动解释。
2020-12-18 cs.CL
Semantic Shifts of Psychological Concepts in Scientific and Popular Media Discourse: A Distributional Semantics Analysis of Russian-Language Corpora
HSE University（高等经济学院）
本文通过分布语义分析俄语语料库，探讨心理学概念在科学与大众媒体中的语义变化，发现科学文本侧重专业术语，而大众媒体更强调日常经验与治疗实践。
2026-03-10 cs.CL
Edit Policy-Aligned Text Simplification
The University of Osaka（大阪大学）；Institute of Science Tokyo（东京科学研究所）；NTT Inc.（日本电报电话公司）
本文提出利用LLM作为评判者自动构建政策一致的训练数据，实现无需人工标注或平行语料库的句子简化系统，实验表明其在词法简化和整体重写任务上均优于现有方法。
2026-10-22 cs.CL
Topic Discovery in Massive Text Corpora Based on Min-Hashing
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）
十多年来，在文本语料库中发现主题的任务一直由潜在Dirichlet分配和其他主题模型主导。为了将这些方法应用于大量文本语料库，词汇表需要大大减少，并且通常需要大型计算机集群和/或GPU。此外，主题的数量必须事先提供，但这取决于语料库的特点，这往往是很难估计，特别是对于海量文本语料库。不幸的是，主题质量和时间复杂度都对这种选择很敏感。本文介绍了一种基于Min-Hashing的主题发现方法，该方法可以使用适当的计算机硬件处理大量文本语料和大词汇量，并且不需要预先确定主题的数量。其基本思想是生成语料库词汇的多个随机分区，以找到高度共现的单词集，然后将其聚类以产生最终的主题。与概率主题模型中的主题分布在完整的词汇，所提出的方法发现的主题是一组高度共现的话。有趣的是，这些主题是不同粒度级别的各种主题的基础。使用20个新闻组（18 K），路透社（800 K），西班牙语维基百科（1 M）和英语维基百科（5 M）语料库进行了广泛的定性和定量评估表明，所提出的方法能够始终如一地发现有意义和连贯的主题。值得注意的是，所提出的方法的时间复杂度是线性的语料库和词汇量的大小;非并行实现能够发现主题从整个英文版的维基百科超过500万个文档和100万个单词在不到7个小时。
2019-08-07 cs.CL
Zipf's laws of meaning in Catalan
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
在他的开创性研究中，G. K.齐普夫提出了两个关于词的频率与其含义数量之间关系的统计定律：含义分布定律，将词的频率与其频率等级联系起来，以及含义频率定律，将词的频率与其含义数量联系起来。虽然这些法律是在半个多世纪前制定的，但它们只被用几种语言研究过。在这里，我们提出了这些法律在加泰罗尼亚语的第一次研究。我们验证这些法律在加泰罗尼亚语通过它们的指数之间的关系和秩频率法。我们提出了一个新的协议，这些Zipfian法律，可以扩展到其他语言的分析。我们报告的第一个证据表明，这些法律在书面语言和语音的两个显着的制度，平行的两个政权在齐普夫的排名频率法在大型多作者语料库中发现在21世纪初。最后，将讨论这两种制度的影响。
2021-06-30 cs.CL
SAP-sLDA: An Interpretable Interface for Exploring Unstructured Text
Harvard University（哈佛大学）
提出SAP-sLDA，一种基于LDA的半监督人在环方法，通过学习保留文档间语义关系的主题，生成比基线方法更具可解释性的低维投影，有效解决文本语料库降维投影不符合人类相似性认知的问题。
2023-07-28 cs.CL cs.LG
Form and Meaning in Intrinsic Multilingual Evaluations
NLP, Department of Computer Science, KU Leuven（自然语言处理、计算机科学系，鲁文大学）
研究探讨了内在多语言评估中形式与意义的矛盾，发现现有度量在多语言环境下不可比，并通过形式-意义辩论解释其原因。
2026-01-15 cs.CL
Evaluation of Automatically Constructed Word Meaning Explanations
Masaryk University（马萨里克大学）
编写准确、全面的词义解释是单语词典编纂过程中的关键环节之一。在标准的方法论中，解释需要一个专业的词典编纂者花大量的时间检查描述性文本和语料库证据之间的一致性。在下面的文本中，我们提出了一种新的工具，它可以根据来自非常大的语料库的集体信息，特别是单词草图，自动导出解释。我们还提出了一个定量评估的建设性的解释，集中在名词的解释。该方法在一定程度上是语言独立的;然而，所提出的验证仅限于捷克语和英语。我们表明，所提出的方法允许创建解释，其中包含的数据有助于理解单词的含义在大约90%的情况下。然而，在许多情况下，结果需要后期编辑以删除冗余信息。
2023-02-27 cs.CL
RT-SFT: Text Style Transfer from Non-Parallel Corpora by Roundtrip Translation
Johns Hopkins University（约翰霍普金斯大学）
本文提出基于参数高效LLM微调和往返翻译的文本风格迁移方法，通过合成平行语料库提升风格迁移效果，并结合RAG增强术语和名称知识的鲁棒性与一致性。
2026-10-05 cs.CL
Automatic Summarization of Russian Texts: Comparison of Extractive and Abstractive Methods
Vyatka State University（维亚特卡国立大学）
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发，显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中，我们使用的翻译版本的议论文，说服性的文章和UKP句子语料库微调RuBERT模型。最后，利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调，生成论元文本。结果表明，与原始ruGPT-3模型相比，这种方法将参数生成的准确性提高了20个百分点（63.2%对42.5%）。
2022-06-18 cs.CL
Argumentative Text Generation in Economic Domain
Vyatka State University（维亚特卡国立大学）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发，显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中，我们使用的翻译版本的议论文，说服性的文章和UKP句子语料库微调RuBERT模型。最后，利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调，生成论元文本。结果表明，与原始ruGPT-3模型相比，该方法将参数生成的准确性提高了20个百分点（63.2% vs. 42.5%）。
2022-06-18 cs.CL
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中，我们提出了一个结构化分布模型（SDM），结合词嵌入与形式语义，是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立，通过整合有关事件及其典型参与者的知识，因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图，并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究，研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM，我们的结果表明，将简单的组合模型与事件知识相结合，即使使用不同类型的词嵌入，也能不断提高性能。
2019-06-17 cs.CL
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
传统上，许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而，在许多语言和专业语料库中，单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术，这不仅导致长尾文本语料库中的不频繁词的嵌入较差，而且还导致处理词汇外词的能力较弱。在本文中，我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明，MorphMine可以将各种语言中的单词分割成人类验证的词素。此外，我们的实验表明，利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
GASC: Genre-Aware Semantic Change for Ancient Greek
Amazon（亚马逊）；University of Warwick（华威大学）；University of Helsinki（赫尔辛基大学）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）
单词含义会随着时间的推移而变化，具体取决于语言和语言外因素。将一个词的正确含义与其历史背景相关联是历时研究的核心挑战，并且与一系列NLP任务相关，包括历史文本中的信息检索和语义搜索。贝叶斯模型的语义变化已经成为一个强大的工具，以解决这一挑战，提供明确的和可解释的表示语义变化现象。然而，虽然语料库通常带有丰富的元数据，现有的模型是有限的，他们无法利用上下文信息（如文本体裁）超出文档的时间戳。这一点在古代语言中尤为重要，因为缺乏数据和漫长的历时跨度使得很难明确区分一词多义（一个词有几个意义）和语义变化（获得、失去或改变意义的过程），而目前的系统在这些语言中表现不佳。我们开发了GASC，一个动态语义变化模型，利用关于文本体裁的分类元数据来促进推理，并揭示古希腊语料库中的意义演变。在一个新的评估框架中，与最先进的模型相比，我们的模型实现了更好的预测性能。
2019-06-02 cs.CL cs.LG stat.ML
Cross-linguistically Consistent Semantic and Syntactic Annotation of Child-directed Speech
University of Edinburgh（爱丁堡大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Georgetown University（乔治城大学）
本文提出一种跨语言一致的句法与语义标注方法，构建英语和希伯来语儿童导向言语语料库，验证质量并展示其在语言习得研究中的效用。
2024-03-14 cs.CL
Language understanding as a step towards human level intelligence - automatizing the construction of the initial dictionary from example sentences
Arizona State University（亚利桑那州立大学）
对于理解自然语言的系统，它需要能够接受自然语言文本并回答关于该文本的自然语言中给出的问题;它还需要能够遵循自然语言中给出的指令。为了实现这一点，系统必须能够处理自然语言，并能够捕获文本中的知识。因此，它需要能够将自然语言文本翻译成形式语言。我们讨论了我们的方法来做到这一点，翻译是通过组成一个句子中的单词的含义。我们最初的方法使用我们开发的逆lambda方法（和其他方法）来从句子的意义和初始词典中学习单词的意义。然后，我们提出了一种改进的方法，其中初始词汇也通过分析训练句子和意义对来学习。我们评估我们的方法，并将其与其他现有的方法进行比较，语料库的数据库查询和机器人的命令和控制。
2011-08-18 cs.CL
Data filtering methods for training language models
Novosibirsk State University（新西伯利亚国立大学）；A. P. Ershov Institute of Informatics Systems SB RAS（A. P. Ershov 信息系统研究所）
本文比较了Confident Learning和Dataset Cartography两种自动标签错误检测方法在俄语文本分类任务中的效果，发现其有效性依赖于数据集特性，在小规模高噪声数据集上Confident Learning显著提升F1-macro。
2026-05-28 cs.AI cs.CL cs.LG
Discovering Multi-Scale Semantic Structure in Text Corpora Using Density-Based Trees and LLM Embeddings
E020-04 Service Unit of High Performance Computing, DataLab, Campus IT, Technische Universität Wien（技术大学维也纳高性能计算服务单元，数据实验室，校园IT）；Department of Mechanical Engineering, American University of Beirut（贝鲁特美国大学机械工程系）
本文提出了一种基于密度的树和大语言模型嵌入的方法，用于发现文本语料库的多尺度语义结构，通过层次密度建模揭示主题之间的结构关系。
2026-01-29 cs.AI cs.CL
MASSIVE Multilingual Abstract Meaning Representation: A Dataset and Baselines for Hallucination Detection
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；Georgetown University（乔治城大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Amazon（亚马逊）
本文提出 MASSIVE-AMR 数据集，包含超 84,000 条跨 50 多种语言的文本到图标注，并基于大语言模型建立多语言 AMR 与 SPARQL 解析及幻觉检测基线，揭示了 LLM 在结构化解析中的持续问题。
2024-05-29 cs.CL
Distributional Semantics, Holism, and the Instability of Meaning
University of Reading（雷丁大学）；University of Pennsylvania（宾夕法尼亚大学）
本文探讨不稳定性反对意见对分布语义模型的影响，区分了绝对不稳定性和差异不稳定性，论证了差异不稳定性受词汇关系结构约束，允许意义产生变化同时避免交流问题。
2025-04-03 cs.CL
AncientBench: Towards Comprehensive Evaluation on Excavated and Transmitted Chinese Corpora
AncientBench通过四个维度和十个任务全面评估大语言模型对古代文字的理解能力，揭示其在古代文本场景中的潜力与与人类的差距。
2025-12-19 cs.AI cs.CL
Linguistic Resources for Bhojpuri, Magahi and Maithili: Statistics about them, their Similarity Estimates, and Baselines for Three Applications
Indian Institute of Technology (BHU), India（印度理工学院（巴纳拉斯印度教大学））；Alexa AI, Amazon, India（亚马逊Alexa AI（印度））；Samsung Research Institute, India（三星研究院（印度））
为低资源语言和开发人类语言技术来分析或计算处理它们的语料库准备是一项艰巨的任务，主要是由于没有以这些语言为母语的专家语言学家，也由于所需的时间和资源。Bhojpuri，Magahi和Maithili是印度Purvanchal地区（东北部）的语言，属于印度-雅利安（或印度）家族的低资源语言。它们与印地语密切相关，印地语是一种相对高资源的语言，这就是为什么我们与印地语进行比较。我们从各种来源收集了这三种语言的语料库，并尽可能地清理它们，而不改变其中的数据。文本属于不同的领域和体裁。我们计算了这些语料库在字，词，音节和语素水平的一些基本的统计措施。这些语料库还标注了词性（POS）和组块标签。基本的统计指标既有绝对的也有相对的，并被期望用来表示语言的属性，如形态，词汇，语音和句法的复杂性（或丰富性）。结果进行了比较与标准的印地语语料库。对于大多数措施，我们试图在不同语言中使用相同的语料库大小，以避免语料库大小的影响，但在某些情况下，使用完整的语料库更好，即使大小非常不同。虽然结果不是很清楚，但我们试图得出一些关于语言和语料库的结论。对于POS标记和分块，BIS标记集用于手动注释数据。对于Bhojpuri、Magahi和Maithili，POS标记的数据大小分别为16067、14669和12310个句子。Bhojpuri和Maithili的组块大小分别为9695和1954个句子。
2021-08-17 cs.CL
Cynical Selection of Language Model Training Data
Moore-Lewis的“智能选择语言模型训练数据“方法是一种非常有效、廉价、高效.也存在结构性问题。(1)该方法通过将在域内语料库和域外语料库（或数据池）上训练的语言模型相互播放来定义相关性。这一强有力的想法--也是我们要保留的--将两个语料库视为一个光谱的对立两端。这种缺乏细微差别的情况不允许两个语料库非常相似。在极端的情况下，来自相同分布的所有句子的Moore-Lewis得分都为零，因此没有结果排名。(2)选择的句子不能保证能够对域内数据进行建模，甚至也不能覆盖域内数据。它们只是受到领域模型的欢迎;这是必要的，但还不够。(3)没有办法知道选择的最佳句子数量是多少，除非选择各种阈值并构建系统。我们提出了一个贪婪的，懒惰的，近似的，一般有效的信息理论的方法来实现相同的目标，只使用词汇量。该方法具有以下特点：（1）对两个语料库的差异程度具有响应性。(2)快速达到接近最佳的词汇覆盖率。(3)考虑已经选择的内容。(4)不涉及定义任何类型的域，也不涉及定义任何类型的分类器。(6)他知道什么时候停下来。这种方法可以作为一种内在意义的相似性度量，因为它测量了通过将一个文本添加到另一个文本中所获得的信息位。
2017-09-07 cs.CL
Toward Complete Hospital Discharge Summarization with Abstract Meaning Representation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对大型语言模型生成出院总结时的幻觉问题，提出基于证据的对齐框架，利用语义图和深度学习实现来源可溯的总结生成，并在MIMIC-III和UIC Health语料库上验证效果。
2026-09-15 cs.CL
AutoPrep: Natural Language Question-Aware Data Preparation with a Multi-Agent Framework
Renmin University of China（中国人民大学）；University of Arizona（亚利桑那大学）；Tsinghua University（清华大学）
提出AutoPrep，一种基于大语言模型的多智能体框架，通过规划器、程序员和执行器协同完成问题感知的数据准备，以提升表格问答的准确性和上下文相关性。
2025-07-09 cs.AI cs.CL
Distributed Representations for Compositional Semantics
New College（新学院）
语义的数学表示是自然语言处理的一个关键问题。大量的研究致力于寻找在向量空间中表示单个词的语义的方法。分布式方法--即利用大型语料库的共现统计数据的分布式表示--在许多任务中已经被证明是流行和成功的。然而，自然语言通常是在单词层面之外的结构中出现的，其意义不仅来自单个单词，而且来自短语或句子层面上包含它们的结构。对话语的意义从其各部分的意义中产生的合成过程进行建模是NLP的一项同样基本的任务。本文探讨了学习分布式语义表示的方法和模型，用于将这些表示组成更大的语言单元。我们的基本假设是，神经模型是学习语义丰富的表示的合适工具，而这些表示反过来又是解决自然语言处理中重要任务的合适工具。这篇论文的贡献是我们的假设进行了彻底的评估，作为其中的一部分，我们介绍了几种新的方法，表示学习和组合语义，以及多种国家的最先进的模型，适用于分布式语义表示在NLP的各种任务。
2014-11-12 cs.CL
Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change
Stanford University（斯坦福大学）
理解词语如何随着时间的推移而改变其含义是语言和文化进化模型的关键，但关于含义的历史数据很少，使得理论难以发展和测试。词嵌入作为一种历时工具显示出了希望，但尚未得到仔细的评估。我们开发了一个强大的方法来量化语义变化评估词嵌入（PPMI，SVD，word 2 vec）对已知的历史变化。然后，我们使用这种方法来揭示语义进化的统计规律。我们使用了六个历史语料库，跨越四种语言和两个世纪，我们提出了两个定量的法律的语义变化：（一）法律的一致性--的语义变化率的规模与词频的逆幂律;（二）法律的创新--独立的频率，词越多义有较高的语义变化率。
2018-10-25 cs.CL
AuthorMix: Modular Authorship Style Transfer via Layer-wise Adapter Mixing
Saarland University（萨尔兰大学）
提出AuthorMix框架，通过训练特定风格的LoRA适配器并利用逐层适配器混合，仅需少量目标风格样本即可实现轻量级、模块化的作者风格迁移，在低资源场景下优于现有方法并显著提升语义保留。
2026-09-17 cs.AI cs.CL
Translating and Evolving: Towards a Model of Language Change in DisCoCat
Graduate Center, CUNY（纽约市立大学研究生中心）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；UC Riverside（加州大学河滨分校）；UC San Diego（加州大学圣地亚哥分校）
Coecke et al.（2010）提出的范畴成分分布（DiscoCat）意义模型在意义的各个方面都取得了成功。然而，它未能模拟语言可以改变的事实。我们提供了一种方法，使我们能够代表语言模型和它们之间的翻译，使我们能够描述从一种语言到另一种语言的翻译，或在同一语言的变化。我们统一了（Coecke et al.，2010）和（Kartsaklis等人，2013），在某种程度上，允许我们将语言视为意义的目录。我们形式化的概念，一个词汇在DiscoCat，并定义了一个字典的意义之间的两个词汇。所有这些都是在monoidal范畴的框架内完成的。我们给出了如何应用我们的方法的例子，并给出了一个具体的建议，成分在语料库中的翻译。
2018-11-08 cs.AI cs.CL math.CT
OntoSenseNet: A Verb-Centric Ontological Resource for Indian Languages
Center for Exact Humanities IIIT-Hyderabad
语言形式本体论的框架是继Yaska、Patanjali和Bhartrihari从印度语言学传统中发展起来的理解词汇意义的方法以及莱布尼茨和布伦塔诺在现代发展起来的理解词汇意义的方法之后建立起来的。该框架认为，词语的意义是由内在和外在的本体结构所决定的。本文的目的是捕捉这样的内在和外在意义的话，两个主要的印度语言，即印地语和泰卢固语。词性被划分为义项类型和义类。使用它们，我们已经开发了一个黄金标准的注释词汇资源，以支持语义理解的语言。该资源收集了印地语和泰卢固语词汇，这些词汇已由母语人士按照我们的注释指南手动注释。此外，本研究亦利用此资源推导出动词的状语义类分布及卡拉卡动词义类分布。不同的语料库（新闻，小说）进行了比较，使用动词的义型分布。词嵌入被用作丰富资源的辅助手段。这是一个正在进行的工作，旨在广泛的语言词汇覆盖。
2018-08-02 cs.CL
