No Optimal Language Set Exists for Multilingual Instruction Tuning: Insights from a Linguistically-Informed Study
Wageningen University and Research（瓦赫宁根大学与研究中心）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Koç University（科克大学）；KUIS AI Lab（KUIS人工智能实验室）
研究多语言指令微调中语言集选择问题，通过评估基于多种特征的语言信息选择策略与随机基线对比，发现固定预算下无通用语言选择策略，性能因任务和模型而异，超阈值加语言会致性能下降，还讨论了相关影响和评估陷阱。
2026-07-28 cs.CL cs.LG
LIMIT-BERT : Linguistic Informed Multi-Task BERT
Shanghai Jiao Tong University（上海交通大学）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室（上海交通大学人工智能研究院））
在本文中，我们提出了一个语言知情的多任务BERT（LIMIT-BERT）的学习语言表示在多个语言任务的多任务学习（MTL）。LIMIT-BERT包括五个关键的语言句法和语义任务：词性标记、成分和依存句法分析、跨度和依存语义角色标注。此外，LIMIT-BERT还采用了语言学屏蔽策略：句法和语义短语屏蔽，屏蔽了与句法/语义短语对应的所有标记。不同于最近的多任务深度神经网络（MT-DNN）（Liu等人，2019），我们的LIMIT-BERT是语言驱动的，并在半监督方法中学习，该方法提供了与BERT学习语料库相同的大量语言任务数据。因此，LIMIT-BERT不仅提高了语言任务的性能，而且还受益于正则化效应和语言信息，从而产生更一般的表示，以帮助适应新的任务和领域。LIMIT-BERT在Propbank基准上的跨度和依存语义解析以及Penn Treebank上的依存和成分句法分析上都获得了新的最先进的或有竞争力的结果。
2020-10-06 cs.CL cs.LG
Troubles and Failures in Interactional Language. Towards a Linguistically Informed Taxonomy
ICREA；Universitat Pompeu Fabra（庞培法布拉大学）
该演讲提出系统性研究议程，从语言学视角研究人机交互中的麻烦与失败，聚焦影响对话流程的语言学变量，旨在构建语言学启发的分类法。
2023-11-13 cs.CL
LIEDER: Linguistically-Informed Evaluation for Discourse Entity Recognition
Yale University（耶鲁大学）
该研究提出LIEDER数据集，用于评估大语言模型对语篇实体的四项核心语义属性的认知，发现前沿模型仅对新颖性不敏感，尚未达到人类级语言理解水平。
2024-08-10 cs.CL
Linguistically-Informed Transformations (LIT): A Method for Automatically Generating Contrast Sets
University of Washington（华盛顿大学）
虽然大规模预训练语言模型，如BERT和RoBERTa，在分布内测试集上实现了超人的性能，但它们的性能在分布外测试集上受到影响（例如，在对比集上）。构建对比集通常需要人工注释，这是昂贵的，并且难以大规模创建。在这项工作中，我们提出了一种语言信息转换（LIT）的方法来自动生成对比集，这使得从业者能够探索感兴趣的语言现象，以及组成不同的现象。在SNLI和MNLI上用我们的方法进行的实验表明，当前预训练的语言模型虽然声称包含足够的语言知识，但在我们自动生成的对比集上很难。此外，我们通过应用LIT来增加训练数据，在不影响原始数据性能的情况下，提高了模型在对比集上的性能。
2020-11-12 cs.CL
Linguistically Informed Tokenization Improves ASR for Underresourced Languages
Department of Mathematics（数学系）；Department of Linguistics（语言学系）
本研究在Yan-nhangu语上微调wav2vec2模型，证明语言学信息音素分词显著优于正字法分词，且ASR输出人工校正比手动转写更快，验证了ASR对低资源语言的适用性。
2025-10-07 cs.CL
LingBench++: A Linguistically-Informed Benchmark and Reasoning Framework for Multi-Step and Cross-Cultural Inference with LLMs
National Taiwan University（台湾大学）
提出受 IOL 启发的 LingBench++ 基准与多智能体推理框架，通过分步评估、类型学元数据、知识检索和迭代假设检验，提升 LLM 多步跨文化推理的准确率与可解释性。
2025-07-24 cs.CL
Linguistically Informed ChatGPT Prompts to Enhance Japanese-Chinese Machine Translation: A Case Study on Attributive Clauses
在日汉翻译语言学领域，如何正确翻译定语从句一直是一个具有挑战性的问题。目前的机器翻译工具往往不能准确地将日语定语从句翻译成汉语。鉴于此，本文从语言学的角度探讨了这些困难背后的语言学问题，即被修饰名词的语义角色如何影响定语从句翻译模式的选择。为了解决这些问题，提出了一种预编辑方案，旨在提高翻译的准确性。此外，我们提出了一种新的两步提示策略，结合这种预编辑方案与ChatGPT，目前最广泛使用的大语言模型。这种提示策略能够在zero-shot场景中优化翻译输入，并已被证明可以将平均翻译准确率提高35%以上。
2023-03-27 cs.CL
Beyond Agreement: Diagnosing the Rationale Alignment of Automated Essay Scoring Methods based on Linguistically-informed Counterfactuals
Beijing Normal University（北京师范大学）；Tencent AI Lab（腾讯 AI 实验室）
针对自动作文评分方法决策机制不透明的问题，提出借助大语言模型反事实干预的诊断方法，发现类BERT模型侧重句级特征，大语言模型与评分标准的理由对齐更全面，可提升神经评分方法的可解释性并推广至其他领域。
2024-10-08 cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University（高丽大学）；Prediction（Prediction 公司）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题，提出结合子字分解的词素感知子词分词法，在PLMs中平衡语言准确性与效率，在NIKL-CoLA等任务上表现提升，证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
Linguistically Informed Masking for Representation Learning in the Patent Domain
TU Vienna（维也纳工业大学）；Siemens AG（西门子股份公司）
领域特定的语境化语言模型已经证明了对于领域特定的下游任务，如相似性匹配，实体识别或信息检索的显著有效性增益。然而，在高度特定的语言领域中成功地应用这样的模型需要预训练模型的领域自适应。在本文中，我们提出了经验动机的语言信息掩蔽（LIM）方法，专注于领域自适应的预训练的语言模式的专利，使用一个高度技术性的子语言。我们量化了专利，科学和通用语言之间的相关差异，并证明了两种不同的语言模型（BERT和Sci BERT），领域自适应与LIM导致系统改进的表示，通过评估两个独立的下游任务，IPC分类和相似性匹配的专利语言的领域自适应表示的性能。我们证明了平衡的专利领域的领域自适应过程中从不同的信息源的学习的影响。我们在https://github.com/sophiaalthammer/patent-lim上公开了源代码以及领域自适应的预训练专利语言模型。
2021-06-10 cs.CL cs.IR
UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts
The University of Alabama（阿拉巴马大学）
本研究针对掩码语言模型的性别偏见问题，构建含两类提示的新数据集，评估6款主流模型，发现均存在性别刻板对齐，多语言变体偏见相对更低。
2024-01-28 cs.CL
Linguistically Informed Evaluation of Multilingual ASR for African Languages
University of Rochester（罗切斯特大学）
本文通过引入FER和TER，评估了多语言语音识别模型在非洲语言中的表现，发现声调特征是主要挑战，FER能更准确揭示模型错误模式。
2026-02-04 cs.CL
TransLIST: A Transformer-Based Linguistically Informed Sanskrit Tokenizer
IIT Kanpur（印度理工学院坎普尔分校）；UCLA（加州大学洛杉矶分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；IIT Mandi（印度理工学院曼迪分校）
梵语分词（SWS）是使数字化文本可用和部署下游任务的关键。然而，由于连读变调现象在词的边界处修饰了字符，因此它是不平凡的，需要特殊处理。现有的词汇驱动的方法SWS使用梵文遗产阅读器，一个词汇驱动的浅层解析器，以产生完整的候选解决方案空间，各种方法被应用于产生最有效的解决方案。然而，这些方法在遇到词汇表外的标记时会失败。另一方面，SWS的纯工程方法利用了深度学习的最新进展，但无法利用关于可用性的潜在单词信息。为了克服这两种方法的缺点，我们提出了基于Transformer的语言信息梵文分词器（transLIST）包括（1）将字符输入与潜在词信息一起编码的模块，该模块考虑了特定于SWS的连读变调现象并且易于与部分或没有候选解一起工作，（2）一种新的软屏蔽注意力优先潜在的候选词和（3）一种新的路径排名算法，以纠正损坏的预测。在SWS基准数据集上的实验表明，在完美匹配（PM）度量方面，TransLIST比当前最先进的系统平均绝对增益为7.2点。代码库和数据集可在https://github.com/rsingha108/TransLIST上公开获取
2022-10-21 cs.CL
Linguistically Informed Relation Extraction and Neural Architectures for Nested Named Entity Recognition in BioNLP-OST 2019
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
命名实体识别（NER）和关系抽取（RE）是从生物医学文献中提取知识的重要工具。本文介绍了我们参与BioNLP Shared Tasks 2019的发现。本文研究了命名实体识别，包括嵌套实体抽取、实体规范化和关系抽取。我们提出的命名实体的方法可以推广到不同的语言，我们已经证明了它的有效性英语和西班牙语文本。我们研究了语言特征，混合损失包括排名和条件随机场（CRF），多任务目标和标记级集成策略，以提高NER。我们采用基于字典的模糊和语义搜索来执行实体规范化。最后，我们的RE系统采用支持向量机（SVM）与语言特征。我们的NER提交（团队：MIC-CIS）在BB-2019 norm+NER任务中排名第一，标准出错率（SER）为0.7159，并在PharmaCo NER任务中表现出竞争力，F1得分为0.8662。我们的RE系统在SeeDev-binary关系抽取任务中排名第一，F1得分为0.3738。
2019-10-08 cs.CL
CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning
Yale University（耶鲁大学）；Meta AI
针对对话摘要中的事实不一致问题，提出基于语言学错误类型学的对比微调方法ConFiT，通过模块化目标和对话特定损失显著减少幻觉，并在SAMSum和AMI数据集上超越多数基线。
2022-07-09 cs.CL
Linguistically Informed Multimodal Fusion for Vietnamese Scene-Text Image Captioning: Dataset, Graph Framework, and Phonological Attention
Faculty of Information Science and Engineering（信息科学与工程学院）；University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）
本文提出HSTFG和PhonoSTFG框架，通过图拓扑分析发现跨模态边对场景文本融合有害，并构建首个大规模越南语场景文本描述数据集ViTextCaps，揭示52.8%词汇存在声调符号冲突风险。
2026-04-30 cs.CL cs.CV
Bootstrapping Techniques for Polysynthetic Morphological Analysis
Charles Darwin University（查尔斯达尔文大学）
由于一个词中词素槽和组合的数量，多合成语言的词汇量特别大，而且非常稀少。这种复杂性，加上书面数据的普遍缺乏，对自然语言技术的发展提出了挑战。为了应对这一挑战，我们提供了语言学上知情的方法引导神经形态分析仪，并展示其应用Kunwinjku，一个多合成的澳大利亚语言。我们从有限状态传感器生成数据来训练编码器-解码器模型。我们通过将缺失的语言结构“幻觉化”到训练数据中来改进模型，并通过从Zipf分布中恢复来模拟更自然的词素分布。最好的模型解释了测试集中的所有重复实例，总体准确率达到94.7%，比FST基线提高了10个百分点。这个过程证明了从最少的资源引导神经形态分析器的可行性。
2020-05-03 cs.CL
LERT: A Linguistically-motivated Pre-trained Language Model
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Central China)（科大讯飞人工智能研究院（华中））
预训练的语言模型（PLM）已成为自然语言处理领域具有代表性的基础模型。大多数PLM都是在文本的表面形式上使用与语言无关的预训练任务进行训练的，例如掩蔽语言模型（MLM）。为了进一步赋予PLM更丰富的语言特征，在本文中，我们的目标是提出一种简单但有效的方法来学习预先训练好的语言模型的语言特征。我们提出了LERT，一个预先训练的语言模型，它使用语言信息预训练（LIP）策略，在三种类型的语言特征以及原始的MLM预训练任务上进行训练。我们对十个中文自然语言理解任务进行了广泛的实验，实验结果表明，LERT可以带来显着的改善，在各种可比的基线。此外，我们还从语言学的各个方面进行了分析实验，结果证明了LERT的设计是有效的。有关资源，请访问https://github.com/ymcui/LERT
2022-11-10 cs.CL cs.LG
Linguistically-Informed Neural Architectures for Lexical, Syntactic and Semantic Tasks in Sanskrit
INDIAN INSTITUTE OF TECHNOLOGY KANPUR（印度理工学院坎普尔分校）
该论文针对梵语低资源、形态丰富及连音等挑战，提出融合语言信息的神经架构以解决词分割、依存分析、复合词识别和诗歌分析任务，并发布 SanskritShala 在线工具包。
2023-08-17 cs.CL
Towards Linguistically-informed Representations for English as a Second or Foreign Language: Review, Construction and Application
School of the Chinese Nation Studies（中华民族学院）；School of Liberal Arts, Minzu University of China（中央民族大学文学院）；Department of Chinese Language and Literature, Peking University（北京大学中国语言文学系）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
本文综述现有ESFL资源，提出基于建构主义理论的新型表示方法，构建包含1643个注释句子的高质资源，并验证其在第二语言习得研究中的应用价值。
2026-04-10 cs.AI cs.CL
A Linguistic Investigation of Machine Learning based Contradiction Detection Models: An Empirical Analysis and Future Perspectives
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析和信息系统研究所）
我们分析了两个自然语言推理数据集的语言特征。我们的目标是识别那些对于机器学习模型来说特别难以理解的语法和语义属性。为此，我们还研究了众包的机器翻译数据集（SNLI）和来自互联网源的文本对集合之间的差异。我们的主要发现是，该模型难以识别介词和动词的语义重要性，强调语言意识的预训练任务的重要性。此外，它往往不理解反义词和同音异义词，特别是如果这些词取决于上下文。不完整的句子是另一个问题，还有较长的段落和罕见的单词或短语。该研究表明，自动化的语言理解需要一个更明智的方法，在整个培训过程中利用尽可能多的外部知识。
2022-10-19 cs.CL
LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference
MaiNLP, Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心 MaiNLP）；Munich Center for Machine Learning（慕尼黑机器学习中心）；FNRS, CENTAL, UCLouvain（比利时法语区科学研究基金、鲁汶大学自然语言处理中心）；Faculty of Computer Science and UniVie Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学学院与维也纳大学计算机科学博士学院）
针对NLI中标签内变异被忽视的问题，提出语言学分类体系LITEX，用于分类自由文本解释，并证明基于该分类引导的解释生成更接近人类解释。
2025-10-08 cs.CL
Predicting the Argumenthood of English Prepositional Phrases
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research AI（微软研究院AI）
动词的论元与非论元的区分是一个由来已久的问题。在自然语言处理中，论证信息在诸如语义角色标注（SRL）和介词短语（PP）附加消歧等任务中是重要的。在理论语言学中，存在许多用于论证的诊断测试，但它们经常产生相互矛盾的和潜在的梯度结果。这对于句法上倾斜的项目（如PP）来说尤其如此。我们提出了两个PP论证预测任务，从这两个动机分支：（1）VerbNet中PP的二元论元-附属分类，以及（2）使用人类判断作为金标准的梯度论证预测，并报告使用预训练的词嵌入和其他语言信息特征的预测模型的结果。我们在每个任务上的最佳结果是（1）$acc.=0.955$、$F_1=0.954$（ELMo+BiLSTM）和（2）Pearson的$r=0.624$（word 2 vec +MLP）。此外，我们证明了论证预测的效用，通过SRL的性能增益时，句子编码器与我们的任务进行预训练，以提高句子表示。
2019-04-14 cs.CL
Cross-linguistically Consistent Semantic and Syntactic Annotation of Child-directed Speech
University of Edinburgh（爱丁堡大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Georgetown University（乔治城大学）
本文提出一种跨语言一致的句法与语义标注方法，构建英语和希伯来语儿童导向言语语料库，验证质量并展示其在语言习得研究中的效用。
2024-03-14 cs.CL
Atomic-SNLI: Fine-Grained Natural Language Inference through Atomic Fact Decomposition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Atomic-SNLI通过原子事实分解提升细粒度自然语言推理，通过构建新数据集增强模型的原子级推理能力。
2026-01-10 cs.AI cs.CL
How does the pre-training objective affect what large language models learn about linguistic properties?
University of Sheffield（谢菲尔德大学）
已经提出了几个预训练目标，例如掩码语言建模（MLM），以预训练语言模型（例如BERT），目的是学习更好的语言表示。然而，据我们所知，到目前为止，还没有以前的工作已经调查了不同的预训练目标如何影响BERT学习语言学属性。我们假设，语言动机的目标，如MLM应该帮助BERT获得更好的语言知识相比，其他非语言动机的目标是不直观的或难以猜测的输入和标签之间的关联进行预测。为此，我们预先训练BERT有两个语言动机的目标和三个非语言动机的。然后，我们探测语言特征编码的表示所产生的模型。我们发现强有力的证据表明，有两种不同类型的目标学习的表示之间的探测性能只有很小的差异。这些令人惊讶的结果质疑了语言信息预训练的主导叙事。
2022-03-20 cs.CL
Linguistically Conditioned Semantic Textual Similarity
Brandeis University（布兰迪斯大学）
本文针对条件语义文本相似度（C-STS）数据集存在的标注问题，提出基于问答的自动错误识别流程和新训练方法，并利用类型化特征结构为条件标注提供语言学基础。
2024-06-06 cs.AI cs.CL
LinguaGame: A Linguistically Grounded Game-Theoretic Paradigm for Multi-Agent Dialogue Generation
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Peking University（北京大学）；East China University of Political Science and Law（中国政法大学）
LinguaGame通过博弈论范式提升多智能体对话生成的通信效率，利用语言感知推理实现意图和策略的高效沟通。
2026-01-08 cs.CL
ÚFAL MRPipe at MRP 2019: UDPipe Goes Semantic in the Meaning Representation Parsing Shared Task
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们对CoNLL 2019共享任务跨框架意义表示解析（MRP 2019）的贡献进行了系统描述。建议的架构是我们第一次尝试对语义解析扩展的UDPipe 2.0，一个词形化，词性标注和依存句法分析管道。对于MRP 2019，它具有五种形式和语言上不同的意义表示方法（DM，PSD，EDS，UCCA和AMR），我们提出了一种统一的，语言和框架不可知的图到图神经网络架构。在没有任何关于图结构的知识的情况下，特别是在没有任何语言或框架动机的特征的情况下，我们的系统隐式地对意义表示图进行建模。在修复了人为错误（我们使用了早期提供的测试集分析的错误版本）之后，我们的提交将在竞争评估中获得第三名。我们的系统的源代码可以在https://github.com/ufal/mrpipe-conll2019上获得。
2019-10-24 cs.CL
Construction and educational application of a linguistically grounded dependency treebank for Uyghur
Xinjiang University（新疆大学）
本研究构建了乌兹别克语语义基础依存树库，通过混合标注流程提高依存项目性，并开发AI辅助语法教学系统，验证其在提升非母语学习者句法理解能力方面的有效性。
2026-01-20 cs.CL
Semantically-Informed Syntactic Machine Translation: A Tree-Grafting Approach
U.S. Dept. of Defense（美国国防部）；JHU HLTCOE（约翰斯·霍普金斯大学人类语言技术卓越中心）；University of Maryland（马里兰大学）；CMU（卡内基梅隆大学）；BBN（BBN公司）；JHU/APL（约翰斯·霍普金斯大学应用物理实验室）
我们描述了一个统一的和连贯的语法框架，支持语义知情的句法方法统计机器翻译。语义丰富的句法标签分配给目标语言的培训文本提高翻译质量。由此产生的系统显着优于语言幼稚的基线模型（Hiero），并达到了NIST 2009年乌尔都语-英语翻译任务的最高分数。这一发现支持了MT社区的许多研究人员提出的假设，例如，在DARPA GALE中），句法和语义信息对于提高翻译质量至关重要-并进一步表明，对于词序与英语不同的低资源语言，可以获得很大的收益。
2014-09-24 cs.CL cs.LG stat.ML
Construction-Driven Injection: Linguistically-Grounded Edit-Based Code-Mixing Fingerprints for Large Language Models
研究针对大语言模型易被滥用问题，提出统一指纹框架。通过LCF按规则构造代码混合指纹，再用LCFEdit结合多语言表示和跨语言对齐注入指纹，实现构造感知注入，确保更新稳定，能持续验证所有权且对模型效用影响小。
2026-07-29 cs.AI cs.CL
Improving Unsupervised Question Answering via Summarization-Informed Question Generation
Dublin City University（都柏林城市大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Trinity College Dublin（都柏林大学三一学院）
问题生成（QG）是为给定的<passage，answer>对生成合理问题的任务。基于模板的QG使用基于语言的语法将陈述句转换为疑问句，而有监督的QG使用现有的问答（QA）数据集来训练系统以生成给定段落和答案的问题。启发式方法的缺点是生成的问题与其声明性对应物紧密相关。监督方法的缺点是它们严重依赖于用作训练数据的QA数据集的域/语言。为了克服这些缺点，我们提出了一个无监督的QG方法，它使用的问题，从摘要作为一个QG系统的训练数据的来源，启发式地产生。我们利用免费提供的新闻摘要数据，转换成适当的问题，使用依存句法分析，命名实体识别和语义角色标注告知的语法学的陈述性摘要句子。然后，将产生的问题与原始新闻文章相结合，以训练端到端的神经QG模型。我们使用无监督QA来评估我们的方法：我们的QG模型用于生成合成QA对以训练QA模型。实验结果表明，仅用20 k个基于英语维基百科的合成QA对训练，QA模型在三个域内数据集（SQuAD 1.1，Natural Questions，TriviaQA）和三个域外数据集（NewsQA，BioASQ，DuoRC）上的性能大大优于以前的无监督模型，证明了该方法的可移植性。
2021-09-16 cs.CL
Towards Linguistically-Aware and Language-Independent Tokenization for Large Language Models (LLMs)
Epic Systems（Epic系统公司）；Cognitive Computing Platform（认知计算平台）
该研究分析多款主流大语言模型的分词差异与低资源语言的子词分词挑战，结合电子健康记录场景案例，倡导语言感知的开发实践与AI服务的国际化包容性建设。
2024-10-04 cs.CL cs.LG
TF3-RO-50M: Training Compact Romanian Language Models from Scratch on Synthetic Moral Microfiction
Babes-Bolyai University（巴纳特-博耶伊大学）；KlusAI Labs（KlusAI实验室）
TF3-RO-50M通过从头开始训练，生成罗曼尼亚语紧凑型语言模型及大规模合成叙事语料库。
2026-01-15 cs.CL
Is linguistically-motivated data augmentation worth it?
University of Colorado（科罗拉多大学）
本文系统比较了语言学无知型与语言学动机型数据增强策略在两种低资源语言的机器翻译和逐行注释任务上的效果，发现语言学动机型策略仅在生成样本接近训练数据分布时才优于朴素方法。
2025-06-04 cs.CL
Use of Modality and Negation in Semantically-Informed Syntactic MT
U.S. Dept. of Defense（美国国防部）；University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）；BBN Technologies（BBN科技公司）
本文介绍了为期八周的约翰霍普金斯大学人类语言技术卓越夏令营应用语言探索中心（SCALE-2009）的语义信息机器翻译（SIMT）的资源和系统建设的努力。我们描述了一个新的模态/否定（MN）注释方案，创建一个（公开可用）MN词典，和两个自动MN标签，我们建立使用的注释方案和词典。我们的注释方案隔离三个组件的模态和否定：触发器（一个词，传达模态或否定），目标（一个动作与模态或否定）和持有人（一个经验者的模态）。我们描述了我们的MN词典是如何半自动产生的，我们证明了一个基于结构的MN标签的精度约为86%（取决于流派）的标签的标准的LDC数据集。我们应用我们的MN注释计划统计机器翻译使用的语法框架，支持包括语义注释。通过树嫁接的过程，将富含语义标注的句法标签分配给目标语言训练文本中的解析树。虽然我们的工作重点是情态和否定，树嫁接过程是通用的，并支持其他类型的语义信息。我们利用这种能力，包括命名的实体，产生的预先存在的标签，除了MN元素产生的标签在本文中描述的。由此产生的系统显着优于语言幼稚的基线模型（Hiero），并达到了NIST 2009年乌尔都语-英语测试集的最高分数。这一发现支持了句法和语义信息都能提高翻译质量的假设。
2015-02-05 cs.CL cs.LG stat.ML
Phylogeny-Inspired Adaptation of Multilingual Models to New Languages
George Mason University（乔治梅森大学）
大型预训练的多语言模型，在几十种语言上进行训练，由于在各种语言任务上的跨语言学习能力，已经取得了令人鼓舞的结果。进一步使这些模型适应特定的语言，特别是在预训练期间看不到的语言，是扩大语言技术覆盖范围的一个重要目标。在这项研究中，我们展示了如何使用语言系统发育信息，以改善跨语言迁移利用密切相关的语言在结构化，语言信息的方式。我们对来自不同语系（日耳曼语、乌拉尔语、图皮斯语、乌托-阿兹特克语）的语言进行基于适配器的训练，并对句法和语义任务进行评估，与强大的常用基线相比，获得了超过20%的相对性能提升，特别是在预训练期间看不到的语言上。
2022-11-22 cs.CL
Are Language Models Agnostic to Linguistically Grounded Perturbations? A Case Study of Indic Languages
IIT Bombay（印度理工学院孟买分校）；NICT（情报通信研究机构）
本文研究预训练语言模型对基于语言的攻击是否无感知，通过考察多种印度语言和下游任务，发现模型对语言扰动敏感性略低于非语言攻击，表明受限攻击仍有效。
2024-12-14 cs.CL
Towards Linguistically Generalizable NLP Systems: A Workshop and Shared Task
University of Maryland（马里兰大学）；University of Washington（华盛顿大学）；Microsoft Research New York（微软纽约研究院）
本文介绍了第一次研讨会上建立语言概括的自然语言处理系统，以及相关的Build It Break It，语言版共享任务的总结。这次研讨会的目的是将NLP和语言学的研究人员聚集在一起，共同完成一项任务，旨在测试NLP系统在其训练数据分布之外的通用性。我们描述了共享任务的动机、设置和参与，讨论了一些突出的结果，并讨论了经验教训。
2017-11-04 cs.CL
CLSE: Corpus of Linguistically Significant Entities
Google（谷歌）；Predibase
针对NLG中命名实体处理导致的语法错误问题，构建了涵盖34种语言、74种语义类型的语言学显著实体语料库CLSE，并基于其生成SGD-CLSE基准，在法语、马拉地语和俄语上评估了神经、模板及混合NLG系统的质量基线。
2023-08-30 cs.CL
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校计算机科学与工程系）；Department of CSE, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系）；SCEE, Indian Institute of Technology Mandi（印度理工学院曼迪分校软件工程系）；Adobe Research（Adobe研究）
本研究针对17种印度语言，系统评估了子词算法、标准化方法、词汇量及词汇构建策略对多语言分词的影响，发现脚本特定标准化、Unigram LM保留形态边界及聚类词汇构建可提升性能。
2026-06-23 cs.CL
Linguistically-Controlled Paraphrase Generation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
LingConv通过细粒度控制40种语言属性生成高质量改写，显著降低属性误差并提升生成质量。
2025-11-27 cs.CL
Comparing Performance of Different Linguistically-Backed Word Embeddings for Cyberbullying Detection
在大多数情况下，词嵌入仅从原始标记或在某些情况下从词元学习。这包括预先训练的语言模型，如BERT。为了研究捕捉词项和结构之间更深层次关系的潜力，并过滤掉冗余信息，我们建议将形态，句法和其他类型的语言信息与原始标记或词元相结合。例如，这意味着在所使用的词汇特征中包括词性或依存关系信息。然后可以在组合上训练词嵌入，而不仅仅是原始标记。以后也可以将这种方法应用于大型语言模型的预训练，并可能提高它们的性能。这将有助于解决从语言表现的角度来看更为复杂的问题，如发现网络欺凌。
2022-06-04 cs.AI cs.CL cs.LG
Tokenization Disparities as Infrastructure Bias: How Subword Systems Create Inequities in LLM Access and Efficiency
L3S Research Center（L3S研究所以）；Leibniz University Hannover（莱比锡大学汉诺威分校）
本研究通过评估200多种语言的分词效率，发现非拉丁及形态复杂语言面临3-5倍词元膨胀，造成计算不平等，提出需开发语言学知情分词策略以促进多语言AI公平性。
2025-10-14 cs.AI cs.CL
Challenges for Linguistically-Driven Computer-Based Sign Recognition from Continuous Signing for American Sign Language
Boston University（波士顿大学）
本文基于大型带语言标注的ASL视频语料库，综述连续手语识别相较孤立手语识别面临的变异与结构难题，并指出可利用语言规律提升手形及手语识别。
2023-11-01 cs.CL cs.CV
Linguistically Communicating Uncertainty in Patient-Facing Risk Prediction Models
University of Aberdeen（阿伯丁大学）
本文研究面向患者的医疗风险预测中如何用自然语言传达模型不确定性，提出涵盖性能、置信度、推理与未知已知的沟通设计，并以体外受精结局预测为应用场景。
2024-01-31 cs.AI cs.CL
DuQM: A Chinese Dataset of Linguistically Perturbed Natural Questions for Evaluating the Robustness of Question Matching Models
Soochow University（苏州大学）；Baidu Inc.（百度公司）
本文主要研究中文问句匹配的鲁棒性评价问题。以前大多数关于分析鲁棒性问题的工作都集中在一种或几种类型的人工对抗示例上。相反，我们认为，有必要制定一个全面的评估模型的语言能力的自然文本。为此，我们创建了一个中文数据集，即DuQM，其中包含自然问题与语言扰动，以评估问题匹配模型的鲁棒性。DuQM包含3个范畴和13个子范畴，包含32个语言扰动。大量的实验表明，DuQM具有较好的区分不同模型的能力。重要的是，DuQM中语言现象的评估详细分解有助于我们轻松诊断不同模型的优点和缺点。此外，我们的实验结果表明，人工对抗的例子的效果不工作的自然文本。
2022-05-25 cs.CL
Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
在本研究中，我们提出了新的序列到序列预训练目标低资源机器翻译（NMT）：日语特定序列到序列（JASS）的语言对涉及日语作为源或目标语言，英语特定序列到序列（ENSS）的语言对涉及英语。JASS侧重于掩蔽和重新排序日语语言单位称为文组，而ENSS是基于短语结构掩蔽和重新排序任务。在ASPEC日语-英语和日语-汉语，维基百科日语-汉语，新闻英语-韩语语料库上的实验表明，JASS和ENSS优于MASS和其他现有的语言无关的预训练方法，对于日语-英语任务，最高可达+2.9 BLEU点，对于日语-汉语任务，最高可达+7.0 BLEU点，对于英语-韩语任务，最高可达+1.3 BLEU点。实证分析侧重于JASS和ENSS中各个部分之间的关系，揭示了JASS和ENSS子任务的互补性。使用LASER，人类评估和案例研究的准确性评估表明，我们提出的方法在没有注入语言知识的情况下显着优于预训练方法，并且与流畅性相比，它们对充分性有更大的积极影响。我们在这里发布代码：https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining.
2022-01-20 cs.CL
Including Signed Languages in Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）；Bar-Ilan University（巴伊兰大学）；Gallaudet University（加劳德特大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Pittsburgh（匹兹堡大学）
手语是许多聋人和重听人的主要交流手段。由于符号语言表现出自然语言的所有基本语言特性，我们认为自然语言处理（NLP）的工具和理论对其建模至关重要。然而，现有的研究在手语处理（SLP）很少尝试探索和利用的手语的语言组织。这份立场文件呼吁NLP社区将手语作为具有高度社会和科学影响的研究领域。我们首先讨论了在建模过程中要考虑的符号语言的语言属性。然后，我们回顾了当前SLP模型的局限性，并确定了将NLP扩展到签名语言的开放性挑战。最后，我们敦促（1）采用有效的标记化方法;（2）开发语言信息模型;（3）收集真实世界的手语数据;（4）将当地手语社区作为研究方向的积极和主导声音。
2021-07-22 cs.AI cs.CL cs.LG
Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets
Zoom Video Communications（Zoom视频通讯公司）
针对多语言指令微调数据缺乏自然性与多样性的问题，提出结合英语中心 LLM、单语语料和评分函数构建数据集的方法，显著提升非英语生成与判别任务性能。
2024-07-01 cs.AI cs.CL cs.LG
POSESTITCH-SLT: Linguistically Inspired Pose-Stitching for End-to-End Sign Language Translation
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎浦尔学院（IIT坎浦尔））
针对手语翻译数据集稀缺问题，提出受语言学模板启发的预训练方案POSESTITCH-SLT，通过引入模板生成的合成句子对训练简单的Transformer模型，在How2Sign和iSign数据集上显著提升了BLEU-4分数并超越现有方法。
2025-10-31 cs.AI cs.CL cs.CV
NAVCON: A Cognitively Inspired and Linguistically Grounded Corpus for Vision and Language Navigation
University of Pennsylvania（宾夕法尼亚大学）
本文提出了NAVCON，一个基于R2R和RxR的大规模视觉语言导航标注语料库，引入了四个核心导航概念及银标注生成算法，并通过人工评估和模型训练验证了其质量与实用性。
2024-12-18 cs.CL cs.CV
