A logical-based corpus for cross-lingual evaluation
University of São Paulo（圣保罗大学）；Instituto de Matemática e Estatística（数学与统计研究所）
目前，不同的深度学习模型在SNLI、MNLI和SciTail等流行的推理数据集上表现出很高的准确性。然而，有不同的指标表明，这些数据集可以通过使用一些简单的语言模式来利用。这一事实给我们理解机器学习模型解决文本推理这一复杂任务的实际能力带来了困难。我们提出了一套新的句法任务集中在矛盾检测，需要特定的能力，如语言逻辑形式：布尔协调，量词，明确的描述，计数运算符。我们评估了两种隐式利用语言结构的深度学习模型：递归模型和Transformer网络BERT。我们表明，虽然BERT显然是更有效地推广到大多数逻辑形式，有改进的空间时，处理计数运算符。由于句法任务可以在不同的语言中实现，我们展示了英语和葡萄牙语之间的跨语言迁移学习的成功案例。
2019-10-24 cs.AI cs.CL cs.LG
Syntactic Enhancement to VSIMM for Roadmap Based Anomalous Trajectory Detection: A Natural Language Processing Approach
Cornell University（康奈尔大学）
句法跟踪的目的是使用自然语言处理模型对目标运动的时空模式进行分类。在本文中，我们概括了早期的工作，考虑一个受约束的随机上下文无关文法（CSCFG）建模模式局限于路线图。受约束的语法有助于在路线图中对特定方向和道路名称进行建模。我们提出了一种新的粒子滤波算法，利用CSCFG模型估计目标的模式。该元级算法与基本级跟踪算法结合操作。大量的数值模拟结果表明，使用模拟地面动目标指示器（GMTI）雷达测量目标跟踪精度的显着改善。
2018-08-04 cs.CL
Towards Understanding Neural Machine Translation with Word Importance
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
虽然神经机器翻译（NMT）已经在各种语言对上取得了进步，但NMT的可解释性仍然不令人满意。在这项工作中，我们建议通过专注于理解NMT模型的输入-输出行为来解决这一差距。具体来说，我们通过基于梯度的方法将NMT输出归因于每个输入词来测量词的重要性。我们验证了一对夫妇的扰动操作，语言对，和模型架构的方法，证明了其优越性，识别输入的话，对翻译性能的影响更大。令人鼓舞的是，计算出的重要性可以作为NMT模型翻译不足的输入单词的指标。此外，我们的分析表明，某些句法类别的单词具有更高的重要性，而不同的语言对的类别，这可以启发更好的NMT架构的设计原则，多语言翻译。
2019-09-17 cs.CL cs.LG
Probing for targeted syntactic knowledge through grammatical error detection
ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
测试主谓一致性（SVA）知识的有针对性的研究表明，预先训练的语言模型编码句法信息。我们断言，如果模型鲁棒地编码主谓一致，它们应该能够识别何时一致是正确的，何时不正确。为此，我们提出了语法错误检测作为诊断探针，以评估他们的知识SVA标记级的上下文表示。我们从五个预先训练的英语语言模型：BERT，XLNet，GPT-2，RoBERTa和ELECTRA中评估每一层的上下文表示。我们利用来自英语第二语言学习者和维基百科编辑的公共注释训练数据，并报告手动制作的主谓一致刺激的结果。我们发现，掩蔽的语言模型线性编码的信息相关的SVA错误的检测，而自回归模型与我们的基线。然而，我们也观察到当探测器在不同的训练集上训练时，以及当它们在不同的句法结构上进行评估时，性能上的差异，这表明与SVA错误检测有关的信息没有被鲁棒地编码。
2022-10-28 cs.CL
Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；UC Irvine（加州大学欧文分校）；IBM Research（IBM研究院）；Amazon AI（亚马逊人工智能）
人类可以从最少的经验中学习一个词的结构属性，并在不同的语法上下文中统一部署他们学习的句法表示。我们评估了现代神经语言模型在英语中再现这种行为的能力，并评估了结构监督对学习结果的影响。首先，我们通过开发控制实验来评估少样本学习能力，该实验探测模型的句法名义数和言语论元结构概括，用于在训练过程中只看到两次的标记。其次，我们评估了学习表征的不变性：模型从基本上下文（例如，简单的陈述性主动语态句子）到变换的上下文（例如，疑问句）。我们测试了在同一数据集上训练的四个模型：一个n-gram基线，一个LSTM，以及两个用显式结构监督训练的LSTM变体（Dyer et al.，2016; Charniak等人，2016）。我们发现，在大多数情况下，神经模型能够在最小的暴露后诱导出正确的语法概括，通常在训练过程中只使用两个示例，并且这两个结构监督模型比LSTM模型更准确地概括。所有的神经模型都能够利用在基本上下文中学习到的信息来驱动转换后的上下文中的期望，这表明它们已经学习了语法的一些不变性。
2020-10-12 cs.CL
Who Relies More on World Knowledge and Bias for Syntactic Ambiguity Resolution: Humans or LLMs?
Miami University（迈阿密大学）；Portland State University（波特兰州立大学）
本研究通过构建MultiWho数据集，对比人类与LLM在六种语言的关系从句附着歧义解决中的表现，发现LLM僵化依赖世界知识偏见、偏好局部附着，缺乏人类语言处理的灵活性，指出需优化多语言训练以提升LLM复杂结构处理能力。
2025-03-20 cs.CL
The distribution of syntactic dependency distances
本文提出一种双指数区域模型来描述句法依存距离分布，发现该模型在20种语言中普遍适用，断点平均为4-5个词，揭示了语言处理的普遍组块机制。
2025-07-14 cs.CL
Does Incomplete Syntax Influence Korean Language Model? Focusing on Word Order and Case Markers
School of Computing, KAIST（韩国科学技术院计算机学院）
本研究针对韩语灵活词序与格标记省略的日常交流特点，构建SIKO数据集评估韩语语言模型的句法不完整处理能力，证实模型具备相应灵活性，且该数据集可作为有效数据增强技术提升模型表现。
2024-07-12 cs.CL
SCOI: Syntax-augmented Coverage-based In-context Example Selection for Machine Translation
Peking University（北京大学）
本文提出语法增强覆盖度上下文示例选择策略（SCOI），通过结合深层句法覆盖度与词汇覆盖度为机器翻译选择更优的上下文示例，在六个翻译方向上取得所有无学习方法中最高的平均COMET分数。
2024-09-25 cs.CL
Language Models at the Syntax-Semantics Interface: A Case Study of the Long-Distance Binding of Chinese Reflexive ziji
Georgetown University（乔治城大学）
本文探讨语言模型能否解决受句法语义制约的汉语反身代词ziji的约束问题，通过构建合成与自然句子数据集评估21个模型，发现现有模型无法稳定复现人类判断，严重依赖序列线索且忽略细微约束。
2025-04-02 cs.CL
Deep RNNs Encode Soft Hierarchical Syntax
University of Washington（华盛顿大学）；Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）
我们提出了一组实验来证明深度递归神经网络（RNN）学习内部表示，这些表示从高度变化的监督中捕获语法的软层次概念。我们在解析树的不同深度考虑四个语法任务;对于每个单词，我们预测它的词性以及第一个（父），第二个（父），（祖父母）和第三级（曾祖父母）出现在其上方的成分标签。这些预测是根据网络中不同深度产生的表示进行的，这些网络是用四个目标之一进行预训练的：依存句法分析、语义角色标注、机器翻译或语言建模。在每一种情况下，我们发现网络深度和句法深度之间的对应关系，这表明出现了软句法层次结构。这种效果在所有条件下都是鲁棒的，这表明即使在没有明确的句法训练监督的情况下，模型也能编码大量的句法。
2018-05-11 cs.CL
A Data-free Universal Prior over Syntactic Structures
University of Cambridge（剑桥大学）
本文提出一种基于认知的增量语言产出模型，无需语言数据即可产生句法结构的通用先验，在138种语言中优于随机树，并与语料库概率正相关，揭示句法概率的认知起源。
2026-10-02 cond-mat.dis-nn cs.CL
Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese
在越南语自然语言处理中，分词和词性标注是下游任务的两个关键的前期工作。实际上，人们在进行分词和词性标注时往往也会考虑短语边界，而不是仅仅从左到右逐词处理。在本文中，我们实现了这一想法，以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性，我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象，我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明，该模型实现了更高的性能比以前的作品为两种语言。
2021-06-16 cs.CL
Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models
Columbia University（哥伦比亚大学）；Intel Labs（英特尔实验室）；MIT-IBM Watson AI（MIT-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
虽然来自预训练语言模型的基于向量的语言表示为许多NLP任务设定了新标准，但尚未对其内部工作原理进行完整的解释。特别是，我们还不完全清楚这些表示捕捉了哪些方面的语法，也不清楚它们是如何（如果有的话）沿着网络的堆叠层构建的。在本文中，我们的目标是解决这样的问题与一般类的干预，输入扰动为基础的分析表示从预训练的语言模型。从计算和认知神经科学的表征不变性的概念，我们进行了一系列的探测器设计，以测试这些表征的几种结构的句子的敏感性。每一个探测都涉及交换句子中的单词，并将扰动句子的表征与原始句子进行比较。我们用三种不同的扰动进行实验：（1）随机排列不同宽度的n-gram，以测试表征对单词位置敏感的程度;（2）交换两个跨度，它们形成或不形成句法短语，以测试对全局短语结构的敏感性;以及（3）交换两个相邻的词，它们分开或不分开句法短语，以测试对局部短语结构的敏感性。这些探测的结果共同表明，Transformers沿着它们的层建立对句子较大部分的敏感性，并且层次短语结构在这个过程中起着作用。更广泛地说，我们的研究结果还表明，结构化输入扰动扩大了可以在通常不透明的深度学习系统上执行的分析范围，并且可以作为现有工具（如监督线性探针）的补充，用于解释复杂的黑盒模型。
2021-04-15 cs.CL
Syntactic Analysis Based on Morphological Characteristic Features of the Romanian Language
Vasile Alecsandri University of Bacau（巴克乌瓦西里·亚历山德里大学）；EduSoft Bacau（巴克乌EduSoft公司）
罗马尼亚语短语的句法分析是自然语言处理的一个重要过程。我们将提出一个实时的解决方案，基于使用一些词或词组来指示语法类别的想法;以及句子某些部分的某些特定结尾。我们的想法是基于罗马尼亚语的一些特点，其中一些介词，副词或一些特定的结尾可以提供有关复杂句子结构的大量信息。这些特点也可以在其他语言中找到，比如法语。使用一个特殊的语法，我们开发了一个系统（DIASEXP），可以执行一个自然语言的对话与断言和疑问句的“故事”（一组句子描述一些事件，从现实生活中）。
2013-01-09 cs.AI cs.CL
SAP: Syntactic Attention Pruning for Transformer-based Language Models
Institute of Information Science, Academia Sinica（学术院信息研究所）
SAP通过结合句法结构和注意力模式，提升Transformer模型的剪枝效果和可解释性，优于现有方法。
2025-12-22 cs.CL cs.LG
Syntactic Language Change in English and German: Metrics, Parsers, and Convergences
University of Aberdeen（阿伯丁大学）；University of Mannheim（曼海姆大学）；Ghent University（根特大学）；Goethe University Frankfurt（法兰克福歌德大学）
本文利用160年议会辩论语料和五个依存解析器，系统分析英语与德语的15项句法度量，发现两语言变迁趋势高度趋同，并警示解析器选择会显著影响句法变迁结论。
2024-03-28 cs.AI cs.CL
Evaluating The Impact of Stimulus Quality in Investigations of LLM Language Performance
University of Auckland（奥克兰大学）
本文提出一种方法，通过生成精炼刺激数据集，重新评估GPT-2的句法预测能力，发现刺激质量显著影响LLM在惊讶度评估中的表现。
2025-10-07 cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University（高丽大学）；Prediction（Prediction 公司）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题，提出结合子字分解的词素感知子词分词法，在PLMs中平衡语言准确性与效率，在NIKL-CoLA等任务上表现提升，证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
The optimality of syntactic dependency distances
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universidade da Coruña（拉科鲁尼亚大学）
人们经常说，人类语言和其他生物系统一样，是由削减成本的压力塑造的，但在多大程度上呢？通过最优性分数来量化语言的最优性程度的尝试很少，并且主要集中在英语上。在这里，我们将句子的词序的最优性问题重新转换为空间网络上的优化问题，其中顶点是单词，弧表示句法依赖关系，空间由句子中单词的线性顺序定义。我们引入了一个新的分数来量化认知压力，以减少句子中连接词之间的距离。对来自19个语言家族的93种语言的句子的分析表明，有一半的语言被优化到70%或更高。分数表明，在一些语言中，距离并没有显著减少，并证实了两个理论预测，即较长的句子更优化，并且在短句中，距离更有可能比预期的更长。我们提出了一个新的层次排序的语言的优化程度。新的评分对语言研究的各个领域（依赖语言学，类型学，历史语言学，临床语言学和认知科学）都有影响。最后，分数设计背后的原则对网络科学有影响。
2021-10-04 cs.CL cs.DM physics.soc-ph
The Hierarchical Organization of Syntax
Network Science Institute, Northeastern University（东北大学网络科学研究所）；Northeastern University（东北大学）；Universidad del Norte（北方大学）
本文基于11至17世纪德语历史语料构建句法网络，提出追踪句法结构历时涌现的框架，证明说话者交际需求塑造“句法交际层级”并推动句法演化。
2023-07-15 cs.CL nlin.AO
Investigating large language models for their competence in extracting grammatically sound sentences from transcribed noisy utterances
Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
本研究通过波兰语场景下的两项实验，探究大语言模型从带噪声对话转录中提取语法规范话语的能力，发现其相关能力仍较表层，未完全掌握或无法有效应用句法-语义规则。
2024-10-07 cs.CL
Evaluating Semantic and Syntactic Understanding in Large Language Models for Payroll Systems
Center for Entity Resolution（实体解析中心）；Information Quality (ERIQ) - University of Arkansas - Little Rock, Arkansas, Little Rock, USA（信息质量（ERIQ）- 阿拉巴马大学-利特尔岩石分校，阿肯色州，利特尔岩石，美国）
本文评估大型语言模型在薪酬系统中理解语义和句法的能力，通过实验发现不同提示策略对模型准确性的不同影响，并提出可复现的部署框架。
2026-02-07 cs.AI cs.CL
Ungrammatical-syntax-based In-context Example Selection for Grammatical Error Correction
Peking University（北京大学）
本文针对语法错误纠正任务，提出基于不合语法句法相似度的上下文示例选择策略，并通过两阶段筛选优化示例质量，实验证明其优于词匹配和语义方法，能有效提升大语言模型的GEC性能。
2024-03-28 cs.CL
The Better Your Syntax, the Better Your Semantics? Probing Pretrained Language Models for the English Comparative Correlative
LMU Munich（慕尼黑大学）；Munich Center of Machine Learning（慕尼黑机器学习中心）；University of Oxford（牛津大学）
构式语法是认知语言学的一种范式，强调句法和语义之间的联系。而不是对词汇项目进行操作的规则，它将结构视为语言的核心构建块，即，结合句法和语义的不同粒度的语言单位。作为评估CxG与最先进的预训练语言模型（PLMs）所展示的句法和语义知识的兼容性的第一步，我们提出了一个调查他们的能力，分类和理解最常用的研究结构之一，英语比较相关（CC）。我们进行实验，一方面检查分类准确性的语法探针和模型的行为在语义应用程序的任务，BERT，RoBERTa和DeBERTa作为示例PLM。我们的研究结果表明，所有三个调查PLM都能够识别的CC的结构，但未能使用其含义。尽管有人声称PLM在许多NLP任务上表现得像人类，但这表明PLM在语言知识的中心领域仍然存在重大缺陷。
2022-10-24 cs.CL
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；Mila - Quebec AI（Mila - 魁北克人工智能研究所）
屏蔽语言模型（MLM）预训练令人印象深刻的性能的一个可能的解释是，这些模型已经学会表示经典NLP管道中流行的语法结构。在本文中，我们提出了一个不同的解释：MLMs成功的下游任务几乎完全是由于他们的能力，模型高阶词共现统计。为了证明这一点，我们在随机打乱词序的句子上预训练MLMs，并表明这些模型在许多下游任务上进行微调后仍然具有很高的准确性-包括专门设计用于挑战忽略词序的模型的任务。我们的模型执行令人惊讶的是，根据一些参数的语法探测，表明可能存在的缺陷，我们如何测试表示的语法信息。总的来说，我们的研究结果表明，纯粹的分布信息在很大程度上解释了预训练的成功，并强调了管理需要更深入语言知识的具有挑战性的评估数据集的重要性。
2021-09-09 cs.CL cs.LG
Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change
University of Amsterdam（阿姆斯特丹大学）；University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）
词语使用中的形态和句法变化（如捕获的，例如，语法概况）已被证明是一个词的意义变化的良好预测。在这项工作中，我们探讨是否大的预先训练的语境化语言模型，词汇语义变化检测的常用工具，这种形态句法变化敏感。为此，我们首先在10个数据集上比较了语法配置文件与多语言神经语言模型（XLM-R）的性能，涵盖7种语言，然后将这两种方法结合起来，以评估它们的互补性。我们的研究结果表明，将语法配置文件与XLM-R集成可以提高大多数数据集和语言的语义变化检测性能。这表明，语言模型并没有完全覆盖在语法配置文件中明确表示的细粒度的形态和句法信号。一个有趣的例外是测试集，其中分析的时间跨度比它们之间的时间间隔长得多（例如，长达一个世纪的跨度，它们之间有一年的间隔）。形态句法的变化是缓慢的，所以语法概况不检测在这种情况下。相比之下，语言模型，由于其访问词汇信息，能够检测快速的主题变化。
2022-04-12 cs.CL
Syntax-Aware Language Modeling with Recurrent Neural Networks
Zalando Research, Zalando SE（Zalando SE研究部）
神经语言模型（LM）通常仅使用词汇特征（诸如单词的表面形式）来训练。在本文中，我们认为这剥夺了LM的关键句法信号，可以检测到在高置信度使用现有的解析器。我们提出了一种简单但高效的方法，用于训练神经LM使用词汇和句法信息，和一种新的方法，用于应用这种LM的未解析文本使用顺序蒙特卡洛采样。在一系列语料库和语料库大小的实验中，我们表明我们的方法始终优于标准的词汇LM在字符级的语言建模;另一方面，对于单词级的模型与标准的语言模型。这些结果表明，扩展LM词汇表面功能以外的字符级模型的更高级别的NLP功能的潜力。
2018-03-02 cs.CL cs.LG
Contextual Distortion Reveals Constituency: Masked Language Models are Implicit Parsers
Singapore University of Technology and Design（新加坡科技设计大学）
提出一种无需训练解析器的图表方法，通过成分测试式扰动造成的上下文表示失真为跨度评分并解析最小得分树，在英语及多语言无监督句法分析上取得先进结果。
2023-06-01 cs.CL
Late Transformer Layers Recode Syntax Canonically: Evidence from Greek Scrambling and Cross-Layer Generalisation
Université Paris 8 Vincennes–Saint-Denis（巴黎第八大学（万塞纳-圣但尼））；University of Geneva（日内瓦大学）；Athena Research Center（雅典娜研究中心）
该研究通过对希腊语微调的大语言模型开展跨层泛化分析，发现Transformer后期层会定向重编码句法信息，为人类脑电解码研究提供了可验证预测。
2026-09-02 cs.CL
Are crossing dependencies really scarce?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universidade da Coruña（拉科鲁尼亚大学）
句子的句法结构可以被建模为树，其中顶点对应于单词，边缘指示句法依赖性。它已反复声称，在真正的句子中的边缘交叉的数量是小的。然而，一直缺乏基线或零假设。在这里，我们量化了真实句子的交叉数量，并将其与一系列基线的预测进行比较。我们的结论是，交叉是真的稀缺，在真正的句子。它们的稀少是出乎意料的树的hubiness。实际上，真实的句子接近于线性树，在线性树中，交叉的潜在数量被最大化。
2017-10-10 cond-mat.stat-mech cs.CL physics.data-an
Rethinking the Relationship between the Power Law and Hierarchical Structures
RIKEN（理化学研究所）；National Institute for Japanese Language and Linguistics（日本语言学研究所）；The University of Tokyo（东京大学）；Georgetown University（乔治城大学）；National Institute of Informatics（信息处理研究所）
本文通过分析自然语言解析树的统计特性，质疑了幂律与分层结构之间关系的普遍性，发现解析树与概率上下文无关文法的假设不成立。
2026-10-06 cs.CL
Evaluating Transformer-Based Multilingual Text Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
随着NLP工具在当今的技术领域变得无处不在，它们越来越多地应用于具有各种类型结构的语言。然而，NLP研究并不主要集中在其分析最先进的语言模型的类型学差异。因此，NLP工具在具有不同句法和形态结构的语言中表现不平等。通过对词序类型学、形态类型学和比较语言学的详细讨论，我们确定了哪些变量最影响语言建模效果;此外，我们计算了词序和形态相似性指数，以帮助我们的实证研究。然后，我们使用这个背景来支持我们的分析，我们进行的实验，使用多类文本分类的八种语言和八个模型。
2020-04-30 cs.CL
The scarcity of crossing dependencies: a direct outcome of a specific constraint?
Universidade da Coruña（拉科鲁尼亚大学）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
句子的结构可以表示为一个网络，其中顶点是单词，边表示句法依赖关系。有趣的是，交叉句法依赖在人类语言中并不常见。这就引出了一个问题，即语言中交叉点的缺乏是否源于对交叉点的独立和具体的限制。我们提供的统计证据表明，这是不是这样的，作为一个简单的预测器，基于零假设的本地概率，两个依赖性交叉给定其长度的依赖性交叉的句子从广泛的语言的比例可以准确地估计。这个预测器的相对误差平均不会超过5%，而假设句子中单词的随机排序的基线预测器的误差至少要大6倍。我们的研究结果表明，自然语言中交叉频率低既不是源于隐藏的语言知识，也不是由于交叉本身的不可取性，而只是依赖长度最小化原则的副作用。
2017-11-14 cs.CL cs.SI physics.soc-ph
MahaParaphrase: A Marathi Paraphrase Detection Corpus and BERT-based Models
Pune Institute of Computer Technology（普那计算机技术研究所）；MKSSS’ Cummins College of Engineering for Women（MKSSS女子工程学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs（L3Cube实验室）
针对马拉地语复述检测缺乏高质量标注数据的问题，本研究构建含8000个专家标注句对的L3Cube-MahaParaphrase数据集，并验证基于BERT的模型效果，填补低资源印度语言复述任务的资源空白
2025-08-24 cs.CL cs.LG
IndicSentEval: How Effectively do Multilingual Transformer Models encode Linguistic Properties for Indic Languages?
IIIT Hyderabad（海德拉巴印度理工学院）；University of Bonn（波恩大学）；Microsoft（微软）；Inria（法国国家信息与自动化技术研究院）
本文提出多语言基准数据集IndicSentEval，通过探测分析9个多语言Transformer模型在6种印度语系语言中8项语言特性的编码能力和13种扰动下的鲁棒性，发现通用模型鲁棒性更好而特定模型编码能力更强。
2025-11-01 cs.AI cs.CL cs.LG
A Code Comprehension Benchmark for Large Language Models for Code
IIT Bombay（印度理工学院博伊斯分校）；IBM Research（IBM研究院）
本文针对大模型缺乏深层代码语义理解能力的问题，提出使用大规模数据集微调模型，并构建代码理解基准进行评估，实验证明微调显著提升了模型在 Subjectivity Grading Task 等任务上的准确率。
2025-07-14 cs.AI cs.CL cs.SE
