Can LLMs Really Learn to Translate a Low-Resource Language from One Grammar Book?
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);Language Technology Lab(语言技术实验室);University of Amsterdam(阿姆斯特丹大学)
本研究探究LLM能否仅凭语法书翻译极低资源语言,发现翻译能力主要来自平行示例而非语法解释,并强调任务适配数据的重要性。
2025-04-24 cs.CL
Explain-then-Process: Using Grammar Prompting to Enhance Grammatical Acceptability Judgments
Portland State University(波特兰州立大学);Miami University(迈阿密大学)
本文提出“语法提示”范式,先让大模型生成句法解释再反馈给目标模型,在英中俄三语基准上显著提升语法判断准确率,并以极低成本缩小SLM与LLM的差距。
2025-06-02 cs.AI cs.CL
Red Dragon AI at TextGraphs 2020 Shared Task: LIT : LSTM-Interleaved Transformer for Multi-Hop Explanation Ranking
Red Dragon AI(红龙人工智能)
科学问题的可解释问答是一项具有挑战性的任务,需要对大量事实句子进行多跳推理。为了克服孤立地查看每个查询文档对的方法的局限性,我们提出了LSTM交织Transformer,它结合了跨文档的交互,以提高多跳排名。LIT架构可以在重新排名设置中利用先前的排名位置。我们的模型在TextGraphs 2020共享任务的当前排行榜上具有竞争力,测试集MAP为0.5607,如果我们在比赛截止日期前提交,我们将获得第三名。我们的代码实现可在https://github.com/mdda/worldtree_corpus/tree/textgraphs_2020上获得
2020-12-28 cs.AI cs.CL cs.IR
Explicit Grammar Semantic Feature Fusion for Robust Text Classification
Department of Computer Science, American International University-Bangladesh(计算机科学系,美国国际大学-孟加拉国)
本文提出显式语法语义特征融合方法,通过编码语法结构并融合语义信息,构建轻量文本分类模型,提升跨领域学习效果
2026-02-24 cs.CL
A Paradigm Change for Formal Syntax: Computational Algorithms in the Grammar of English
The Hebrew University of Jerusalem(希伯来大学)
语言科学越来越少地依赖形式句法作为其基础。原因可能是它缺乏心理现实,故意回避。科学哲学家呼吁范式转变,用生物学中的机制来解释。我们转向程序设计语言作为基于过程的英语语法的启发式模型。选择功能词和实词的组合作为建模的主题。这样的组合非常频繁,它们的输出是句子的重要直接成分。我们在面向对象编程中发现了它们的相似之处,其中所有方法元素作为接口,而内容完整元素作为其实现,定义计算对象。该模型的拟合进行了测试,得出三个功能特性的算法至关重要,并检查其存在于英语语法。我们测试了现实的接口实现机制的心理语言学和神经语言学的证据有关的处理,发展和损失的句法。这种机制的紧密配合和心理现实表明,范式转移到语法的算法理论是可能的。
2022-05-24 cs.CL
Some apparently disjoint aims and requirements for grammar development environments: the case of natural language generation
用于分析和生成的语法开发环境(GDE)还没有走到一起。尽管面向分析的GDE(如ALEP)可能包括一些句子生成的可能性,但所建议的开发技术和资源类型显然不是实际的大规模自然语言生成工作所需的。事实上,没有使用“标准”(即,面向分析的)GDE在当前项目/应用中的目标是生成流畅、连贯的文本。这种不令人满意的情况需要一些分析和解释,本文试图作为一个例子,广泛的GDE的生成。分布式大规模语法开发,多语言,和资源维护提供的支持进行了讨论和对比面向分析的方法。
1997-11-19 cmp-lg cs.CL
TRACE-BN: Transferring Bangla-English Tutoring Behavior to a Sub-1B Offline Language Model
North South University(北南大学)
本文提出TRACE-BN数据集,将其辅导行为通过LoRA迁移至Qwen3-0.6B模型,在资源受限离线部署下,相关指标及多维度辅导效果均获显著提升。
2026-08-18 cs.CL
Enhancing Grammatical Error Correction Systems with Explanations
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Westlake University(西湖大学);Zhejiang University(浙江大学)
本研究为增强语法错误纠正系统的解释性,推出标注证据词与错误类型的大型数据集EXPECT,提出基线模型并分析,经人工验证其解释可辅助二语学习者理解语法规则、判断是否接受修正。
2023-06-10 cs.CL
CLIX: Cross-Lingual Explanations of Idiomatic Expressions
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰尼斯·古腾堡大学)
研究提出CLIX任务,探讨NLP模型在生成习语跨语言解释中的能力,发现大语言模型有潜力,但需进一步解决错误分析中的关键挑战。
2025-05-30 cs.CL
Structural Supervision Improves Learning of Non-Local Grammatical Dependencies
Harvard University(哈佛大学);MIT(麻省理工学院);UC Irvine(加州大学欧文分校);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
在大型语料库上训练的最先进的LSTM语言模型以令人印象深刻的细节学习顺序偶然性,并已被证明获得了一些非局部语法依赖,并取得了一些成功。在这里,我们调查是否监督与层次结构增强学习的一系列语法依赖关系,以前只针对主谓一致的问题。使用来自心理语言学的受控实验方法,我们比较了基于单词的LSTM模型与两种表示层次结构并将其部署在从左到右处理中的模型的性能:递归神经网络语法(RNNG)(Dyer et al.,2016)和Chariak等人的Parsing-as-Question-Modeling配置的增量版本,(2016年)。模型在不同的配置范围内进行了测试,两类非本地语法依赖英语-负极性许可和填料-差距的依赖。使用相同的训练数据跨模型,我们发现结构监督模型优于LSTM,RNNG在两种类型的语法依赖关系上都表现出最佳结果,甚至学习了许多关于填充-间隙依赖关系的岛屿约束。因此,结构监督在获取关于非局部语法依赖性的类人概括方面提供了优于神经语言模型的纯基于字符串的训练的数据效率优势。
2019-04-06 cs.CL
Efficient Urdu Caption Generation using Attention based LSTM
Information Technology University(信息技术大学)
深度学习的最新进展为解决十多年来仍未解决的现实世界问题创造了许多机会。自动字幕生成是一个重要的研究领域,研究界已经在大多数常见语言(如英语)上做了大量的工作。乌尔都语是巴基斯坦的国语,在巴基斯坦-印度次大陆地区也有很多人使用和理解,但还没有为乌尔都语字幕生成做过任何工作。我们的研究旨在通过使用专门用于乌尔都语的序列建模技术开发基于注意力的深度学习模型来填补这一空白。我们通过翻译包含700张“人”图像的“Flickr 8 k”数据集的一个子集,准备了一个乌尔都语数据集。我们在这个数据集上评估了我们提出的技术,并表明它可以在乌尔都语中达到0.83的BLEU分数。我们通过使用更好的CNN架构和优化技术来改进以前的最先进技术。此外,我们提供了一个讨论如何生成的字幕可以是正确的语法明智的。
2021-06-19 cs.CL cs.LG
A Benchmark for Learning to Translate a New Language from One Grammar Book
Google(谷歌公司);Stanford University(斯坦福大学);University of Oslo(奥斯陆大学);Oxford University(牛津大学)
提出MTOB基准,要求模型仅从一本语法书学习翻译英语与Kalamang语,基线LLM表现优于随机但低于人类,旨在衡量LLM新任务适应能力。
2024-02-09 cs.CL
Mwando: Leveraging AI to Preserve and Teach shiKomori
CP2BM Lab - Hassan II University(哈桑二世大学CP2BM实验室);Ibn Tofail University(伊本·图法伊勒大学);Sciences Po Grenoble(格勒诺布尔政治学院)
研究旨在利用人工智能保护和教授希科莫里语,通过构建知识库和采用多智能体架构实现。对500个查询评估显示在词汇和语法方面性能良好,定性研究展示了能力与局限,为低资源语言开发教育工具提供蓝图。
2026-07-28 cs.CL
ELQA: A Corpus of Metalinguistic Questions and Answers about English
Georgetown University(乔治城大学);Tohoku University(东北大学)
本文提出ELQA,一个包含超过70k条关于英语本身问答的元语言语料库,涵盖语法、含义等主题,并在多个大型语言模型上评估其生成元语言答案的能力。
2023-07-03 cs.CL
Explicit Learning and the LLM in Machine Translation
Inria(法国国家信息与自动化研究所)
本研究提出LLM的“显式学习”概念,通过英语与人工构造语言的受控翻译实验证实LLM具备可测量的显式学习能力,指出其能力随语言复杂度提升而减弱,特设思维链微调的泛化性有限,为低资源语言翻译优化提供方向。
2025-09-04 cs.CL
NILE: Formalizing Natural-Language Descriptions of Formal Languages
Ruhr University Bochum(博尔塔伦大学)
NILE通过形式化自然语言描述形式语言,利用LLM生成语法接近的Nile表达式,实现对不准确描述的自动解释。
2026-02-23 cs.CL cs.FL cs.LO
Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
自然语言推理(NLI)需要模型来学习和应用常识知识。这些推理能力对于可解释的NLI系统特别重要,该系统除了其标签预测之外还生成自然语言解释。外部知识的整合已被证明可以改善NLI系统,在这里,我们调查它是否也可以提高他们的解释能力。为此,我们调查了不同的外部知识来源,并评估了我们的模型在域内数据以及旨在评估细粒度推理能力的特殊传输数据集上的性能。我们发现不同的知识来源对推理能力有不同的影响,例如,存储在语言模型中的隐性知识会阻碍对数字和否定的推理。最后,我们进行了迄今为止规模最大,粒度最细的可解释的NLI众包研究。它表明,即使是在自动性能分数的巨大差异并不反映在标签,解释,常识或语法正确性的人的评级。
2021-10-13 cs.CL cs.HC
Automatic Generation of Natural Language Explanations
Aalborg Universitet(奥尔堡大学);Insight Centre for Data Analytics(数据分析洞察中心);University College Dublin(都柏林大学学院)
推荐系统的一个重要任务是根据用户的偏好生成解释。目前大多数用于可解释推荐的方法使用结构化句子来提供描述以及它们产生的推荐。然而,这些方法忽略了以评论为导向的文本写作方式,尽管我们知道这些评论对用户的决策有很大的影响。在本文中,我们提出了一种自动生成的自然语言的解释,预测用户将如何写一个项目,根据用户的评级,从不同的项目的功能。我们设计了一个字符级递归神经网络(RNN)模型,该模型使用长短期记忆(LSTM)生成项目的评论解释。该模型生成文本评论,给出评论和评级分数的组合,表达对项目的不同因素或方面的意见。我们的网络是在来自大型真实世界数据集BeerAdvocate的子样本上训练的。我们使用自然语言处理指标的实证评估显示,生成的文本的质量接近真实的用户书面评论,识别否定,拼写错误,和特定领域的词汇。
2017-07-04 cs.CL cs.LG
A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在NLP社区中,关于注意力权重是否可以作为一种解释-一种解释每个输入标记对于特定预测有多重要的机制-一直存在重大争论。“注意力作为解释”的有效性迄今为止已经通过使用基于LSTM的模型计算基于注意力的解释和现有特征归因解释之间的等级相关来评估。在我们的工作中,我们(i)在两种类型的NLP任务上比较了五种最近的特征归因方法和两种基于注意力的方法之间的等级相关性,以及(ii)将这种分析扩展到也包括基于transformer的模型。我们发现,基于注意力的解释并不强烈相关的任何最近的特征归因方法,无论模型或任务。此外,我们发现,没有一个测试的解释强烈相关,彼此为transformer为基础的模型,导致我们质疑的基本假设,我们应该衡量基于注意力的解释的有效性的基础上,以及他们与现有的特征归因解释方法的相关性。在使用两种不同的模型对五个数据集进行实验后,我们认为社区应该停止使用等级相关性作为基于注意力的解释的评估指标。我们建议研究人员和实践者应该测试各种解释方法,并采用人在回路的过程来确定解释是否符合人类对手头特定用例的直觉。
2022-05-09 cs.CL cs.LG
Generating Token-Level Explanations for Natural Language Inference
University of Cambridge(剑桥大学);Amazon(亚马逊)
自然语言推理(NLI)的任务被广泛地建模为有监督的句对分类。虽然最近在生成分类器对单个文本的预测的解释方面做了很多工作,但还没有尝试生成分类器对句子对的操作的解释。在本文中,我们表明,它是可能的,生成令牌级的解释NLI,而不需要明确注释为此目的的训练数据。我们使用一个简单的LSTM架构,并为此任务评估LIME和Anchor解释。我们将这些与使用阈值注意力进行标记级预测的多实例学习(MIL)方法进行比较。本文提出的方法是一种新的扩展zero-shot单句标记的句子对NLI。我们进行了我们的实验,充分研究的SNLI数据集,最近增加了手动注释的令牌,解释蕴涵关系。我们发现,我们的白盒MIL为基础的方法,而数量级更快,并没有达到相同的准确性的黑盒方法。
2019-04-24 cs.CL cs.LG stat.ML
X-Blocks: Linguistic Building Blocks of Natural Language Explanations for Automated Vehicles
Queensland University of Technology (QUT)(昆士兰科技大学);ARC Training Centre for Automated Vehicles in Rural and Remote Regions (AVR3)(农村和偏远地区自动化车辆培训中心)
X-Blocks框架通过分层分析识别自动驾驶车辆自然语言解释的构建块,提供场景感知解释的设计原则,提升透明性和用户信任。
2026-02-02 cs.AI cs.CL cs.RO
Unsupervised Learning of Explainable Parse Trees for Improved Generalisation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
递归神经网络(RvNN)已被证明可用于学习句子表示,并有助于在几个自然语言推理任务上实现有竞争力的性能。然而,最近基于RvNN的模型未能学习简单的语法和有意义的语义在其中间树表示。在这项工作中,我们提出了一个注意力机制在树LSTM学习更有意义和可解释的解析树结构。我们还证明了我们提出的模型在自然语言推理,语义相关性和情感分析任务上的优越性能,并将其与其他最先进的基于RvNN的方法进行比较。此外,我们提出了一个详细的定性和定量分析的学习解析树,并表明,发现的语言结构是更可解释的,语义上有意义的,语法上正确的比最近的方法。该论文的源代码可在www.example.com上获得。
2021-04-11 cs.CL cs.LG
An Explanation of In-context Learning as Implicit Bayesian Inference
Stanford University(斯坦福大学)
大语言模型(LMs),如GPT-3,具有令人惊讶的上下文学习能力,其中模型仅通过由输入-输出示例组成的提示来学习完成下游任务。LM从这些示例中学习,而无需明确地预先训练学习。因此,目前还不清楚是什么使上下文学习。在本文中,我们研究了如何上下文学习可以出现时,预训练文档具有长程一致性。在这里,LM必须推断潜在的文档级概念,以在预训练期间生成连贯的下一个标记。在测试时,当LM也推断提示中的示例之间的共享潜在概念时,上下文学习发生。我们证明了这种情况发生时,尽管提示和预训练数据之间的分布不匹配的设置中,预训练分布是一个混合的障碍。与用于训练具有上下文学习能力的LM的杂乱大规模数据集相比,我们生成了一个小规模合成数据集(GINC),其中Transformers和LSTM都表现出上下文学习。除了理论之外,GINC的实验还展示了大规模的现实世界现象,包括模型缩放(尽管有相同的预训练损失),对示例顺序的敏感性,以及zero-shot优于Few-Shot上下文学习的实例。
2022-07-21 cs.CL cs.LG
Decoding Sentiment from Distributed Representations of Sentences
University of Cambridge(剑桥大学)
分布式表示的句子最近已经发展到代表他们的意义作为实值向量。然而,目前还不清楚这些表征保留了多少关于句子极性的信息。为了研究这个问题,我们从9种不同类型的语言中学习了不同架构(对单词顺序,句子顺序敏感或不敏感)的无监督句子表示中解码情感。情感是词汇的递归组合和否定、让步等语法策略的结果。结果是多方面的:我们表明,没有“一刀切”的代表性架构优于其他全面。相反,顶级架构取决于手头的语言和数据。此外,我们发现,在某些情况下,添加剂组合模型的基础上跳过字向量可能会超过监督的最先进的架构,如双向LSTM。最后,我们提供了一个可能的解释,观察到的变化的基础上在每种语言中的否定结构的类型。
2017-06-16 cs.CL
Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出由LLM支持的RAG框架,利用语法知识和LLM解释能力纠正小模型形态学注释输出,在低数据场景下取得新SOTA,并为语言学家提供带解释和置信度分数的实用工具。
2024-10-01 cs.AI cs.CL
Long Distance Relationships without Time Travel: Boosting the Performance of a Sparse Predictive Autoencoder in Sequence Modeling
UC Berkeley(加州大学伯克利分校);Numenta(Numenta公司);Incubator 491(491孵化器)
在语言建模等序列学习任务中,递归神经网络必须学习按时间分隔的输入特征之间的关系。LSTM和Transformer等最先进的模型是通过将损失反向传播到存储器中保存的先前隐藏状态和输入来训练的。这允许梯度从现在流到过去,并有效地学习完美的事后诸葛亮,但在显着的内存成本。在本文中,我们表明,它是可能的训练高性能的经常性网络使用的信息是本地的时间,从而实现显着减少内存占用。我们描述了一个预测自动编码器称为bRSM具有经常性的连接,稀疏激活,并提高细胞利用率的提升规则。该架构表现出接近最佳性能的非确定性(随机)部分可观察序列学习任务组成的高马尔可夫阶序列的MNIST数字。我们发现,这个模型比LSTM更快、更完整地学习这些序列,并提供了几种可能的解释,为什么LSTM架构可能会在这个任务中与部分可观察的序列结构作斗争。我们还将我们的模型应用于Penn Treebank(PTB)数据集上的下一个单词预测任务。我们发现,一个“扁平化”的RSM网络,当与现代语义词嵌入和增加boosting配对时,实现了103.5 PPL(比最好的N-gram模型提高了20分),击败了用BPTT训练的普通RNN,并接近早期LSTM实现的分数。这项工作提供了令人鼓舞的证据,证明使用记忆密集度较低的生物学合理的训练制度可能会在具有挑战性的任务(如语言建模)上取得强有力的结果。
2019-12-02 cs.CL cs.LG cs.NE
Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
本文通过合成数据集、训练目标对比、剪枝实验和贝叶斯分析,揭示语言建模目标促使 Transformer 形成层级句法泛化偏置。
2025-03-16 cs.CL cs.LG
If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation?
The University of Tokyo(东京大学);NINJAL;The University of Osaka(大阪大学)
本文研究以句法结构为表征单元的 Transformer Grammar 注意力机制能否作为人类记忆提取的认知模型,实验表明其预测自定步速阅读时间优于普通 Transformer,且两类模型贡献独立,说明人类句子加工依赖句法结构与词元序列双重记忆表征。
2025-06-01 cs.CL
Ad Headline Generation using Self-Critical Masked Language Model
amazon(亚马逊)
研究如何为电商网站生成吸引人的广告标题,核心方法是将强化学习策略梯度方法应用于基于Transformer的掩码语言模型,通过联合多种产品信息生成标题,该方法在指标和质量审核上优于现有方法,生成标题质量也优于人工提交的。
2026-07-09 cs.AI cs.CL cs.LG
A theory of platonic representations in language models
Johns Hopkins University(约翰斯·霍普金斯大学);EPFL(洛桑联邦理工学院);SISSA(国际高等研究学院)
该研究提出理论框架,基于层次结构假设解释多语言模型中跨语言表示相似性,区分相似性与对齐,并预测通过减去线性可预测分量增强相似性,在预训练LLM中得到验证。
2026-10-07 cs.CL cs.LG stat.ML