Sentence-Level Contextual Entrainment in Large Language Models
Kyoto University(京都大学)
研究大型语言模型中句子级上下文嵌入现象,发现提示中的句子(包括反事实陈述)会显著增加其推理概率,且该现象随模型增大而减弱,通过关闭2%-4%的注意力头可缓解而不影响性能。
2026-06-24 cs.CL
Entity Linking for Queries by Searching Wikipedia Sentences
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);Microsoft Research Asia(微软亚洲研究院);Shandong University(山东大学)
我们提出了一个简单而有效的方法来连接查询中的实体。其核心思想是从维基百科文章中搜索与查询相似的句子,并直接使用相似句子中的人工标注实体作为查询的候选实体。然后,我们采用了一组丰富的功能,如链接概率,上下文匹配,词嵌入,以及候选实体之间的相关性,以及它们的相关实体,在一个基于回归的框架下对候选人进行排名。我们的方法的优点在于两个方面,这有助于排名过程和最终的链接结果。首先,它可以通过过滤掉与查询中的词不相关的实体来大大减少候选实体的数量。其次,我们可以获得查询敏感的先验概率,除了静态链接概率来自所有维基百科的文章。我们在两个基准数据集上进行了实体链接查询的实验,即ERD14数据集和GERDAQ数据集。实验结果表明,我们的方法优于国家的最先进的系统,并在ERD 14数据集和GERDAQ数据集上的F1收益率分别为75.0%和56.9%。
2017-05-18 cs.CL
Backward and Forward Language Modeling for Constrained Sentence Generation
Peking University(北京大学);Baidu Inc.(百度公司)
最近的语言模型,特别是那些基于递归神经网络(RNN),使得有可能从学习的概率生成自然语言。语言生成具有广泛的应用,包括机器翻译、摘要、问答、会话系统等。现有方法通常学习以附加信息为条件的单词的联合概率,该附加信息(静态或动态地)被馈送到RNN的隐藏层。在许多应用中,我们可能会对生成的文本施加硬约束,即,一个特定的词必须出现在句子中。不幸的是,现有的方法不能解决这个问题。在本文中,我们提出了一种新的向后和向前语言模型。提供一个特定的单词,我们使用RNN同时或异步地生成以前的单词和将来的单词,从而产生两个模型变体。这样,给定的单词可以出现在句子中的任何位置。实验结果表明,生成的文本质量与序列LM相当。
2016-01-03 cs.CL cs.LG cs.NE
Toric grammars: a new statistical approach to natural language modeling
本文提出了一种新的计算语言学统计模型。而不是试图直接估计的语言的随机句子的概率分布,我们定义了一个马尔可夫链上的句子与许多有限的经常性通信类的有限集合,并定义我们的语言模型作为不变的概率测度的链上的每个经常性通信类。这个马尔可夫链,我们称之为通信模型,在每一步随机重组句子集,形成它的当前状态,使用一些语法规则。当语法规则是固定的,并且是事先知道的,而不是在飞行中估计的时候,我们可以证明补充的数学性质。特别是,我们可以证明在这种情况下,所有的状态是经常性的状态,使链定义了一个分区的状态空间到有限的经常性通信类。我们表明,我们的方法是一个决定性的离开马尔可夫模型在句子层面上,并讨论其与上下文无关语法的关系。虽然我们使用的Toric语法与上下文无关语法密切相关,但我们从语法生成语言的方式却有质的不同。我们的沟通模式有两个目的。一方面,它被用来间接地定义语言的一个随机句子的概率分布。另一方面,它可以作为一个(粗糙)的语言传输模型从一个扬声器到另一个扬声器通过一个(大)的句子集的通信。
2013-02-11 cs.CL math.PR stat.ML
Linear representations of grammaticality in neural language models
Johns Hopkins University(约翰·霍普金斯大学);Boston University(波士顿大学)
探讨神经语言模型能否基于语法性区分字符串,通过质量均值探测研究语法性是否编码在其内部表示中,结果表明语法性在多种预训练模型中有力编码,为相关争论提供新证据及评估框架。
2026-07-17 cs.CL
Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs
Princeton University(普林斯顿大学)
本研究通过分析Pythia-1.4B中双宾语和介词宾语构式的几何表征,发现LLMs能学习意义注入的梯度构式表征,支持基于使用的构式语法理论。
2025-09-08 cs.AI cs.CL
PRISM: Probability Reallocation with In-Span Masking for Knowledge-Sensitive Alignment
Large Language Model Department, Tencent, China(腾讯大语言模型部门,中国)
PRISM通过引入事实性风险标签和跨句依赖标注,改进监督微调以减少事实性错误。该方法通过概率重分配和模型感知门控,在关键事实位置调整学习,提升事实性指标同时保持能力平衡。
2026-04-02 cs.CL
Better Document-Level Machine Translation with Bayes' Rule
DeepMind;University of Oxford(牛津大学)
我们表明,贝叶斯规则提供了一个有效的机制,创建文档翻译模型,可以从只有平行的句子和单语文档学习-一个令人信服的好处,因为平行的文件并不总是可用的。在我们的公式中,候选翻译的后验概率是候选输出文档的无条件(先验)概率和将候选输出翻译回源语言的“反向翻译概率”的乘积。我们提出的模型使用了一个强大的自回归语言模型作为目标语言文档的先验,但它假设每个句子都是独立地从目标语言翻译到源语言的。至关重要的是,在测试时,当观察到源文档时,文档语言模型先验在后验中诱导源句子的翻译之间的依赖性。该模型的独立性假设不仅使有效地利用现有的数据,但它另外承认一个实用的左到右波束搜索算法进行推理。实验表明,我们的模型受益于使用跨句子上下文的语言模型,它优于现有的文档翻译方法。
2020-07-02 cs.CL cs.LG
An Auxiliary Classifier Generative Adversarial Framework for Relation Extraction
University of California, Santa Barbara(加州大学圣巴巴拉分校)
关系抽取模型受到有限的合格训练数据的影响。使用人类注释器来标记句子太昂贵,并且不能很好地扩展,特别是在处理大型数据集时。在本文中,我们使用辅助分类器生成对抗网络(AC-GANs)来生成高质量的关系语句,并提高端到端模型中关系分类器的性能。在AC-GAN中,递归不仅给出了真实源的概率分布,而且给出了关系标签的概率分布。这有助于生成有意义的关系句子。实验结果表明,我们提出的数据增强方法显着提高性能的关系抽取相比,国家的最先进的方法
2019-09-06 cs.CL cs.LG stat.ML
Quantum Methods for Managing Ambiguity in Natural Language Processing
Vrije Universiteit Brussel(布鲁塞尔自由大学)
该研究针对自然语言的句法歧义问题,在DisCoCat框架基础上提出用量子电路上的过程概率分布建模歧义句语义(以密度矩阵表示),并通过实验验证该量子NLP方法的有效性。
2025-03-30 cs.AI cs.CL quant-ph
A Simple Geometric Method for Cross-Lingual Linguistic Transformations with Pre-trained Autoencoders
Chatlayer.ai by Sinch(Sinch旗下Chatlayer.ai);Sinch;Ghent University - Imec(根特大学 - imec)
为多种语言训练的强大句子编码器正在崛起。这些系统能够将广泛的语言属性嵌入到向量表示中。虽然显式探测任务可以用来验证特定语言属性的存在,但目前还不清楚是否可以操纵向量表示来间接引导这些属性。为了有效的学习,我们研究了在嵌入空间中使用几何映射来转换语言属性,而无需对预训练的句子编码器或解码器进行任何调整。我们使用预训练的多语言自动编码器在三个语言属性上验证了我们的方法,并在单语和跨语言设置中分析了结果。
2021-09-21 cs.CL cs.LG
Syntactic Belief Update as the Driver of Garden Path Processing Difficulty
Johns Hopkins University(约翰霍普金斯大学);University College London(伦敦大学学院)
针对词汇惊异度无法预测花园路径句处理难度的问题,提出基于广义Rényi散度的句法信念更新度量,在关键单词处衡量信念更新幅度,更好地拟合人类阅读时间数据。
2026-09-01 cs.CL
Parameter-free Sentence Embedding via Orthogonal Basis
Stanford University(斯坦福大学);Microsoft(微软)
我们提出了一个简单而强大的非参数化的方法来建立句子表示。受几何理论中Gram-Schmidt过程的启发,我们构造了一个词与其周围语境在句子中所构成的子空间的正交基。我们基于两个方面对句子中的词的语义进行建模。一个是它与已经被它的上下文词所覆盖的词向量子空间的相关性。另一个是这个词的新的语义,这将被引入作为一个新的基向量垂直于这个现有的子空间。基于这个动机,我们开发了一种基于正交基的创新方法,将预训练的词嵌入组合成句子表示。这种方法需要零参数,以及高效的推理性能。我们在11个下游NLP任务上评估了我们的方法。与非参数化的替代方案相比,我们的模型显示出优越的性能,并且与依赖于大量标记数据或延长训练时间的其他方法相比具有竞争力。
2019-12-06 cs.CL
A Joint Probabilistic Classification Model of Relevant and Irrelevant Sentences in Mathematical Word Problems
Purdue University(普渡大学);University of Colorado Denver(科罗拉多大学丹佛分校)
数学应用题的难易程度估计是许多教育应用的重要任务。数学应用题中相关句和不相关句的识别是计算应用题难度的重要步骤。本文提出了一种新的文本分类应用,以确定两种类型的句子在数学应用题,即相关和不相关的句子。提出了一种新的联合概率分类模型,该模型利用数学应用题中所有句子之间的相关性、问题句子与其他句子之间的相关性以及句子文本之间的相关性来估计数学应用题中所有句子的分类决策的联合概率。所提出的模型相比,i)一个SVM分类器,使独立的分类决策,为个别句子,只使用句子文本和ii)一种新的SVM分类器,认为问题句子和其他句子之间的相关性以及句子文本。一组广泛的实验证明了联合概率分类模型的有效性,用于识别相关和不相关的句子,以及新的SVM分类器,利用问题句子和其他句子之间的相关性。此外,实证结果和分析表明,i)不去除停用词是非常有益的,并且ii)利用词性标注并没有做出显著的改进,尽管它已经被证明对于数学单词问题类型分类的相关任务是有效的。
2014-11-21 cs.CL cs.IR cs.LG
SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models
University of Southern California(南加州大学)
句子嵌入是自然语言处理中的一个重要研究课题,它可以将知识传递给下游任务。同时,一个上下文化的词表示,称为BERT,在相当多的NLP任务中达到了最先进的性能。然而,从基于BERT的词模型中生成高质量的句子表示是一个悬而未决的问题。以往的研究表明,不同层次的BERT捕捉不同的语言属性。这使我们能够跨层融合信息,以找到更好的句子表示。在这项工作中,我们研究了深层上下文模型的单词表示的分层模式。然后,我们提出了一种新的句子嵌入方法,通过解剖BERT的词模型,通过几何分析的空间跨越的词表示。它被称为SBERT-WK方法。无需在SBERT-WK中进行进一步培训。我们评估SBERT-WK的语义文本相似性和下游监督任务。此外,十个层次的探测任务,提出了详细的语言分析。实验表明,SBERT-WK达到了最先进的性能。我们的代码是公开的。
2020-06-01 cs.CL cs.LG cs.MM
Posterior Calibrated Training on Sentence Classification Tasks
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);M*Modal(M*Modal公司)
大多数分类模型首先预测所有类别的后验概率分布,然后选择具有最大估计概率的类别。然而,在许多设置中,后验概率本身的质量(例如,65%的机会患有糖尿病),比单独的最终预测类提供更可靠的信息。当这些方法被证明校准不良时,迄今为止的大多数修复都依赖于后验校准,这会重新调整预测概率,但通常对最终分类影响不大。在这里,我们提出了一个端到端的训练过程,称为后验校准(PosCal)训练,直接优化的目标,同时最大限度地减少预测和经验后验概率之间的差异,我们表明,PosCal不仅有助于减少校准误差,但也提高了任务性能的惩罚下降的性能,这两个目标。我们的PosCal在GLUE上实现了约2.5%的任务性能增益和16.1%的校准误差减少(Wang等人,2018年,与基线相比。我们在xSLUE上实现了相当的任务性能,校准误差减少了13.2%(Kang和Hovy,2019),但没有超过两阶段校准基线。PosCal训练可以很容易地扩展到任何类型的分类任务,作为正则化项的形式。此外,PosCal的优势在于,它在训练过程中逐步跟踪校准目标所需的统计数据,从而有效利用大型训练集。
2020-05-01 cs.CL cs.LG stat.ML
An Empirical Comparison of Probability Models for Dependency Grammar
这份技术报告是Reinner(1996)的附录:它给出了仅在该论文的谈话版中报道的优越的实验结果。Eisner(1996)在一小组约4,000个无连词、依赖语法解析上训练了三个概率模型,这些解析来自宾夕法尼亚树库的《华尔街日报》部分,然后使用新的O(n^3)解析算法在保留的测试集上评估了这些模型。本文描述了实验的一些细节,并使用25,000个句子的更大训练集重复它们。正如在演讲中报告的那样,更广泛的培训可以大大提高性能。近一半的句子被解析时没有错误的附件;三分之二的句子被解析时最多有一个错误的附件。在原始书面论文中描述的模型中,最好的分数仍然是用生成(自上而下)“模型C”获得的。然而,也探索了稍微好一点的模型,特别是理解(自下而上)的两个变体“模型B”。“其中较好的一个附件准确率为90%,并且(与模型C不同)比可比的trigram tagger更准确地标记单词。差异具有统计学意义。如果事先大致知道标签,搜索错误几乎被消除,新模型的附着准确率达到93%。我们发现,柯林斯(1996)的解析器,当与一个高度训练的标签相结合时,在相同的句子上训练和测试时也达到了93%。相似性和差异进行了讨论。
1997-06-06 cmp-lg cs.CL
Distributional Sentence Entailment Using Density Matrices
Queen Mary University of London(伦敦玛丽女王大学);University of Oxford(牛津大学)
Coecke et al.(2010)的范畴组合分布模型提出了一种将形式的类型逻辑模型的语法组合与基于语料库的分布语义的经验词表示相结合的方法。本文通过扩展模型来捕获蕴涵关系,从而为该项目做出了贡献。这是通过将词的表示从意义空间中的点扩展到密度算子来实现的,密度算子是空间子空间上的概率分布。定义了相似性的对称度量和蕴涵的非对称度量,其中词汇蕴涵使用冯·诺依曼熵(Kullback-Leibler发散的量子变体)来测量。词汇蕴涵与词表征的组合图相结合,提供了一种在句子层次上获取蕴涵关系的方法。真值理论和语料库为基础的例子。
2015-10-14 cs.CL cs.IT cs.LO
Learning Universal Representations from Word to Sentence
Shanghai Jiao Tong University(上海交通大学)
尽管语言的表示学习已经发展得相当成熟,但大多数语言表示模型通常只关注语言单位的特定层次,这给统一处理多层语言对象带来了极大的不便。因此,本工作介绍和探讨了普遍的表示学习,即,通过独立于任务的评估,将不同级别的语言单元嵌入到统一的向量空间中。我们提出了我们的方法来构建类比数据集的单词,短语和句子和实验与多个表示模型来检查学习向量空间的几何属性。然后,我们经验性地验证了预先训练好的Transformer模型与适当的训练设置相结合,可以有效地产生通用表示。特别是,我们在NLI和PPDB数据集上实现的微调ALBERT在不同语言级别的类比任务上实现了最高的准确率。在保险FAQ任务上的进一步实验表明了通用表示模型在现实世界应用中的有效性。
2020-09-10 cs.CL
LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent Sentence Spaces
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap 研究院)
LlaMaVAE结合VAE与sentenceT5、LlaMA,通过连续潜在空间和Invertible CVAE引导,提升LLM生成控制,超越Optimus。
2023-12-20 cs.CL
A Novel Word Pair-based Gaussian Sentence Similarity Algorithm For Bengali Extractive Text Summarization
Institute of Information Technology(信息技术研究所);University of Dhaka(达卡大学);Centre for Advanced Research in Science(高级科学研究中心)
针对孟加拉语抽取式文本摘要现有方法语义关系表达不足的问题,提出基于词对的高斯句相似度(WGSS)算法,结合谱聚类与TF-IDF排序,在多个数据集上平均ROUGE分数优于现有模型43.2%,还构建新数据集并可扩展至其他低资源语言。
2024-11-27 cs.CL
VPO: Leveraging the Number of Votes in Preference Optimization
Korea University(高丽大学)
针对现有偏好优化方法未充分利用偏好数据集投票数量信息的问题,提出基于投票的偏好优化VPO框架,结合贝叶斯MMSE估计器建模偏好概率,扩展出的VDPO、VIPO等算法性能优于现有多种方法。
2024-10-30 cs.AI cs.CL cs.LG
Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation
Tsinghua University(清华大学);Apple(苹果公司);Westlake University(西湖大学);The Chinese University of Hong Kong(香港中文大学)
虽然大规模神经语言模型,如GPT 2和BART,在各种文本生成任务上取得了令人印象深刻的结果,但它们往往会陷入基于最大化的解码算法(\textit{e.g.},贪婪搜索)的不期望的重复级循环中。这种现象是违反直觉的,因为在人类语料库中几乎没有连续的重复级别(例如,0.02\% in Wikitext-103).为了研究产生连续重复级别重复的根本原因,我们研究了重复令牌的概率与上下文中先前重复的概率之间的关系。通过定量实验,我们发现:1)语言模型具有重复前一句的偏好; 2)重复水平的重复具有\textit{self-reinforcement effect}:一个句子在上下文中重复的次数越多,继续生成该句子的概率越高; 3)初始概率越高的句子通常具有更强的自我强化效应。受我们的研究结果的启发,我们提出了一种简单有效的训练方法\textbf{DITTO}(Pseu \underline{D} o-Repet \underline{IT} ion Penaliza \underline{T} i \underline{O} n),其中模型学习从重复的伪数据中惩罚重复级别重复的概率。虽然我们的方法的动机是减少重复,实验表明,DITTO不仅减轻了重复问题,而不牺牲困惑,但也实现了更好的生成质量。在开放式文本生成(Wikitext-103)和文本摘要(CNN/DailyMail)上的大量实验证…
2022-10-09 cs.CL
Self-Training Sampling with Monolingual Data Uncertainty for Neural Machine Translation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
通过用合成并行数据增强模型训练,自训练已被证明对提高NMT性能是有效的。通常的做法是构建合成数据的基础上随机抽样的大规模单语数据的子集,我们的经验表明是次优的。在这项工作中,我们建议通过选择信息量最大的单语句子来补充并行数据来改进抽样过程。为此,我们使用从并行数据中提取的双语词典来计算单语句子的不确定性。直觉,单语句子与较低的不确定性通常对应于易于翻译的模式,可能不会提供额外的收益。因此,我们设计了一个基于不确定性的采样策略,有效地利用单语数据进行自我训练,其中具有较高不确定性的单语句子将以较高的概率进行采样。在大规模WMT英文$\Rightarrow$德文和英文$\Rightarrow$中文数据集上的实验结果表明了该方法的有效性。大量的分析表明,我们的方法强调学习不确定单语句子确实提高了高不确定性句子的翻译质量,也有利于预测的低频词在目标端。
2021-06-02 cs.CL cs.IT math.IT
Understanding Zipf's law of word frequencies through sample-space collapse in sentence formation
Medical University of Vienna(维也纳医科大学);Santa Fe Institute(圣塔菲研究所);IIASA(国际应用系统分析研究所)
句子的形成是一个高度结构化和历史依赖的过程。在句子中使用特定单词的概率很大程度上取决于该句子中单词使用的“历史”。我们研究了一个简单的历史依赖模型的文本生成假设的样本空间的词的使用减少沿句子的形成,平均。我们首先表明,该模型解释了近似的Zipf定律发现在词频作为样本空间减少的直接后果。然后,我们实证量化的样本空间减少量的句子中的10本著名的英语书籍,通过分析相应的单词转换表,捕捉哪些单词可以遵循任何给定的单词在一个文本中。我们发现一个高度嵌套的结构,在这些过渡表,并表明这种“嵌套”是密切相关的幂律指数所观察到的词频分布。利用所提出的模型,可以理解文本的嵌套性可以是实际标度指数的起源,并且可以通过逐本书的嵌套程度的变化来理解与精确的齐普夫定律的偏差。在理论层面上,我们能够证明,在嵌套较弱的情况下,齐普夫定律会在快速转变中崩溃。与以前试图理解语言中的齐普夫定律不同,样本空间缩减模型不是基于语言形成背后的乘法、偏好或自组织批判机制的假设,而是简单地使用经验上可量化的参数“嵌套性”来理解词频的统计。
2015-05-27 cs.CL physics.soc-ph
Fusing Sentence Embeddings Into LSTM-based Autoregressive Language Models
Universität des Saarlandes(萨尔大学)
尽管掩蔽语言模型具有很高的性能,并被NLP从业者广泛采用,但它们不能容易地用于自回归语言建模(下一个单词预测和序列概率估计)。我们提出了一个基于LSTM的自回归语言模型,它使用前缀嵌入(从一个预先训练的掩蔽语言模型)通过融合(例如级联),以获得更丰富的上下文表示语言建模。我们发现,融合有助于可靠地降低困惑(16.74 $\rightarrow$ 15.80),这甚至是保存后,从一个不同的域比训练数据的数据集转移。我们还通过将其下一个单词的平均估计与人类阅读时间相关联来评估性能最佳的融合模型。与我们的预期相反,尽管整体困惑度有所改善,但相关性仍然与基线模型相同。最后,虽然我们专注于在文本上预训练的语言模型作为融合的源,但我们的方法可以扩展到将表示为固定大小向量的任何信息融合到自回归语言模型中。这些包括例如为知识库检索的句子外部信息或多模态编码器的表示。
2022-08-05 cs.CL cs.LG
Triple-to-Text: Converting RDF Triples into High-Quality Natural Languages via Optimizing an Inverse KL Divergence
Shanghai Jiao Tong University(上海交通大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
知识库是信息结构化表示的主要形式之一。知识库通常由描述实体及其关系的资源描述框架(RDF)三元组组成。生成知识库的自然语言描述是自然语言处理中的一个重要任务,它被表述为一个条件语言生成任务,并使用序列到序列框架来处理。现有的训练语言模型的方法大多采用最大似然估计法,这往往会产生糟糕的句子。在本文中,我们认为,这样的问题的最大似然估计是内在的,这通常是不可撤销的,通过改变网络结构。因此,我们提出了一种新的三重文本(T2 T)框架,该框架近似优化了真实句子和生成句子的分布之间的逆Kullback-Leibler(KL)分歧。由于逆KL对虚假样本施加了很大的惩罚,所提出的方法可以显着降低生成低质量句子的概率。我们在三个真实世界数据集上的实验表明,T2 T可以生成更高质量的句子,并在几个评估指标上优于基线模型。
2019-05-25 cs.AI cs.CL
Natural Language Parsing as Statistical Pattern Recognition
传统的自然语言解析器是基于重写规则系统开发的一个艰巨的,耗时的方式由语法学家。语法学家的大部分努力都致力于消除歧义的过程,首先假设规则,这些规则规定了歧义句中的词之间的成分类别和关系,然后寻找这些规则的例外和纠正。在这项工作中,我提出了一个自动的方法来获得一个统计分析器从一组分析的句子,它利用了一些初始的语言输入,但避免了陷阱的迭代和看似无穷无尽的语法开发过程。基于分布派生和基于语言的语言特征,该解析器获得一组统计决策树,该决策树在给定输入句子的解析树空间上分配概率分布。这些决策树利用大量的上下文信息,可能包括句子中的所有词汇信息,以产生消歧过程的高度准确的统计模型。通过将消歧标准选择基于熵减少而不是人类直觉,这种解析器开发方法能够在制定个体消歧规则时考虑比人类语法学家更多的句子。在实验之间的分析器,获得使用这个统计框架,和语法学家的基于规则的分析器,开发了十年的时间,都使用相同的训练材料和测试句子,决策树分析器显着优于语法分析器的准确性措施,语法学家试图最大化,实现了78%的准确性相比,基于语法的分析器的69%。
1994-05-05 cmp-lg cs.CL
Retrieval-Based Neural Code Generation
Carnegie Mellon University(卡内基梅隆大学)
在从自然语言生成程序源代码的模型中,以树结构表示该代码已经是常见的方法。然而,现有的方法往往无法正确地生成复杂的代码,由于缺乏记忆能力的大型和复杂的结构。我们介绍ReCode,一种基于子树检索的方法,可以显式引用神经代码生成模型中的现有代码示例。首先,我们使用基于动态规划的句子相似度评分方法检索与输入句子相似的句子。接下来,我们提取动作序列的n-gram来构建相关的抽象语法树。最后,我们增加了导致检索到的n-gram动作子树出现在预测代码中的动作的概率。我们表明,我们的方法提高了两个代码生成任务的性能高达+2.6 BLEU。
2018-08-29 cs.CL
The role of grammar in transition-probabilities of subsequent words in English text
Medical University of Vienna(维也纳医科大学);Complexity Science Hub Vienna(维也纳复杂科学中心);Santa Fe Institute(圣塔菲研究所);IIASA(国际应用系统分析研究所)
句子的形成是一个高度结构化、依赖于历史和样本空间缩减(SSR)的过程。虽然句子中的第一个单词可以从整个词汇中选择,但随着句子的发展,选择后续单词的自由度越来越受到语法和上下文的限制。这种样本空间减少属性提供了一个自然的解释Zipf定律在词频,但是,它无法捕捉的结构的词到词的转移概率矩阵的英语文本。在这里,我们采用的观点,语法约束(如主语-谓语-宾语)本地重新排序的词序在句子中采样SSR词生成过程。我们表明,叠加的语法结构-作为一个本地字重新排序(置换)的过程-在一个样本空间减少的过程是足够的解释,字的频率和字到字的转换概率。我们比较质量的语法有序SSR模型再现几个测试统计的真实文本与其他文本生成模型,如伯努利模型,西蒙模型,和猴子打字模型。
2018-12-28 cs.CL physics.soc-ph
Rolling the DICE on Idiomaticity: How LLMs Fail to Grasp Context
University of Sheffield(谢菲尔德大学);University of Exeter(埃克塞特大学);Alan Turing Institute(艾伦·图灵研究所)
本文构建受控对比数据集测试LLM利用上下文消歧习语的能力,发现LLM在需关注上下文时无法解决习语性,且受句子概率和搭配频率影响。
2025-07-15 cs.CL
Transition-Based Generation from Abstract Meaning Representations
这项工作解决了从抽象意义表示(AMR)图生成英语句子的任务。为了完成这个任务,我们将每个输入AMR图转换成一个类似于依赖树的结构,并通过对它应用各种预定义的动作来用语法信息对其进行注释。随后,通过以特定顺序访问其节点,从这个树结构中获得一个句子。我们训练最大熵模型来估计每个单独动作的概率,并设计一种算法,有效地逼近要应用的最佳动作序列。使用不合格的语言模型,我们的生成器在LDC 2014 T12测试集上获得了27.4的Bleu分数,这是迄今为止在不使用来自另一语料库的银标准注释作为额外训练数据的情况下报告的最佳结果。
2017-07-24 cs.CL
A Probabilistic Model of Machine Translation
提出了一个基于英俄平行文本语料库的机器翻译系统的概率生成模型。该模型使用具有预对齐的源和目标句子的平行文本语料库进行训练。该模型的训练产生了具有相关翻译概率的单词和“单词块”的双语词典。
2004-05-10 cs.CL
The distribution of syntactic dependency distances
本文提出一种双指数区域模型来描述句法依存距离分布,发现该模型在20种语言中普遍适用,断点平均为4-5个词,揭示了语言处理的普遍组块机制。
2025-07-14 cs.CL
How to Compute the Probability of a Word
本文指出近期语言学研究中计算词概率的常见错误,推导了基于子词的正确计算方法,并揭示了GPT系列等词首标记分词器导致的问题,证明修正该错误会影响句子理解与词汇优化分析的测量结果。
2024-10-12 cs.CL
A New Statistical Parser Based on Bigram Lexical Dependencies
本文描述了一种新的统计分析器,它是基于概率的依赖关系的中心词在分析树。标准的bigram概率估计技术扩展到计算单词对之间的依赖关系的概率。使用《华尔街日报》数据的测试表明,该方法的性能至少与SPATTER(Magerman 95,Jelinek et al 94)一样好,后者在此任务上具有统计分析器的最佳结果。该方法的简单性意味着该模型在15分钟内训练了40,000个句子。使用波束搜索策略,解析速度可以提高到每分钟200多个句子,准确性损失可以忽略不计。
1996-05-06 cmp-lg cs.CL