Generating Completions for Broca's Aphasic Sentences Using Large Language Models
Center for Language and Cognition Groningen, University of Groningen（格罗宁根大学语言与认知中心）
本研究利用大语言模型生成布罗卡失语症患者句子的完成，通过合成数据训练模型以提升其在语法规则缺失句子重建中的性能。
2025-12-19 cs.CL
Revisiting Real-Time Digging-In Effects: No Evidence from NP/Z Garden-Paths
研究通过两项实验对比人类与大型语言模型的行为，发现无实时挖掘效应证据，非最终歧义项显示与神经模型预测一致的反向趋势。
2026-03-24 cs.CL
Learning to Substitute Words with Model-based Score Ranking
Duke University（杜克大学）
针对词语替换依赖人工标注且主观性强的问题，提出用BARTScore定义替换分布并设计对齐句子评分的损失函数，实现无标注学习，性能超过BERT、BART、GPT-4和LLaMA。
2025-02-14 cs.AI cs.CL
Evaluating Multilingual Long-Context Models for Retrieval and Reasoning
Department of Computer Science（计算机科学系）；Portland State University（波特兰州立大学）
本文创建了mLongRR数据集，评估多语言长上下文LLM在五种语言中的检索与推理能力，发现模型在处理多目标句子和低资源语言时性能显著下降。
2024-10-12 cs.CL
Segment Any Text: A Universal Approach for Robust, Efficient and Adaptable Sentence Segmentation
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）；University of Cambridge（剑桥大学）
本文提出通用句子切分模型SaT，通过新预训练方案增强对缺失标点的鲁棒性，并引入参数高效微调以适应新领域，在8个多语言语料库上超越所有基线，同时实现三倍速度提升。
2024-10-02 cs.AI cs.CL cs.LG
SALT: Salience-Aware Lexical Trie for Long-Context Compression
Florida State University（佛罗里达州立大学）
针对大语言模型处理长提示时的计算和内存瓶颈，提出SALT框架，将句子关键词组织成按句子频率排序的字典树，通过多锚点检索等方式保留文档主题，降低长上下文提示的预填充成本，还可与KV缓存方法结合。
2026-09-01 cs.AI cs.LG cs.PF
QuanLing: Cross-Branch Validation of Language Distance Quantification on Western Romance
Guangdong Haiqixing Marine Technology Co., Ltd.（广东海启星海洋科技有限公司）
本文通过将QuanLing框架扩展到西罗曼语支（法、葡、西、意），验证了其跨分支适用性，发现葡西最接近、法意最远，且与北日耳曼语结果一致，证明其泛化能力。
2026-10-08 cs.AI cs.CL
Finding Generalizable Evidence by Learning to Convince Q&A Models
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个系统，使用基于段落的问答（QA）作为测试平台，为问题的给定答案找到最强有力的支持证据。我们训练证据代理来选择最能说服预先训练的QA模型的给定答案的段落句子，如果QA模型接收到这些句子而不是完整的段落。我们发现，代理人选择的证据，而不是单独说服一个模型的证据;代理人选择的证据增加了支持的答案的可验证性，由其他QA模型和人类判断。鉴于其一般性质，这种方法以一种稳健的方式改进了QA：使用代理选择的证据（i）人类可以正确回答只有完整段落的20%的问题，（ii）QA模型可以推广到更长的段落和更难的问题。
2019-09-12 cs.AI cs.CL cs.IR
Grounding-Prompter: Prompting LLM with Multimodal Information for Temporal Sentence Grounding in Long Videos
Tsinghua University（清华大学）
提出Grounding-Prompter方法，通过多模态信息提示大语言模型，并采用边界感知提示策略（含多尺度去噪思维链、有效性原则和一次性上下文学习），解决长视频中时间句子定位的复杂上下文与多模态挑战，实现最先进性能。
2023-12-28 cs.AI cs.CV
Same evaluation, more tokens: On the effect of input length for machine translation evaluation using Large Language Models
Amazon AGI（亚马逊通用人工智能）
本研究发现输入文本长度会影响大语言模型的机器翻译评估效果（长文本错误跨度更少、排序准确性更低），并提出聚焦句子提示和微调方法有效缓解该长度偏差，提升长文本翻译评估可靠性。
2025-10-03 cs.CL
SemLink: A Semantic-Aware Automated Test Oracle for Hyperlink Verification using Siamese Sentence-BERT
National Taiwan University（国立台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；National Dong Hwa University（国立东华大学）
SemLink利用Siamese神经网络和Sentence-BERT计算超链接源上下文与目标页面内容的语义一致性，通过HWPPs数据集实现高召回率和高效验证。
2026-04-07 cs.AI cs.CL cs.IR
A Survey of Paraphrasing and Textual Entailment Methods
Athens University of Economics and Business（雅典经济与商业大学）
释义方法识别、生成或提取表达几乎相同信息的短语、句子或较长的自然语言表达。另一方面，文本蕴涵方法识别、生成或提取成对的自然语言表达，使得读取（并信任）成对的第一元素的人将最有可能推断出另一元素也是真的。释义可以被看作是双向的文本蕴涵和方法，从这两个领域往往是相似的。这两种方法至少在原则上都适用于广泛的自然语言处理应用，包括问答、摘要、文本生成和机器翻译。我们总结了这两个领域的关键思想，依次考虑识别，生成和提取方法，也指向突出的文章和资源。
2010-05-30 cs.AI cs.CL
Paraphrasing with Large Language Models
Red Dragon AI（红龙人工智能）
最近，大语言模型（如GPT-2）已经证明自己非常擅长文本生成，并且在许多下游NLP任务中也能够实现高质量的结果，如文本分类，情感分析和问答。我们提出了一个有用的技术，使用一个大语言模型执行的任务，各种文本和主题的释义。我们的方法被证明是能够生成的释义，不仅在一个句子的水平，但也为更长的跨度的文本，如段落，而不需要打破文本成更小的块。
2019-11-21 cs.CL cs.LG
LMentry: A Language Model Benchmark of Elementary Language Tasks
Tel Aviv University（特拉维夫大学）；Meta AI
随着大语言模型性能的快速提高，基准测试也变得越来越大、越来越复杂。我们提出了LMentry，一个基准，避免这种“军备竞赛”，专注于一组紧凑的任务，是微不足道的人类，例如写一个句子包含一个特定的词，确定哪些词在列表中属于一个特定的类别，或选择两个词中的哪一个更长。LMentry专门设计用于提供对大语言模型的功能和健壮性的快速和可解释的见解。我们的实验揭示了各种各样的失败案例，虽然对人类来说是显而易见的，但对大语言模型构成了相当大的挑战，包括OpenAI最新的175 B参数优化模型TextDavinci002。LMentry补充了大语言模型的当代评估方法，提供了一个快速，自动和易于运行的“单元测试“，而无需求助于复杂任务的大型基准测试套件。
2022-12-19 cs.AI cs.CL cs.LG
Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation
Tsinghua University（清华大学）
本文提出自对比训练方法，通过惩罚模型不成熟检查点对重复的错误预测，有效缓解开放式生成中的文本重复问题，同时保持生成流畅性。
2023-07-04 cs.CL
DSPC: Dual-Stage Progressive Compression Framework for Efficient Long-Context Reasoning
Institute of Cyberspace Security, Zhejiang University of Technology A STAR Amazon Binjiang Institute of Artificial Intelligence, Zhejiang University of Technology
本文提出免训练的双阶段渐进压缩框架DSPC，通过粗粒度句子过滤和细粒度token剪除，在保持语义的同时显著降低长上下文推理的token开销，并在多个模型和数据集上取得优于现有基线的性能。
2025-09-18 cs.CL
Practical token pruning for foundation models in few-shot conversational virtual assistant systems
IBM（国际商业机器公司）
针对企业级虚拟助手系统中少样本意图分类的推理效率问题，提出一种无需特定任务训练的动态 token 剪枝多任务自适应方法，在不影响性能的情况下显著提升了 transformer 模型的推理速度。
2024-08-21 cs.CL
Saying, Not Knowing: Aggressively GGUF-Quantized Small Language Models Still Write Rare Words They Can No Longer Define
Defence Institute of Advanced Technology（国防高级技术学院）
本研究审计27个GGUF量化小语言模型，发现激进量化至Q2级别时，子2B模型罕见词定义能力大幅下降，而生成流畅性保留，需按产物逐一验证。
2026-10-06 cs.CL cs.LG
Finding Answers from the Word of God: Domain Adaptation for Neural Networks in Biblical Question Answering
The University of Auckland（奥克兰大学）
近年来，问答（QA）从深度学习技术中受益匪浅。然而，由于训练神经网络需要大量的数据，特定领域的QA仍然是一个挑战。本文研究了圣经领域的回答句选择任务，并从圣经中选取相关的经文回答问题。为此，我们基于圣经琐事问题创建了一个新的数据集BibleQA，并为我们的任务提出了三个神经网络模型。我们在大规模QA数据集SQuAD上预训练我们的模型，并研究转移权重对模型准确性的影响。此外，我们还测量了模型的准确性与不同的答案上下文长度和不同的圣经翻译。我们肯定迁移学习在模型精度上有明显的提高。我们用较短的上下文长度获得了相对较好的结果，而较长的上下文长度降低了模型的准确性。我们还发现，在数据集中使用更现代的圣经翻译对任务有积极的影响。
2018-10-26 cs.AI cs.CL cs.IR
Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI
School of Management, Anhui University（安徽大学管理学院）
本文研究大型语言模型对同行评审意见的影响，分析了评审报告在语言特征、评价重点和推荐信号方面的变化，发现评审文本变得更长、更流畅，但深入评价维度有所下降。
2026-04-21 cs.AI cs.CL cs.DL
Randomized Deep Structured Prediction for Discourse-Level Processing
University of Salzburg（萨尔茨堡大学）；Purdue University（普渡大学）
表达性文本编码器，如RNN和Transformer Networks，在最近的工作中一直是NLP模型的中心。大部分的努力都集中在句子级别的任务上，捕捉单个句子或成对句子中单词之间的依赖关系。然而，某些任务，如论证挖掘，需要考虑较长的文本和它们之间复杂的结构依赖关系。深度结构化预测是一个通用框架，它结合了表达性神经编码器和高度结构化领域的结构化推理的互补优势。然而，当需要超越句子时，大多数工作依赖于组合独立训练的分类器的输出分数。其中一个主要原因是约束推理的计算成本很高。在本文中，我们探索使用随机推理来缓解这种担忧，并表明我们可以有效地利用深度结构化预测和表达性神经编码器来完成一组涉及复杂论证结构的任务。
2021-01-25 cs.AI cs.CL cs.LG
HEDGE: Hallucination Estimation via Dense Geometric Entropy for VQA with Vision-Language Models
Simula Metropolitan Center for Digital Engineering (SimulaMet)（Simula数字工程研究中心）；Oslo Metropolitan University (OsloMet)（奥斯陆 Metropolitan 大学）；Simula Research Laboratory（Simula研究实验室）
针对视觉语言模型（VLMs）在视觉问答中的幻觉问题，提出HEDGE框架，结合受控视觉扰动、语义聚类和鲁棒不确定性度量，在多个数据集和模型上验证了其有效性，为多模态可靠性评估提供基础并发布基准库。
2025-11-16 cs.AI cs.CV
Learn To Remember: Transformer with Recurrent Memory for Document-Level Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Transformer架构在机器翻译方面取得了显著的进展。然而，大多数研究只关注文本层面的翻译，而没有考虑文本内部的语境依赖，导致文本层面连贯性不足。最近的一些研究试图通过引入额外的上下文编码器或翻译多个句子甚至整个文档来缓解这个问题。这样的方法可能丢失目标侧的信息，或者随着文档变长而具有增加的计算复杂性。为了解决这些问题，我们引入了一个经常性的记忆单元的香草Transformer，它支持的信息交换之间的句子和以前的上下文。通过从句子中获取信息，并将聚合的知识传递回后续的句子状态，来循环更新存储单元。我们遵循两阶段训练策略，首先在句子级别训练模型，然后针对文档级别的翻译进行微调。我们在三个流行的文档级机器翻译数据集上进行了实验，我们的模型在文档级基线上平均提高了0.91 s-BLEU。我们还在TED和News上取得了最先进的结果，平均比以前的工作高出0.36 s-BLEU和1.49 d-BLEU。
2022-05-03 cs.AI
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Google Research（谷歌研究院）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
在预训练自然语言表示时增加模型大小通常会提高下游任务的性能。然而，在某些时候，由于GPU/TPU内存限制和较长的训练时间，进一步的模型增加变得更加困难。为了解决这些问题，我们提出了两个参数减少技术，以降低内存消耗，提高BERT的训练速度。综合的经验证据表明，我们提出的方法导致模型的规模比原来的BERT更好。我们还使用了一个自我监督的损失，专注于建模句间连贯性，并表明它始终有助于下游任务与多句输入。因此，我们的最佳模型在GLUE、RACE和\squad基准测试中建立了新的最先进的结果，同时与BERT-large相比具有更少的参数。代码和预训练模型可在https://github.com/google-research/ALBERT上获得。
2020-02-09 cs.AI cs.CL
Beyond Multilingual Averages: MTEB-PT, a Benchmark for Portuguese Sentence Encoders
Escola Politécnica, Universidade de São Paulo（圣保罗大学理工学院）
针对葡萄牙语文本嵌入评估不足，构建MTEB-PT基准，统一评估17个模型。发现葡语性能依赖任务，特定微调可提升，用对比监督和MRL微调模型，发布基准、模型及代码。
2026-07-21 cs.AI cs.CL cs.LG
