Learned but Not Expressed: Capability-Expression Dissociation in Large Language Models
Independent Researcher(独立研究员)
研究探讨了大型语言模型在特定条件下能重构训练数据内容,但无法在常规生成任务中表现的能力脱节现象,发现生成输出中未出现非因果解决方案框架。
2026-02-24 cs.CL
Active Example Selection for In-Context Learning
University of Chicago(芝加哥大学)
通过少量的演示示例,大规模语言模型显示出强大的能力,可以通过从这些示例中进行上下文学习来执行各种任务,而无需任何微调。我们证明,上下文学习的性能可以是非常不稳定的样本的例子,表明如何语言模型获取信息的特质。我们制定的上下文学习作为一个顺序决策问题的例子选择,并提出了一个强化学习算法,用于确定可推广的政策,选择示范的例子。对于GPT-2,我们学习的策略表现出很强的泛化能力,在训练中看不见的任务,平均$5.8\%$的改善。从我们学习的策略中选择的例子甚至可以在GPT-3 Ada上实现小的改进。然而,在更大的GPT-3模型上,这种改进会减少,这表明大语言模型的新功能。
2022-11-08 cs.AI cs.CL
LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(人工智能艾伦研究所)
本文提出在虚构数据上进行阅读理解以消除参数化知识干扰,测试ChatGPT、GPT-4、LLaMA 2和Mixtral后发现LLMs在模态和条件等假设性语境中表现显著下降,并再次暴露知识冲突脆弱性。
2025-07-06 cs.CL
Lost in Cultural Translation: Do LLMs Struggle with Math Across Cultural Contexts?
mV Research Lab(55mV研究实验室);Microsoft(微软);Millcrest Technology(Millcrest科技);Griffith University(格里菲斯大学)
研究发现大语言模型在不同文化背景下处理数学问题时存在性能下降,文化适应影响推理模式,需更多多样化的训练数据以提升全球适用性。
2026-04-08 cs.AI cs.LG
Iterative Amortized Inference: Unifying In-Context Learning and Learned Optimizers
FAIR at Meta(Meta旗下的FAIR)
本文提出统一框架描述摊还学习方法的差异,并指出其难以扩展到大型数据集的局限,进而提出迭代摊还推理方法,通过小批量逐步优化解决方案,为通用任务适应提供可扩展基础。
2025-10-13 cs.AI cs.LG
RPTune: Learned Context Curation for LLM Catalog Search
Google(谷歌);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
RPTune提出端到端框架,通过学习型目录策展与LLM后训练相结合,在小型商户目录搜索中显著提升准确率,增益最高达31.4个百分点。
2026-10-06 cs.CL cs.IR cs.LG
Learned-Rule-Augmented Large Language Model Evaluators
Wuhan University(武汉大学)
本文提出规则增强的LLM评估器,通过规则蒸馏和强化学习提升评估器的泛化能力与一致性,适用于多种评估场景。
2025-12-01 cs.AI
Context-CoT: Enhancing Context Learning via High-Quality Reasoning Synthesis
Peking University(北京大学);Xiamen University(厦门大学);Tsinghua University(清华大学)
针对大语言模型在动态提取和应用新知识方面的上下文学习能力不足,提出Context-CoT方法,通过合成高质量推理链来增强上下文学习,在CL-Bench上显著提升性能。
2026-05-25 cs.AI
Large Language Models Struggle in Token-Level Clinical Named Entity Recognition
McWilliams School of Biomedical Informatics, University of Texas Health Science Center(德克萨斯大学休斯顿健康科学中心麦克威廉姆斯生物医学信息学院)
本研究针对当前临床词元级命名实体识别(尤其是本地开源大语言模型应用)的研究空白,通过零样本/少样本提示、检索增强生成、指令微调等实验,探究了专有与本地大语言模型在该任务中的效果,揭示了其在罕见病场景下的固有挑战并提出改进方向,填补了医疗健康信息学领域的相关空白。
2024-08-17 cs.AI cs.CL cs.LG
Are Pretrained Language Models Symbolic Reasoners Over Knowledge?
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));LMU Munich(慕尼黑大学)
预训练的语言模型(PLM)如何从训练集中学习事实知识?我们研究了两个最重要的机制:推理和记忆。先前的工作试图量化PLM学习的事实数量,但我们目前,使用合成数据,第一次研究,调查培训中存在的事实和PLM学习的事实之间的因果关系。对于推理,我们表明,PLM似乎学会正确地应用一些符号推理规则,但与其他人,包括两跳推理斗争。进一步的分析表明,即使是学习推理规则的应用也是有缺陷的。对于记忆,我们确定图式一致性(由其他事实系统地支持的事实)和频率是成功的关键因素。
2020-10-10 cs.CL
Towards Resource-Efficient Multimodal Intelligence: Learned Routing among Specialized Expert Models
PwC US(普华永道美国)
本文提出一个统一的多模态路由框架,通过学习式路由网络将文本、多模态和复杂查询分配给最合适的专家模型,并结合高效两阶段视觉流水线,在MMLU和VQA等基准上达到或超过单体高端LLM性能,同时将昂贵模型使用量降低超过67%。
2025-11-09 cs.CL cs.LG
Why Do Vision Language Models Struggle To Recognize Human Emotions?
The University of Edinburgh, UK(爱丁堡大学)
本文探讨视觉语言模型在识别人类情绪上的不足,指出面部表情识别任务的连续性和动态性导致模型存在连续性和时间信息处理的漏洞,提出改进采样策略和多阶段上下文增强方法以提升情绪识别能力。
2026-07-22 cs.AI cs.CV
Inoculation Midtraining with Learned Neologisms
Geodesic Research(大地测量研究);OpenAI;UK AI Security Institute(英国人工智能安全研究所)
本文提出中期接种训练,通过在中期训练中引入新词标记不安全上下文,减少后期训练中的错位,同时保留良性属性迁移,但效果未超标准方法且边界易泄漏。
2026-09-15 cs.CL
Aligning Backchannel and Dialogue Context Representations via Contrastive LLM Fine-Tuning
Department for Speech, Music and Hearing(语音、音乐与听觉系)
本文提出双阶段框架,通过对话转录微调大语言模型获取上下文表示,并学习对话上下文和反馈通道表示的联合嵌入空间,实验表明学习的投影显著提升了上下文-反馈通道检索性能。
2026-04-17 cs.AI cs.CL cs.LG
ICL-Router: In-Context Learned Model Representations for LLM Routing
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对现有大语言模型路由依赖精准模型表示、新增模型需重训的问题,提出ICL-Router方法,用上下文向量表征模型能力,两阶段训练实现最优路由性能且支持无缝接入新模型。
2025-11-14 cs.AI cs.LG
Demonstrating TOFFEE: A Learned System for Synthesizing Data Agent Trajectories at Scale
Nanyang Technological University(南洋理工大学);Huawei(华为);Industrial and Commercial Bank of China Limited(中国工商银行)
针对现有数据代理难以适应新环境的问题,提出TOFFEE系统,通过蒙特卡洛树搜索等方法,能从给定数据环境合成高质量数据代理轨迹,可用于监督微调与上下文学习,还展示了系统框架、界面及工作流程与应用场景。
2026-08-11 cs.AI
Language models struggle with compartmentalization
Department of Computer Science(计算机科学系);Brigham Young University
研究探讨了大型语言模型在处理统一概念的不同表达方式时的 compartmentalization 问题,发现模型在不同表达方式之间无法有效共享统计信息,导致模型容量浪费和样本效率降低。
2026-05-19 cs.CL cs.LG
Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D
Tsinghua University(清华大学)
研究发现前沿语言模型复制输入字符串存在困难,归因于Transformer架构位置编码问题。为此引入2D-RoPE,将文本组织成二维网格,使复制任务更易学习。实验表明其在复制任务上优势明显,有助于语言建模,鼓励探索二维位置编码潜力。
2026-07-20 cs.CL
Transformers Struggle to Learn to Search
Purdue University(普渡大学);New York University(纽约大学);Google(谷歌);Boston University(波士顿大学)
本文以图连通性为测试平台,结合机制可解释性分析小型 transformer 的搜索学习机制,证明其可并行扩展可达集,但模型扩大和思维链均无法克服大图上的学习困难。
2025-03-16 cs.AI cs.CL cs.LG
OLIVE: Object Level In-Context Visual Embeddings
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
提出OLIVE方法,用上下文视觉对象向量提示大模型实现可控对象级推理,加速训练并支持区域级检索的零样本泛化。
2024-06-02 cs.AI cs.CV
SayNext-Bench: Why Do LLMs Struggle with Next-Utterance Anticipation?
University of Oulu(奥卢大学);College of William and Mary(威廉与玛丽学院);Tongji University(同济大学);Peking University(北京大学)
研究探讨LLM在人类对话中的下一句预测能力,指出人类可通过多模态线索预测,而LLM表现不足。提出SayNext-Bench基准,结合多模态数据集和评估框架,开发SayNext-Chat模型,证明其在多层面优于现有模型。
2026-05-09 cs.AI cs.HC
On the Loss of Context-awareness in General Instruction Fine-tuning
UCLA(加州大学洛杉矶分校)
本文研究了通用指令微调中上下文感知能力的丧失,发现其源于聊天模板导致的角色偏见,并提出条件指令微调方法有效缓解此问题且不损害通用能力。
2025-02-02 cs.CL cs.LG
LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
University of Chicago(芝加哥大学)
本文提出无需微调的LLMSteer框架,通过查询无关的注意力引导在重用上下文上改进长上下文LLM推理,将性能差距缩小65.9%并将延迟降低最多4.8倍。
2024-11-21 cs.CL cs.LG
Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
提出离散潜变量推理(DLR)方法,将连续潜状态转化为离散令牌,通过渲染压缩实现高效、可解释的潜空间推理,在五个基准上优于先前方法并达到20倍压缩。
2026-11-03 cs.CL
InfoQuest: Evaluating Multi-Turn Dialogue Agents for Open-Ended Conversations with Hidden Context
Advanced Knowledge Center for Immersive Technologies – AKCIT(沉浸式技术高级知识中心(AKCIT));OATML, University of Oxford(牛津大学OATML)
本文提出了InfoQuest多轮聊天基准,用于评估对话代理在处理具有隐藏上下文的开放式请求时的信息寻求能力,发现现有模型在有效收集关键信息和主动澄清方面仍存在显著局限。
2025-04-25 cs.CL cs.LG
From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When
University of Michigan(密歇根大学)
本研究探讨了在非结构化数据上训练的模型中上下文学习能力的来源,发现共现建模足以实现类比任务,而位置信息对逻辑推理至关重要,并指出了ICL失败的条件。
2024-11-10 cs.CL cs.LG stat.ML
Multimodal Long Video Modeling Based on Temporal Dynamic Context
The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学)
针对长视频处理中LLM上下文限制、token压缩信息丢失及多模态处理难题,提出TDC方法,通过场景分割、视听编码、时间上下文压缩及思维链策略提升性能,实验验证其在多基准上表现优异。
2025-04-14 cs.AI cs.CL cs.CV
Large Language Models Struggle to Learn Long-Tail Knowledge
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
本文研究了大型语言模型记忆的知识与预训练数据中信息频率的关系,发现模型回答事实问题的准确率与预训练期间见过的相关文档数量存在强相关性,并指出检索增强是捕获长尾知识的有效方法。
2023-07-27 cs.CL cs.LG
General learned delegation by clones
Qiuzhen College, Tsinghua University(清华大学齐振学院);Pattern Recognition Center, WeChat AI, Tencent Inc(微信AI模式识别中心,腾讯公司)
SELFCEST通过代理强化学习实现通用学习委托,利用克隆技术在不同并行上下文中分配资源,提升数学推理和长上下文问答任务的准确性与效率。
2026-02-03 cs.AI cs.CL
When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA
本研究通过受控实验发现,学习到的上下文规划在长上下文多项选择问答中仅作为弱相关性信号,无法替代强检索,其性能在多数预算下不优于锚定混合检索或BM25。
2026-09-24 cs.CL cs.IR
Contextualized language models for semantic change detection: lessons learned
University of Oslo(奥斯陆大学)
我们提出了一个定性分析的(可能是错误的)输出的上下文嵌入为基础的方法检测历时语义变化。首先,我们介绍了一种集成方法优于先前描述的上下文方法。这种方法被用来作为一个深入分析的程度,语义变化预测的英语单词跨越50年的基础。我们的研究结果表明,语境化的方法往往可以预测高的变化分数的话,没有经历任何真正的历时语义转变的词典意义上的术语(或至少这些转变的状态是值得怀疑的)。这种挑战性的情况下,详细讨论了与实例,并提出了他们的语言分类。我们的结论是,预训练的上下文化语言模型容易出现词典意义的混淆变化和上下文方差的变化,这自然源于其分布性质,但与基于静态嵌入的方法中观察到的问题类型不同。此外,它们经常合并在一起的语法和语义方面的词汇实体。我们对这些问题提出了一系列可能的未来解决方案。
2022-08-31 cs.CL
Subword models struggle with word learning, but surprisal hides it
Computational Linguistics, Department of Linguistics(计算语言学系,语言学系);Bielefeld University(比勒菲尔德大学)
本文通过词汇决策任务发现子词LM在区分词汇与非词上不如字符LM,且两者学习轨迹不同,质疑了子词LM在语言习得建模中的充分性。
2025-06-02 cs.CL
Prefilling-dLLM v2: Learned Chunk Routing for Long-Context Diffusion Language Models
University of Hong Kong(香港大学);Zhejiang University(浙江大学)
本文提出Prefilling-dLLM v2,通过学习式分块路由优化长上下文扩散语言模型,在RULER任务上优于NSA等稀疏方法,128K长度下解码速度较全密集注意力快172倍。
2026-10-14 cs.CL
How Do Language Models Choose Between Context and Memory?
Stanford University(斯坦福大学);Perpetual Labs(永久实验室)
该研究通过反事实实验,在Qwen、Llama、OLMo模型上揭示语言模型的上下文与参数知识选择受任务依赖的权威方向影响,局部方向对源选择转变的重现效果优于跨任务方向。
2026-09-29 cs.CL cs.LG
Language Models Still Struggle to Zero-shot Reason about Time Series
University of Washington(华盛顿大学);University of Virginia(弗吉尼亚大学)
本研究提出首个时间序列推理评估框架,发现语言模型在病因学推理和问答任务上仅略优于随机,比人类差30个百分点,表明其时间序列推理能力严重不足。
2024-04-17 cs.CL
Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);UC Irvine(加州大学欧文分校);IBM Research(IBM研究院);Amazon AI(亚马逊人工智能)
人类可以从最少的经验中学习一个词的结构属性,并在不同的语法上下文中统一部署他们学习的句法表示。我们评估了现代神经语言模型在英语中再现这种行为的能力,并评估了结构监督对学习结果的影响。首先,我们通过开发控制实验来评估少样本学习能力,该实验探测模型的句法名义数和言语论元结构概括,用于在训练过程中只看到两次的标记。其次,我们评估了学习表征的不变性:模型从基本上下文(例如,简单的陈述性主动语态句子)到变换的上下文(例如,疑问句)。我们测试了在同一数据集上训练的四个模型:一个n-gram基线,一个LSTM,以及两个用显式结构监督训练的LSTM变体(Dyer et al.,2016; Charniak等人,2016)。我们发现,在大多数情况下,神经模型能够在最小的暴露后诱导出正确的语法概括,通常在训练过程中只使用两个示例,并且这两个结构监督模型比LSTM模型更准确地概括。所有的神经模型都能够利用在基本上下文中学习到的信息来驱动转换后的上下文中的期望,这表明它们已经学习了语法的一些不变性。
2020-10-12 cs.CL
Legislator Representation Learning with Social Context and Expert Knowledge
RMIT University(皇家墨尔本理工大学)
政治行为者的意识形态观点建模是计算政治学的一项重要任务,在许多下游任务中都有应用。现有的方法通常仅限于文本数据和投票记录,而忽略了丰富的社会背景和有价值的专家知识进行整体评估。在本文中,我们提出了一个表示学习框架的政治行为者,共同利用社会背景和专家知识。具体来说,我们检索和提取有关立法者的事实陈述,以利用社会背景信息。然后,我们构建了一个异构的信息网络,将社会背景和使用关系图神经网络学习立法者表示。最后,我们用三个目标训练我们的模型,使表示学习与专家知识相一致,建模思想立场一致性,并模拟回音室现象。大量的实验表明,我们学习的表征成功地推进了三个下游任务的最先进的。进一步的分析证明了学习立法者的陈述和各种社会政治因素之间的相关性,以及轴承的必要性,社会背景和专业知识在建模的政治行动者。
2022-01-03 cs.AI cs.CL cs.CY
Understanding Synthetic Context Extension via Retrieval Heads
Department of Computer Science, The University of Texas at Austin, Texas, USA(计算机科学系,德克萨斯大学奥斯汀分校)
本文研究了合成上下文扩展在长上下文任务中的微调效果,发现合成数据训练的模型虽不及真实数据,但其性能差异可通过负责长上下文检索的“检索头”来解释和预测,揭示了合成数据微调的机制。
2025-05-27 cs.CL
Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University, HLTCOE(约翰霍普金斯大学,语言学与认知科学系)
Milco通过多语言连接器将不同语言的查询和文档映射到共享的英语词汇空间,采用两阶段训练策略提升表示透明性和有效性,实现跨语言稀疏检索的最优性能。
2026-03-19 cs.CL cs.IR
Language Modeling with Learned Meta-Tokens
University of Pennsylvania(宾夕法尼亚大学);IBM Research AI(IBM人工智能研究)
本文提出在预训练中注入元标记并设计元注意力机制,使语言模型以数据高效方式增强长距离依赖建模和长度泛化能力,并在合成任务上验证了其有效性。
2025-09-18 cs.CL cs.LG
CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability
Independent Researcher(独立研究员)
提出CART,一种通过共享核心块循环和冻结键值张量实现参数高效的语言模型,并引入线性时不变门控保持稳定性,实验表明在参数匹配时性能略低于密集基线。
2026-06-03 cs.CL cs.LG