Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本研究证明冻结的视觉Unicode嵌入可替代可训练词嵌入，Transformer模型在MMLU上表现更优，表明语义是架构与数据涌现的结果。
2025-10-15 cs.AI cs.CL
Data Distributional Properties Drive Emergent In-Context Learning in Transformers
DeepMind（深度思维）；University College London（伦敦大学学院）；Stanford University（斯坦福大学）
大型的基于transformer的模型能够执行上下文内的少样本学习，而无需进行明确的训练。这一观察提出了一个问题：训练机制的哪些方面导致了这种涌现行为？在这里，我们表明，这种行为是由训练数据本身的分布。当训练数据表现出特定的分布特性时，上下文学习就出现了，例如突发性（项目出现在集群中，而不是随时间均匀分布）和具有大量很少出现的类。上下文学习也出现更强烈的项目的含义或解释是动态的，而不是固定。这些属性由自然语言举例说明，但也是在广泛的其他领域的自然数据所固有的。它们也明显偏离了制服，i.i.d.通常用于标准监督学习的训练分布。在我们最初的实验中，我们发现，上下文学习与更传统的基于权重的学习相权衡，模型无法同时实现两者。然而，我们后来的实验发现，这两种学习模式可以共存于一个模型中，当它在遵循倾斜齐普菲分布的数据上进行训练时，这是自然主义数据的另一个共同属性，包括语言。在进一步的实验中，我们发现自然主义的数据分布只能在Transformers中引发上下文学习，而不是在循环模型中。总而言之，我们的研究结果表明，Transformer架构如何与训练数据的特定属性一起工作，以驱动大语言模型的有趣的新兴上下文学习行为，以及未来的工作如何鼓励上下文学习和加权学习语言以外的领域。
2022-11-17 cs.AI cs.CL cs.LG
State Stream Transformer (SST) : Emergent Metacognitive Behaviours Through Latent State Persistence
Fifth Dimension（第五维度）
本文提出 State Stream Transformer (SST) 架构，通过引入带加权衰减的滑动窗口潜在状态缓存，解决传统 Transformer 缺乏潜在计算连续性的局限，使模型涌现出元认知行为并在 GSM-8K 和 ARC Challenge 基准上显著提升推理性能。
2025-01-30 cs.AI cs.CL cs.LG
Transformers Struggle to Use Their Emergent World Models: Revisiting the Tower of Hanoi, and the Illusion of Thinking
University of Amsterdam（阿姆斯特丹大学）
本文研究发现，Qwen3.6-27B等大型推理模型虽能编码汉诺塔的谢尔宾斯基世界模型，但因表示衰减导致圆环数超3时失败，注入提示词时间表示可部分恢复性能。
2026-08-10 cs.AI cs.LG
Analogy-Forming Transformers for Few-Shot 3D Parsing
Carnegie Mellon University（卡内基梅隆大学）
本文提出类比网络，通过从记忆中检索相关三维场景并利用端到端调制机制进行类比推理，统一处理单样本、少样本和多样本三维解析，在少样本设置下优于现有方法，并可通过扩展记忆分割新类别而无需更新权重。
2023-05-30 cs.AI cs.CV cs.LG
Multimodal Analogical Reasoning over Knowledge Graphs
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（知识引擎AZFT联合实验室）；National University of Singapore（新加坡国立大学）
类比推理是人类认知的基础，在各个领域都占有重要地位。然而，以往的研究主要集中在单模态类比推理，忽视了结构知识的利用。值得注意的是，认知心理学的研究表明，来自多模态来源的信息总是比单一模态来源带来更强大的认知转移。为此，我们介绍了多模态类比推理知识图谱，这需要多模态推理能力的背景知识的帮助下，新的任务。具体来说，我们构建了一个多模态类比推理数据集（MARS）和一个多模态知识图谱MarKG。我们使用多模态知识图谱嵌入和预训练的Transformer基线进行评估，说明了所提出的任务的潜在挑战。基于结构映射理论，我们提出了一种新的模型无关的多模态类比推理框架--Transformer（MarT），该框架具有更好的性能。代码和数据集可在https://github.com/zjunlp/MKG_Analogy上获得。
2023-03-01 cs.AI cs.CL cs.CV
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）；Hugging Face（拥抱脸）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
大语言模型已被广泛采用，但需要大量的GPU内存进行推理。我们开发了一个Int 8矩阵乘法的程序，用于Transformers中的前馈和注意力投影层，它将推理所需的内存减少了一半，同时保持了完整的精度性能。使用我们的方法，可以加载175 B参数16/32位检查点，转换为Int 8，并立即使用，而不会降低性能。这是通过理解和解决Transformer语言模型中高度系统化的涌现特征的属性来实现的，这些特征支配着注意力和Transformer预测性能。为了应对这些特性，我们开发了一个两部分量化过程LLM.int8（）。我们首先使用矢量量化，对矩阵乘法中的每个内积使用单独的归一化常数，以消除大多数特征。然而，对于出现的异常值，我们还包括一个新的混合精度分解方案，该方案将异常值特征维度隔离到16位矩阵乘法中，同时仍有超过99.9%的值以8位相乘。使用LLM.int8（），我们根据经验证明，可以在具有多达175 B参数的LLM中执行推理，而不会降低任何性能。这一结果使得这些模型更容易访问，例如，可以在具有消费者GPU的单个服务器上使用OPT-175 B/BLOOM。我们开源我们的软件。
2022-11-10 cs.AI cs.LG
Analogical Reasoning for Visually Grounded Language Acquisition
Columbia University（哥伦比亚大学）
儿童通过观察周围的世界和听描述下意识地习得语言。即使没有明确的语言知识，他们也能发现单词的含义，并毫不费力地概括为新的作文。在本文中，我们通过研究视觉基础语言习得（VLA）的任务，将这种能力引入人工智能。我们提出了一个多模态的Transformer模型，增加了一个新的机制，类比推理，近似新的组合物，通过学习语义映射和推理操作，从以前看到的组合物。我们提出的方法，类比推理Transformer网络（ARTNet），训练的原始多媒体数据（视频帧和成绩单），并在观察一组组成，如“洗苹果”或“切胡萝卜”，它可以概括和识别新的视频帧，如“洗胡萝卜”或“切苹果”的新组成。为此，ARTNet参考训练数据中的相关实例，并使用其视觉特征和标题与查询图像建立类比。然后选择合适的动词和名词来创作一个新的作品，最好地描述新的形象。大量的教学视频数据集上的实验表明，该方法实现了显着更好的泛化能力和识别精度相比，国家的最先进的Transformer模型。
2020-07-22 cs.AI cs.CL cs.CV
Emergent Search and Backtracking in Latent Reasoning Models
研究发现潜在推理模型在无词推理中自发学习结构化搜索过程，通过回溯提升准确率并适应性地调整探索路径。
2026-02-08 cs.AI cs.CL
Unlocking Emergent Modularity in Large Language Models
HKUST（香港科技大学）；IIIS, Tsinghua University（清华大学信息科学技术学院（IIIS））；ILCC, University of Edinburgh（爱丁堡大学ILCC）
本文提出 Emergent MoE（EMoE），利用标准语言模型中自发出现的涌现模块化结构，在不增加额外参数的情况下将 LMs 微调为 MoE 模型，实验证明其能提升域内与域外泛化能力，并可扩展至 Llama2-7B 和 Llama-30B。
2024-04-01 cs.AI cs.LG
Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
本文提出叠加线性假设，证明LLMs在输入线性组合时输出叠加分布，通过轻量级微调恢复线性，并引入引导解码实现单次前向传播生成两个连贯续写。
2026-09-25 cs.AI cs.CL
Enabling Robust In-Context Memory and Rapid Task Adaptation in Transformers with Hebbian and Gradient-Based Plasticity
St Paul’s School（圣保罗学校）
本文在仅解码器Transformer中引入赫布型与基于梯度的快速权重可塑性模块，发现赫布规则在小样本泛化上更强，梯度更新擅长长时程信用分配，并揭示了可塑性有效的边界条件。
2025-11-04 cs.AI cs.LG cs.NE
What Algorithms can Transformers Learn? A Study in Length Generalization
Apple（苹果公司）；Mila, Université de Montréal（米拉研究所，蒙特利尔大学）；Tel Aviv University（特拉维夫大学）
研究Transformer在算法任务上的长度泛化能力，提出RASP泛化猜想，指出若任务可用适用于所有输入长度的简短RASP程序解决则Transformer能实现长度泛化，并据此大幅提升了奇偶性和加法等困难任务的泛化性能。
2023-10-24 cs.AI cs.CL cs.LG
Emergent One-Third Scaling Law as Attention Tries to Concentrate
研究发现，LLM中softmax学习峰值分布时，logit幅度以1/3指数幂律增长，成为训练瓶颈，导致整体损失遵循1/3缩放，且注意力头是驱动该缩放的关键。
2026-09-29 cs.AI cs.LG stat.ML
Evidence of Phase Transitions in Small Transformer-Based Language Models
Lynbrook High School（林brook高中）；Keysight Technologies（Keysight技术公司）
该研究通过训练小型GPT风格Transformer，结合词汇演化指标与泊松、亚泊松统计分析，证实小型语言模型训练早期在线性空间中也存在相变，为理解LLM训练动力学提供新视角。
2025-11-16 cs.AI cs.CL
Assessing LLMs' mathematical abilities requires understanding the various mechanisms of mathematical creativity
University of Ostrava（俄斯特拉发大学）；IRAFM
本文提出数学创造力包含多种不可替代的机制，当前LLMs仅具备部分模式的能力，建议围绕该机制分类而非综合基准评估其数学能力。
2026-08-18 cs.AI math.HO
Understanding Emergent In-Context Learning from a Kernel Regression Perspective
Siebel School of Computing and Data Science（计算与数据科学学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出核回归视角解释Transformer语言模型的上下文学习机制，证明贝叶斯推断可渐近为核回归，并揭示注意力与隐藏特征匹配核回归行为，为ICL现象提供理论依据。
2025-09-12 cs.AI cs.CL cs.LG
Dynamic sparsity in tree-structured feed-forward layers at scale
CITEC, Bielefeld University（比勒费尔德大学认知交互技术研究中心）；Department of Computer Science, Royal Holloway, University of London（伦敦大学皇家霍洛威学院计算机科学系）
本文研究了树状结构前馈层作为Transformer中密集MLP块的替代方案，实现条件计算无需额外路由网络。通过动态稀疏性技术，在大规模模型中实现高效的语言建模和问答任务。
2026-03-18 cs.AI cs.CL cs.LG
Do pretrained Transformers Learn In-Context by Gradient Descent?
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究质疑预训练Transformer的上下文学习（ICL）与梯度下降（GD）的等价性假设，通过LLaMa-7B实证分析发现两者在演示顺序敏感性、性能指标及输出分布上存在不一致，表明该等价性仍是开放假设。
2024-06-03 cs.AI cs.CL cs.LG
Interpretable Emergent Language Using Inter-Agent Transformers
Independant Hillsborough, NJ 98195-4322, USA（独立研究者）
本文提出可微分智能体间Transformer（DIAT），利用自注意力机制在多智能体强化学习中学习可解释的符号化通信协议，并通过实验验证其能有效解决合作任务。
2025-05-04 cs.AI cs.CL
COA-GPT: Generative Pre-trained Transformers for Accelerated Course of Action Development in Military Operations
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文提出COA-GPT算法，利用大型语言模型结合军事条令，通过上下文学习实现行动方案的秒级生成与指挥官反馈驱动的实时优化，在军事化星际争霸II场景中优于强化学习方法。
2024-03-28 cs.AI cs.CL cs.HC
LifeGPT: Topology-Agnostic Generative Pretrained Transformer Model for Cellular Automata
Massachusetts Institute of Technology（麻省理工学院）；Schwarzmann College of Computing（施瓦茨曼计算学院）；Laboratory for Atomistic and Molecular Mechanics (LAMM)（原子与分子力学实验室）；Center for Computational Science and Engineering（计算科学与工程中心）
本文提出拓扑无关的仅解码器GPT模型LifeGPT，在无网格拓扑先验下以近乎完美准确度模拟Conway's Game of Life，并引入自回归自回归器实现递归，为大型语言模型框架内的通用计算及生物逆问题求解铺路。
2024-10-17 cond-mat.mtrl-sci cond-mat.stat-mech cs.AI
Finding Distributed Object-Centric Properties in Self-Supervised Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Queensland（昆士兰大学）；UC Merced（加州大学默塞德分校）
本文分析了自监督视觉变压器中对象中心属性的分布式编码机制，提出Object-DINO方法通过聚类注意力头提升无监督对象发现和多模态大语言模型的视觉 grounding。
2026-03-27 cs.AI cs.CL cs.CV
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks
Stanford University（斯坦福大学）
Transformer网络在自然语言处理和机器视觉方面取得了巨大成功，其中下一个单词预测和图像分类等任务目标受益于高维输入的细微上下文敏感性。然而，有一个正在进行的辩论如何以及何时Transformers可以获得高度结构化的行为，并实现系统的推广。在这里，我们探讨如何以及因果Transformer可以执行一组算法任务，包括复制，排序，和这些操作的分层组合。我们展示了强大的泛化序列比那些在训练中使用的替换标准的位置编码通常用于Transformers器与标签任意配对的序列中的项目。我们寻找足以解决这些任务的层次和头部配置，然后探索潜在表征和注意模式中系统处理的迹象。我们表明，两层Transformers学习可靠的解决方案，多层次的问题，开发任务分解的迹象，并编码输入项的方式，鼓励利用共享计算相关的任务。这些结果提供了关于注意力层如何在任务内和跨多个任务支持结构化计算的关键见解。
2022-12-10 cs.AI cs.LG
What Language Model to Train if You Have One Million GPU Hours?
Hugging Face（Hugging Face公司）；LightOn（LightOn公司）；NTU, Singapore（新加坡南洋理工大学）；Booz Allen（博思艾伦公司）；EleutherAI（EleutherAI研究院）；Naver Labs Europe（Naver欧洲实验室）；University of Washington（华盛顿大学）；Berkeley University（加州大学伯克利分校）；Big Science（Big Science项目组）；Brown University（布朗大学）；LPENS（巴黎高等师范学院物理实验室）；Allen Institute for AI（艾伦人工智能研究院）；New York University（纽约大学）
围绕Transformer体系结构的建模方法的结晶已经成为从业者的福音。简单的、动机良好的架构变体可以跨任务和规模转移，从而增加建模研究的影响。然而，随着最先进的100 B+参数模型的出现，大语言模型的精确设计和训练越来越昂贵。值得注意的是，很难评估建模决策如何影响紧急功能，因为这些功能主要来自纯粹的规模。在构建BLOOM--大科学大型开放科学开放获取多语言语言模型--的过程中，我们的目标是确定一个架构和培训设置，以充分利用我们的1，000，000 A100-GPU小时预算。具体来说，我们进行了消融研究，在十亿参数规模比较不同的建模实践和他们的影响zero-shot推广。此外，我们研究了各种流行的预训练语料库对zero-shot泛化的影响。我们还研究了多语言模型的性能，以及它与仅使用英语的模型的比较。最后，我们考虑Transformers的缩放行为来选择目标模型的大小、形状和训练设置。我们所有的模型和代码都在https://huggingface.co/bigscience上开源。
2022-11-08 cs.AI cs.CL cs.LG
Adversarial Activation Patching: A Framework for Detecting and Mitigating Emergent Deception in Safety-Aligned Transformers
Microsoft Corporation（微软公司）
本文提出对抗性激活修补框架，通过将欺骗性提示的激活注入安全前向传播，在Transformer模型中诱发、检测并缓解涌现性欺骗，实验证明其使欺骗输出升至23.9%，并提出了缓解策略与未来研究方向。
2025-07-12 cs.AI cs.LG
A Study of Rule Omission in Raven's Progressive Matrices
University of California, Los Angeles（加州大学洛杉矶分校）
本文通过在I-RAVEN训练中刻意遗漏结构规则，评估transformer与CoPINet等模型的泛化能力，发现其面对新规则时准确率显著下降，揭示当前模型依赖模式而非稳健抽象推理。
2025-10-03 cs.AI
The Transient Nature of Emergent In-Context Learning in Transformers
UCL（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
该研究发现Transformer训练中涌现的上下文学习（ICL）多为瞬态现象，会最终被权重内学习取代，同时验证了L2正则化可增强ICL持久性，并初步指出其成因是两类学习回路的竞争。
2023-12-11 cs.AI cs.CL cs.LG
One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
Rice University（里士大学）
该研究探讨了共享权重的递归变压器是否能在未被分割成独立模块的情况下发展出不同的内部角色，通过不对称输入递归（AIR）架构发现，模型内部状态分化出不同的功能角色，并展示了这种分化与模型状态动态的关系。
2026-10-30 cs.AI cs.LG math.OC
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
Harvard University（哈佛大学）；University of Michigan（密歇根大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）；NTT Research, Inc.（NTT研究公司）；RIKEN Center for Biosystems Dynamics Research（理化学研究所生物系统动力学研究中心）
论文提出神经网络涌现的现象学定义，利用上下文敏感形式语言验证 Transformers 对底层结构的习得引发窄任务性能突增，并以二分图渗流相变模型预测涌现点变化。
2024-09-07 cs.AI cs.LG
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning
Department of Statistics & Data Science, Yale University（统计与数据科学系，耶鲁大学）
本研究提出四种架构机制（输入自适应递归、算法监督、离散瓶颈锚定表示、显式纠错），在计算图模块化算术任务上显著提升Transformer的分布外泛化，并通过可解释性分析揭示其内在机理。
2025-10-15 cs.AI cs.LG
Transformers Linearly Represent Highly Structured World Models
LaBRI, CNRS University of Bordeaux（LaBRI、CNRS 波尔多大学）
研究探讨了Transformer在训练过程中是否能构建任务的内部模型，并发现其内部表示结构与领域结构相匹配，通过Sudoku求解轨迹训练的Transformer展示了其内部计算机制和稀疏可解释的决策电路。
2026-05-13 cs.AI cs.LG
EBT-Policy: Energy Unlocks Emergent Physical Reasoning Capabilities
ZhiCheng AI（智成AI）；UIUC（伊利诺伊大学香槟分校）；Tsinghua University（清华大学）；Peking University（北京大学）
提出基于能量的架构 EBT-Policy 解决机器人策略学习问题，以更少的训练和推理计算优于 Diffusion Policy，并展现出零样本恢复等涌现能力，为分布偏移下的鲁棒机器人行为提供新路径。
2025-10-31 cs.AI cs.RO
Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers
Technical University of Munich（慕尼黑工业大学）
本文首次将 grokking 扩展到真实世界多跳推理，通过合成数据增强知识图谱以提高推断事实与原子事实的比率 $ϕ_r$，使 Transformer 在 2WikiMultiHopQA 上达到 95-100% 准确率，并揭示了泛化回路的形成机制。
2025-05-07 cs.AI cs.CL cs.LG
