Behavior Cloned Transformers are Neurosymbolic Reasoners
University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
在这项工作中，我们将探索用符号模块中的信息增强交互式代理的技术，就像人类使用计算器和GPS系统等工具来辅助算术和导航一样。我们测试我们的代理人的能力，在文本游戏-具有挑战性的基准评估多步推理能力的游戏代理人在接地，基于语言的环境。我们的实验研究表明，从这些符号模块注入到行为克隆Transformer代理的动作空间的动作增加性能测试算术，导航，排序和常识推理的四个文本游戏基准，平均22%，允许代理达到最高的性能看不见的游戏。这种动作注入技术很容易扩展到新的代理、环境和符号模块。
2023-02-11 cs.AI cs.CL
Enhancing Latent Computation in Transformers with Latent Tokens
Alibaba Group（阿里巴巴集团）
本研究提出潜Token轻量方法，可参数高效地集成到预训练Transformer中调控解码，经合成任务验证，其在分布外泛化等场景显著优于基线，有望提升大语言模型适配性。
2025-05-19 cs.CL cs.LG
Algorithmic Language Models with Neurally Compiled Libraries
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
针对大语言模型缺乏真正算法能力的问题，本文提出用神经编译库增强LLaMA3，通过添加内存、寄存器和自适应循环等组件，并定义直接编译算法的可微分起始库，初步验证了在简单算法任务上微调小模型的可行性。
2025-05-24 cs.AI cs.CL cs.PL
MAQA: A Multimodal QA Benchmark for Negation
Google Research（谷歌研究院）；Seoul National University（首尔国立大学）
多模态学习可以受益于预训练的大语言模型（LLM）的表示能力。然而，最先进的基于Transformer的LLM经常忽略自然语言中的否定，并且没有现有的基准来定量评估多模态Transformers是否继承了这个弱点。在这项研究中，我们提出了一个新的多模态问答（QA）基准，改编自AudioSet中的标记音乐视频（Gemmeke等人，2017年）的目标是系统地评估多模态Transformers是否可以执行复杂的推理，以将新概念识别为对先前学习的概念的否定。我们表明，与标准的微调方法多模态Transformers仍然无法正确地解释否定，无论模型的大小。然而，我们的实验表明，用否定的QA示例来增强原始训练任务分布，可以让模型可靠地用否定进行推理。要做到这一点，我们描述了一种新的数据生成过程，提示540 B参数PaLM模型自动生成否定QA的例子，容易访问的视频标签的组成。生成的例子包含更多的自然语言模式和增益相比，基于模板的任务增强方法是显着的。
2023-01-09 cs.AI cs.CL cs.LG
Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
顺序推荐通过按时间顺序对项目序列进行建模来表征不断演化的模式。它的基本目标是捕捉项目转换相关性。Transformer的最新发展启发了社区设计有效的序列编码器，\textit{e.g.,} SASRec和BERT 4 Rec。然而，我们观察到这些基于transformer的模型存在冷启动问题，\textit{i.e.,}对于短序列表现不佳。因此，我们建议增加短序列，同时仍然保留原始的序列相关性。本文提出了一种新的\textbf{A}算法框架，它利用\textbf{P}的先验项~（ASReP）对\textbf{S}序列\textbf{Re}进行推荐。我们首先用反向序列预训练一个Transformer，以预测先前的项目。然后，我们使用这个Transformer在短序列的开头生成虚构的历史项。最后，我们使用这些来自时间顺序的增强序列来微调Transformer以预测下一项。在两个真实数据集上的实验验证了ASReP的有效性。代码可在\url{https://github.com/DyGRec/ASReP}上获得。
2021-05-02 cs.AI cs.IR
Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis
Rensselaer Polytechnic Institute（罗切斯特理工学院）；The Chinese University of Hong Kong（香港中文大学）；IBM Research（IBM研究院）
本研究首次从理论上分析了训练非线性注意力Transformer以获得思维链推理能力所需的样本与迭代条件，证明了其在分布偏移的未见任务上的泛化性，并刻画了噪声示例下仍能准确推理的条件，实验验证了理论结果。
2025-05-25 cs.CL cs.LG
Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers
Technical University of Munich（慕尼黑工业大学）
本文首次将 grokking 扩展到真实世界多跳推理，通过合成数据增强知识图谱以提高推断事实与原子事实的比率 $ϕ_r$，使 Transformer 在 2WikiMultiHopQA 上达到 95-100% 准确率，并揭示了泛化回路的形成机制。
2025-05-07 cs.AI cs.CL cs.LG
Contextual Vision Transformers for Robust Representation Learning
Insitro（Insitro公司）
本文提出 ContextViT，通过群组上下文 token 与上下文推理网络增强 ViT，使其在分布偏移下实现更好的分布外泛化和稳定表示学习。
2023-09-28 cs.AI cs.CL cs.CV
Augmenting Transformers with Recursively Composed Multi-grained Representations
Ant Group（蚂蚁集团）；ShanghaiTech University（上海科技大学）
本研究提出递归组合增强Transformer模型ReCAT，通过新增的上下文内外层实现跨度内外信息交互，生成多粒度表示，在多项任务上性能优于基线，且诱导的句法结构与人工标注一致性高、可解释性强。
2024-03-12 cs.AI cs.CL
Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention
Microsoft Corporation（微软公司）
当今的大多数人工智能系统都专注于在大量多样化的数据上使用自我注意力机制和Transformer架构，以实现令人印象深刻的性能提升。在本文中，我们提出了一个外部的注意力机制，使外部的知识和上下文来承担，以增加Transformer架构。通过将外部信息整合到预测过程中，我们希望减少对越来越大的模型的需求，并提高人工智能系统的民主化。我们发现，所提出的外部注意力机制可以显着提高现有AI系统的性能，使从业者能够轻松地定制基础AI模型，以适应许多不同的下游应用。特别是，我们专注于常识推理的任务，表明所提出的外部注意力机制可以增强现有的Transformer模型，并显着提高模型的推理能力。所提出的系统，知识丰富的外部注意力常识推理（KEAR），达到人类平等的开放CommonsenseQA研究基准的准确性为89.4%相比，人类的准确性为88.9%。
2022-05-04 cs.AI cs.CL cs.LG
Augmenting Reinforcement Learning with Transformer-based Scene Representation Learning for Decision-making of Autonomous Driving
Nanyang Technological University（南洋理工大学）
针对城市自动驾驶强化学习决策样本效率低、适应性差的问题，提出Scene-Rep Transformer方法，通过多阶段Transformer编码交互与意图、序列潜在Transformer蒸馏未来预测信息，提升SAC决策的数据效率与成功率、安全性等性能。
2023-08-25 cs.AI cs.LG cs.RO
UnibucLLM: Harnessing LLMs for Automated Prediction of Item Difficulty and Response Time for Multiple-Choice Questions
University of Bucharest（布加勒斯特大学）
本研究提出基于 LLM 的数据增强方法，利用零样本 LLM 回答和 Transformer 模型预测 USMLE 多项选择题的难度与作答时间，发现 LLM 回答的差异性有助于提升医学执照考试的自动化评估效果。
2024-04-20 cs.AI cs.CL cs.LG
What Matters in Linearizing Language Models? A Comparative Study of Architecture, Scale, and Task Adaptation
Humboldt-Universität zu Berlin（柏林洪堡大学）
本研究比较了七种架构在线性化语言模型中的表现，发现架构归纳偏置是影响线性化成功的关键因素，而非单纯扩大训练计算量。
2026-01-28 cs.AI cs.CL
Memory Augmented Large Language Models are Computationally Universal
Google Brain（谷歌大脑）；University of Alberta（阿尔伯塔大学）
我们表明，基于transformer的大语言模型是计算上的普遍性时，增加了外部存储器。任何以有限长度字符串为条件的确定性语言模型都等价于一个有限自动机，因此计算有限。然而，用读写存储器来扩充这样的模型创造了处理任意大的输入的可能性，并且潜在地模拟任何算法。我们建立了一个现有的大语言模型，Flan-U-PaLM 540 B，可以与关联读写存储器相结合，以准确地模拟通用图灵机，$U_{15,2}$的执行。该发现的一个关键方面是，它不需要对语言模型权重进行任何修改。相反，这种结构仅仅依赖于设计一种形式的存储指令计算机，随后可以用一组特定的提示进行编程。
2023-01-10 cs.CL cs.FL
Resona: Improving Context Copying in Linear Recurrence Models with Retrieval
McGill University（麦吉尔大学）；Noah’s Ark Lab, Montreal（诺亚实验室，蒙特利尔）；Université de Montréal（蒙特利尔大学）；Mila
本文提出 Resona 框架，通过检索机制增强线性循环模型整合上下文信息的能力，显著提升其在合成与真实自然语言任务上的上下文学习及语言建模性能。
2025-07-23 cs.CL
Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers
Rice University（里士大学）；University of Central Florida（中央佛罗里达大学）
本文分析了层次化先决条件传播的电路复杂性，揭示了变换器在深层概念层次上的计算能力，通过证明递归多数掌握传播属于NC^1，并探讨了单调性限制下的深度层次结构，以及经验结果表明变换器在递归多数树上收敛于排列不变的捷径。
2026-03-25 cs.AI cs.LG
Resolving the Imbalance Issue in Hierarchical Disciplinary Topic Inference via LLM-based Data Augmentation
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
本研究利用Llama V1生成研究提案数据，解决层级学科推断中的数据不平衡，提升主题模型精度和审稿人分配公平性。
2023-10-15 cs.CL
Augmenting Minds or Automating Skills: The Differential Role of Human Capital in Generative AI's Impact on Creative Tasks
Tsinghua University（清华大学）；Wuhan University of Technology（武汉理工大学）
本研究通过两项随机对照实验，探讨生成式AI与不同形式人力资本在创意任务中的相互作用，发现其增强一般人力资本却削弱领域专长价值，揭示AI加剧认知不平等的悖论并提出新理论框架。
2024-12-05 cs.AI cs.HC econ.GN
Augmenting Molecular Language Models with Local $n$-gram Memory
The Chinese University of Hong Kong（香港中文大学）；International Digital Economy Academy（国际数字经济学院）
针对SMILES字符串的Transformer模型因字符级分词破坏化学语义的问题，提出MolGram模块，通过条件$n$-gram记忆哈希查找注入局部上下文，在三个任务上以更少参数超越基线。
2026-06-11 cs.AI cs.CL
Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）
大型预训练生成语言模型的出现为AI故事生成提供了一个通用框架，通过对模型进行采样来创建继续故事的序列。然而，单靠抽样是不足以产生故事的。特别是，很难指导语言模型创建故事以达到特定的目标事件。我们提出了两种基于深度强化学习和奖励塑造的自动化技术来控制计算机生成故事的情节。第一个利用近端策略优化来微调现有的基于transformer的语言模型，以生成文本延续，但也是目标搜索。第二种方法从展开的故事中提取知识图谱，由具有图关注的策略网络使用该知识图谱来选择由语言模型生成的候选延续。我们报告了与故事实现给定目标事件的频率有关的自动化指标，以及与基线和消融相比的连贯性和整体故事质量的人类参与者排名。
2021-12-16 cs.AI cs.CL
Augmenting Prototype Network with TransMix for Few-shot Hyperspectral Image Classification
Henan University（河南大学）；Beijing Electro-Mechanical Engineering Institute（北京机电工程研究所）
针对小样本高光谱图像分类中边界块混合多类光谱导致难分类的问题，提出APNT，以Transformer增强原型网络并用TransMix合成边界块及混合标签，取得最先进性能与更强鲁棒性。
2024-01-22 cs.AI cs.CV
Plumeria at SemEval-2022 Task 6: Robust Approaches for Sarcasm Detection for English and Arabic Using Transformers and Data Augmentation
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文介绍了我们提交给SemEval-2022任务6的讽刺检测及其五个子任务的英语和阿拉伯语。讽刺表达了一种与字面意思相矛盾的意思，它主要出现在社交网络上。它在理解用户意图方面具有重要作用。为了检测讽刺，我们使用了基于Transformers的深度学习技术，因为它在自然语言处理（NLP）领域取得了成功，而不需要特征工程。数据集来自Twitter。我们通过增加外部数据或使用词嵌入和重复实例来创建新的数据集。实验是在具有不同类型预处理的数据集上进行的，因为它在这项任务中至关重要。我们的团队在四个子任务中的排名是一致的（三个子任务中排名第四，一个子任务中排名第六）;而其他团队可能在某些子任务中排名最高，但在其他子任务中排名则要低得多。这意味着我们使用的模型和技术的鲁棒性和稳定性。
2022-03-08 cs.AI cs.CL cs.LG
Enhancing Graph Transformers with Hierarchical Distance Structural Encoding
Beihang University（北京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出层级距离结构编码（HDSE）增强图变换器，建模节点多级距离，可集成于注意力机制，理论上优于最短路径距离，并在图分类、回归及大规模节点分类任务中表现优异。
2024-05-27 cs.AI cs.LG cs.SI
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London（伦敦大学学院）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Edinburgh（爱丁堡大学）
对外部知识的访问对于许多自然语言处理任务（例如问答和对话）是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型，或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强的Transformer（EMAT）-它将外部知识编码到键值内存中，并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务，使EMAT编码信息的键值表示，并学习一个隐式的策略，将多个内存插槽到Transformer。在各种知识密集型任务（如问答和对话数据集）上的实验表明，使用我们的方法简单地增强参数模型（T5-base）会产生更准确的结果（例如，25.8- NQ上的44.3EM），同时保持高吞吐量（例如，1000查询/秒的NQ）。与检索增强模型相比，EMAT在WoW和ELI 5上运行速度更快，结果更准确。我们的代码和数据集可以在https：//github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
Beyond 9-to-5: A Generative Model for Augmenting Mobility Data of Underrepresented Shift Workers
Department of Civil and Environmental Engineering, Samueli School of Engineering, University of California at Los Angeles（土木与环境工程系，工程学院，加州大学洛杉矶分校）；Novateur Research Solutions（Novateur研究解决方案）
针对轮班工作者在交通调查中代表性不足的问题，提出基于transformer的GPS轨迹生成方法，利用周期感知嵌入与转移损失补全其活动模式，并在Los Angeles County数据上取得平均JSD<0.02的分布对齐效果。
2025-07-17 cs.AI cs.LG
A Time-Series Data Augmentation Model through Diffusion and Transformer Integration
本文提出一种结合扩散模型与Transformer的时间序列数据增强方法，通过生成初始动作并预测后续动作，有效提升了模型性能。
2025-05-01 cs.AI cs.LG eess.SP
Hierarchical Transformer for Scalable Graph Learning
Peking University（北京大学）；Yuanpei College, Peking University（北京大学元培学院）；Microsoft（微软）；Alibaba Group（阿里巴巴集团）
针对图Transformer在大规模图上全批量训练复杂度高、采样法易丢失高层信息的问题，提出分层可扩展图TransformerHSGT，结合图层次结构与采样训练，在百万节点级大规模基准上高效实现当前最优性能。
2023-05-05 cs.AI cs.LG cs.SI
SAG-ViT: A Scale-Aware, High-Fidelity Patching Approach with Graph Attention for Vision Transformers
Vellore Institute of Technology（韦洛尔理工大学）
本文提出 SAG-ViT，用 EfficientNetV2 提取多尺度特征并构建相似性图，经 GAT 细化后交由 Transformer 编码，从而增强 ViT 的多尺度上下文建模与图像分类性能。
2025-01-08 cs.AI cs.CV cs.LG
Predicting Visit Cost of Obstructive Sleep Apnea using Electronic Healthcare Records with Transformer
Aalto University（阿尔托大学）；Turku University Hospital（图尔库大学医院）
背景：随着肥胖的增加，阻塞性睡眠呼吸暂停（OSA）在许多国家越来越普遍。OSA的充分有效治疗需要医疗保健的高社会和财政成本。目的：为了治疗的目的，预测OSA患者来年的就诊费用是至关重要的。可靠的估计使医疗保健决策者能够进行仔细的财务管理和预算，以便有效地向医院分配资源。由于缺乏高质量的患者数据，只有三分之一的OSA患者数据可用于训练分析模型：只有随访超过365天的OSA患者才能预测一年的支出。方法和步骤：作者提出了一种应用两个Transformer模型的方法，一个用于通过来自较短访问历史的数据来增加输入，另一个通过考虑由此丰富的材料和具有一年以上随访的病例来预测成本。结果：双模型解决方案允许将有限的OSA患者数据用于生产用途。相对于仅使用三分之一高质量患者数据的单Transformer解决方案，具有两个模型的解决方案将预测性能的$R^{2}$从88.8%提高到97.5%。即使使用基线模型和模型增强数据，$R^{2}$也有相当大的改进，从61.6%提高到81.9%。结论：所提出的方法，使预测与大多数可用的高质量的数据，通过仔细利用细节，这是不直接相关的回答下一年的可能支出的问题。
2023-01-28 cs.AI
MMFace-DiT: A Dual-Stream Diffusion Transformer for High-Fidelity Multimodal Face Generation
University of North Texas（北德克萨斯大学）
MMFace-DiT通过双流Transformer实现多模态人脸生成，融合空间和语义信息，提升生成质量与控制能力，相比现有方法提升40%的视觉保真度和提示对齐度。
2026-03-30 cs.AI cs.CV
Hint-Aug: Drawing Hints from Foundation Vision Transformers Towards Boosted Few-Shot Parameter-Efficient Tuning
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）
提出Hint-Aug框架，通过AOD检测过自信图块并用CFI注入预训练特征以增强少样本微调数据，在多数据集上显著提升FViT准确率。
2023-06-26 cs.AI cs.CV
