Can Transformers Reason Logically? A Study in SAT Solving
University of YYY(YYY大学);Institute of WWW(WWW研究院)
本文通过理论构造与实证训练,研究仅解码器Transformer在3-SAT求解中的逻辑推理能力,证明其可通过思维链进行回溯与演绎,并发现训练模型分布外泛化强但长度泛化有限。
2025-02-08 cs.AI cs.LG cs.LO
A Multi-target Bayesian Transformer Framework for Predicting Cardiovascular Disease Biomarkers during Pandemics
Department of Computer Science, WPI(计算机科学系,WPI);Department of Genetics and Computational Biology, UMass Chan Medical School(遗传学与计算生物学系,UMass Chan医学学院);AI Exploration Center, Department of Data Science and Analytics, SUNY Polytechnic Institute(AI探索中心,数据科学与分析系,SUNY polytechnic学院)
本文提出多目标贝叶斯Transformer框架MBT-CB,结合预训练BERT、贝叶斯变分推断和DeepMTR,从EHR中联合预测LDL-C、HbA1c、BMI和SysBP,并在3390条CVD记录上验证其优于基线模型。
2025-11-06 cs.AI cs.LG
Geographically-Weighted Weakly Supervised Bayesian High-Resolution Transformer for 200m Resolution Pan-Arctic Sea Ice Concentration Mapping and Uncertainty Estimation using Sentinel-1, RCM, and AMSR2 Data
Department of Geomatics Engineering, Schulich School of Engineering, University of Calgary(地质工程系,Schulich 工程学院,卡尔加里大学)
提出一种贝叶斯高分辨率Transformer模型,结合地理加权弱监督损失函数和决策级数据融合,利用Sentinel-1、RCM和AMSR2数据实现200米分辨率泛北极海冰密集度制图与不确定性量化。
2026-03-03 cs.CV cs.LG
Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers
University of Oxford(牛津大学)
我们使用Transformer模型的贝叶斯深度学习等价物检测神经机器翻译中的训练分布外句子。为此,我们开发了一种新的不确定性测量方法,专门用于离散随机变量的长序列,即输出句子中的单词。我们的新措施的不确定性解决了一个主要的棘手问题,在天真的应用现有的方法对长句。我们使用我们的新措施上的Transformer模型训练辍学近似推理。在使用WMT13和Europarl进行德英翻译的任务中,我们证明了在辍学不确定性的情况下,我们的措施能够识别何时使用与德语相同的单词类型的荷兰语源句子,而不是德语。
2020-06-08 cs.CL cs.LG stat.ML
Amortized In-Context Bayesian Posterior Estimation
York University(约克大学);Google DeepMind(谷歌DeepMind);Vector Institute(矢量研究所);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本研究全面比较分析摊销式上下文内贝叶斯后验估计方法,利用置换不变架构训练估计器处理上下文数据,实证验证反向KL估计器(结合Transformer和归一化流)在预测问题中的优越性,覆盖分布外泛化等场景。
2025-02-10 cs.AI cs.LG stat.ML
Towards Better Understanding of In-Context Learning Ability from In-Context Uncertainty Quantification
Imperial College Business School, Imperial College London(伦敦帝国学院商学院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文通过双目标预测(条件期望与方差)研究Transformer的上下文学习,证明其接近贝叶斯最优,但任务偏移时并非贝叶斯推断,并给出更紧的泛化界。
2024-05-24 cs.CL cs.LG stat.ML
Self-Improving Transformers Overcome Easy-to-Hard and Length Generalization Challenges
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research, AI Frontiers(微软研究院AI前沿部门)
针对大型语言模型在长度泛化及训练分布外复杂问题上的不足,提出自改进方法,使标准Transformer通过迭代学习自身解决方案,在多样任务中实现远超训练分布的泛化,部分任务性能呈指数级提升。
2025-02-13 cs.AI cs.LG
Enhancing the Transformer with Explicit Relational Encoding for Math Problem Solving
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);The Swiss AI Lab IDSIA / USI / SUPSI(瑞士人工智能实验室IDSIA / 瑞士意大利语大学 / 瑞士南方应用科技大学)
我们在Transformer中加入了张量积表示,以便更好地支持关系结构的显式表示。我们的Tensor-Product Transformer(TP-Transformer)在最近推出的包含56类自由形式数学应用题的数学数据集上开创了新的艺术水平。该模型的基本组成部分是一种新的注意力机制,称为TP-注意力,它明确编码每个Transformer细胞和其他细胞之间的关系,从这些细胞中的值已被检索的注意。TP-Attention超越了检索值的线性组合,加强了表征构建并解决了多层标准注意力引入的歧义。TP-Transformer的注意力地图可以更好地了解它如何能够解决数学数据集的挑战性问题。预训练的模型和代码将在发布后提供。
2020-11-04 cs.LG stat.ML
Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework
Department of Computer Science and Engineering, SUSTech University(计算机科学与工程系,四川大学)
本文在测度论核框架下形式化证明,当Transformer内部更新机制满足贝叶斯联合分布条件时,其前向计算等价于精确的贝叶斯后验更新。
2026-06-29 cs.AI cs.LG
Universal priors: solving empirical Bayes via Bayesian inference and pretraining
Courant Institute of Mathematical Sciences, NYU(纽约大学Courant数学科学研究所);Center for Data Science, NYU(纽约大学数据科学中心);Department of EECS, MIT(麻省理工学院电子工程与计算机科学系)
本文从理论上证明,在合成数据上预训练的Transformer能通过后验收缩自适应未知测试分布,实现经验贝叶斯问题的近最优遗憾界。
2026-06-23 cs.LG stat.ML
Learning Source Structure: Bayesian Prediction with Transformers
Tel Aviv University(特拉维夫大学);EPFL(洛桑联邦理工学院)
该研究构建含多符号的马尔可夫源,以知情贝叶斯为参考,证实Transformer可学习源结构,且知情贝叶斯能预测Transformer的多项表现,明确了其模仿的可能性与局限性。
2026-10-14 cs.LG
Scalable bayesian shadow tomography for quantum property estimation with set transformers
Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)
本文提出了一种结合经典阴影协议和集合变换器的贝叶斯方法,用于高效估计量子态属性,显著降低均方误差。
2025-12-04 cs.LG quant-ph
Solving Math Word Problems with Double-Decoder Transformer
提出了一种基于Transformer的数学应用题方程生成模型。当不使用复制和对齐机制时,它比RNN模型取得了更好的结果,并且可以胜过复杂的复制和对齐RNN模型。我们还表明,训练一个Transformer共同在一个生成任务与两个解码器,从左到右和从右到左,是有益的。这样的Transformer比仅具有一个解码器的Transformer性能更好,这不仅是因为集成效应,而且还因为它改进了编码器训练过程。我们还尝试将强化学习添加到我们的模型中,与MLE训练相比,表现出更好的性能。
2019-08-28 cs.CL cs.LG
Markovian Circuit Tracing: Ground-Truth Tests of Transformer State Abstractions
Project AWARE and Zephara AI(项目AWARE和Zephara AI)
本研究提出马尔可夫电路追踪(MCT)方法,用于评估Transformer激活是否包含粗粒度的状态转移结构,通过合成的隐马尔可夫模型任务验证了残差激活中包含部分贝叶斯信念信息,并展示了状态抽象在不同状态下恢复粗粒度转移信号的效果。
2026-10-27 cs.LG
Kinematics Transformer: Solving The Inverse Modeling Problem of Soft Robots using Transformers
Bahcesehir University(巴耶塞特大学)
软机器人操纵器在脆弱的环境如海洋环境中提供了许多优于传统刚性操纵器的优点。然而,发展必要的形状,运动和力控制的机器人的解析逆模型仍然是一个具有挑战性的问题。作为分析模型的替代方案,可以使用强大的机器学习方法来学习数值模型。在本文中,Kinetics Transformer提出了发展准确和精确的逆运动学模型的软机器人肢体。该方法将机器人逆运动学问题转化为序列预测问题,并基于Transformer结构。数值仿真结果表明,该方法可以有效地用于控制软肢体。基准研究也表明,与基线前馈神经网络相比,该方法具有更好的准确性和精度
2022-11-12 cs.LG cs.RO
Solving Arithmetic Word Problems Automatically Using Transformer and Unambiguous Representations
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
构建精确和自动的数学应用题求解器已被证明是相当具有挑战性的。使用机器学习的先前尝试已经在特定于数学单词问题的语料库上进行了训练,以在答案计算之前产生中缀符号的算术表达式。我们发现定制的神经网络很难很好地推广。本文概述了Transformer网络的使用,该网络经过训练,可以将数学应用题转换为中缀、前缀和后缀表示法中的等效算术表达式。除了直接在特定领域的语料库上进行训练外,我们还使用了一种在一般文本语料库上进行预训练的方法,以提供基本的语言能力来探索它是否能提高性能。我们比较了大量神经配置产生的结果,发现大多数配置在四个数据集中的三个数据集上的性能优于先前报道的方法,准确性显著提高了20个百分点以上。与以前的技术水平相比,最好的神经方法平均将准确率提高了近10%。
2019-12-02 cs.CL cs.LG stat.ML
What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach
Monash University(莫纳什大学)
研究贝叶斯滤波变压器(BFT)在预测时内化的潜在任务先验和后验,现有预测空间比较方法脆弱。提出用预测蒙特卡罗(PMC)作为通用解释工具,通过下一个token生成近似潜在任务的隐式先验和后验,并应用于三个任务族验证,直接在潜在空间回答解释性问题。
2026-07-21 cs.LG
Solving Reasoning Tasks with a Slot Transformer
Deepmind(深度思维)
将世界划分为有用的抽象概念,以便对时间和空间进行推理的能力是智能的重要组成部分。为了成功地感知和有效地使用感官采取行动,我们必须解析和压缩大量的信息,以便进行进一步的下游推理,从而使越来越复杂的概念出现。如果有任何希望扩展表示学习方法来处理真实世界的场景和时间动态,那么就必须有一种方法来学习准确,简洁和可组合的抽象。我们提出了插槽Transformer,一个架构,利用插槽的注意力,Transformers和迭代变分推理视频场景数据来推断这样的表示。我们评估的插槽Transformer CLEVRER,动力学600和CATER datesets和证明,该方法使我们能够开发强大的建模和推理周围的复杂行为,以及这些数据集的分数,比较有利的现有基线。最后,我们评估架构的关键组件的有效性,模型的代表性能力和预测能力,从不完整的输入。
2022-10-20 cs.LG
Transformers as Neural Augmentors: Class Conditional Sentence Generation via Variational Bayes
Yildiz Technical University(耶尔德兹理工大学)
自然语言处理任务的数据增强方法是近年来研究的热点,但其局限性较大,难以捕捉句子层次上的多样性。此外,并不总是能够对监督任务执行数据增强。为了解决这些问题,我们提出了一种神经数据增强方法,这是一个组合的条件变分自编码器和编码器-解码器Transformer模型。在对输入语句进行编码和解码的同时,我们的模型捕捉了输入语言的句法和语义表示及其类条件。根据过去几年在预训练语言模型上的发展,我们在几个基准上对我们的模型进行训练和评估,以加强下游任务。我们将我们的方法与3种不同的增强技术进行比较。所提出的结果表明,我们的模型增加了当前模型的性能相比,其他数据增强技术与少量的计算能力。
2022-05-19 cs.CL cs.LG
SAOT: An Enhanced Locality-Aware Spectral Transformer for Solving PDEs
SAOT是一种结合局部感知和全局频谱表示的增强型频谱变换器,通过小波注意模块有效解决偏微分方程求解中的局部细节和高频捕捉问题。
2025-11-24 cs.LG
Solving the Weather4cast Challenge via Visual Transformers for 3D Images
University of Geneva(日内瓦大学);Neiro AI
准确预报天气是一项重要的任务,因为许多现实世界的过程和决策都取决于未来的气象条件。名为Weather4cast的NeurIPS 2022挑战提出了一个问题,即在前一个小时的卫星观测作为背景的情况下,预测未来8小时的降雨事件。受最近在计算机视觉中基于变换器的架构的成功的启发,我们实现并提出了基于该架构的两种方法来应对这一挑战。我们发现,将不同的Transformers与一些基线模型集成在一起,可以在看不见的测试数据上实现我们可以测量的最佳性能。我们的方法在竞争中排名第三。
2022-12-05 cs.AI cs.CV cs.LG
Equity-Transformer: Solving NP-hard Min-Max Routing Problems as Sequential Generation with Equity Context
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出Equity-Transformer,采用顺序规划与公平性归纳偏置解决大规模极小极大路由问题,在mTSP和mPDP上显著优于LKH3,运行时间减少约335倍,成本降低约53%。
2024-02-05 cs.LG math.OC stat.ML
Physics Informed Token Transformer for Solving Partial Differential Equations
Carnegie Mellon University(卡内基梅隆大学)
针对Transformer缺乏物理与推理结合的问题,提出PITT模型,通过将偏微分方程进行token化并嵌入偏导数来学习数值更新算子,在1D和2D PDE预测任务上优于流行神经算子。
2024-02-12 cs.LG physics.comp-ph
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology(阿萨努拉科技大学)
本文构建含10,000道题的PatiGonit数据集,并微调多种Transformer模型求解孟加拉语数学应用题,其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY
SymPlex: A Structure-Aware Transformer for Symbolic PDE Solving
Department of Mathematics, University of California, Los Angeles, Los Angeles, CA, USA(加州大学洛杉矶分校数学系);Mechanical and Aerospace Engineering, University of California, Los Angeles, Los Angeles, CA, USA(加州大学洛杉矶分校机械与航空航天工程系);Office of Advanced Research Computing (OARC), University of California, Los Angeles, Los Angeles, CA, USA(加州大学洛杉矶分校高级计算研究办公室)
SymPlex通过结构感知的Transformer在符号表达式空间中求解PDE,实现可解释的解析解。
2026-02-03 cs.LG
Rethinking Transformers in Solving POMDPs
IIIS, Tsinghua University(清华大学交叉信息研究院);University of Washington(华盛顿大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室)
本文揭示了 Transformer 在解决部分可观测马尔可夫决策过程(POMDPs)中的理论局限,指出其缺乏递归结构导致难以学习特定归纳偏置,并提出引入逐点递归结构(如 LRU)以显著提升部分可观测强化学习的性能。
2024-05-30 cs.AI cs.LG
Puzzle Solving without Search or Human Knowledge: An Unnatural Language Approach
PeopleTec, Inc.(PeopleTec公司);University of Maryland, College Park(马里兰大学学院市分校)
应用生成式预训练Transformer(GPT-2)来学习文本存档的游戏符号,为探索稀疏奖励游戏提供了一个模型环境。Transformer架构被证明可以在描述迷宫、魔方和数独求解器的已解决文本档案上进行训练。该方法受益于微调的Transformer架构可视化合理的战略以外的任何指导,从人类的经验或领域的专业知识。游戏的大搜索空间($>10^{19}$)提供了一个谜题环境,其中解决方案几乎没有中间奖励和解决挑战的最后一步。
2021-09-07 cs.AI cs.CL cs.LG
Structured World Representations in Maze-Solving Transformers
Colorado School of Mines(科罗拉多矿业学院);Imperial College London(伦敦帝国理工学院);National Institute of Informatics(信息学研究所)
本文研究求解迷宫的小型 Transformer,发现其内部会形成迷宫拓扑与有效路径的结构化表征,并通过单 token 线性解码和邻接头分析加以验证。
2023-12-05 cs.AI cs.LG
A Deep Reinforcement Learning (DRL)-Based Transformer Method for Solving the Open Shop Scheduling Problem
Louisiana State University(路易斯安那州立大学);University of Minnesota Duluth(明尼苏达大学杜鲁斯分校)
提出一种基于Transformer编码器-解码器架构的调度策略,仅以加工时间矩阵为输入,在Taillard小规模实例上训练后可直接推广至40x40至100x100的大规模问题,与经典调度规则相比具有竞争力。
2026-06-15 cs.AI cs.LG
Looped Transformers are Better at Learning Learning Algorithms
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文提出循环 Transformer 架构以引入迭代特性,使其在解决数据拟合问题时,以不到 10% 的参数达到标准 Transformer 的性能,从而更有效地习得学习算法。
2024-03-16 cs.LG cs.NE
Inducing Point Operator Transformer: A Flexible and Scalable Architecture for Solving PDEs
Alsemy
针对偏微分方程求解中算子学习架构的灵活性与可扩展性难题,提出基于注意力的诱导点算子Transformer(IPOT),通过潜在瓶颈解耦输入输出离散化与处理器,在多类基准和真实场景中取得优异性能。
2023-12-18 cs.AI cs.LG cs.NA
Transformers Use Causal World Models in Maze-Solving Tasks
Imperial College London(伦敦帝国学院);Colorado School of Mines(科罗拉多矿业学院);University of Manchester(曼彻斯特大学);National Institute of Informatics(信息学研究所)
本研究通过 Sparse Autoencoders 和注意力分析,识别并验证了 transformers 在迷宫求解任务中构建的因果世界模型,揭示了特征干预的难易差异、模型泛化能力及位置编码对模型结构的影响。
2025-03-05 cs.AI cs.LG
RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Princeton University(普林斯顿大学)
该研究从理论层面揭示RNN与Transformer在算法问题表征上的核心差距源于上下文检索能力不足,验证了引入RAG或单层Transformer层可让RNN借助CoT解决所有多项式时间问题,从而弥合表征差距。
2024-12-06 cs.CL cs.LG stat.ML
Unraveling the ARC Puzzle: Mimicking Human Solutions with Object-Centric Decision Transformer
Gwangju Institute of Science and Technology(光州科学技术院)
本研究针对通用人工智能背景下的ARC任务,提出结合模仿学习范式下的决策Transformer与推拉聚类目标检测算法的双策略,提升了ARC解题能力,同时指出了数据、模型层面的改进方向,推动AGI研究发展。
2023-06-14 cs.AI cs.LG
MMET: A Multi-Input and Multi-Scale Transformer for Efficient PDEs Solving
Division of ISE, KTH Royal Institute of Technology(KTH皇家理工学院信息工程系);School of Advanced Technology, Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学高级技术学院);Techforgood AS(Techforgood公司);Department of Automation Technology, ABB Corporate Research Sweden(ABB瑞典企业研究自动化技术部门)
提出多输入与多尺度高效Transformer(MMET),通过解耦网格与查询点、引入门控条件嵌入及Hilbert曲线重序列化机制,降低计算成本并提升泛化能力,在精度与效率上超越SOTA。
2025-08-09 cs.AI cs.LG
When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains
Physics Lab, Yee Collins Research Group(Yee Collins研究组物理实验室)
本文研究了深度学习模型在求解偏微分方程(PDE)时的架构选择问题,探讨了基于学习注意力的变换器架构在何时优于傅里叶域神经算子。引入了多尺度注意力变换器(MSAT),该架构将时空解的历史编码为令牌序列,并通过复合监督目标进行端到端训练。在五个基准问题上,与九种基线方法(包括物理信息神经网络、神经算子和状态空间模型)进行了全面的实证评估,展示了在复杂几何问题上的最佳泛化能力。
2026-06-04 cs.AI cs.LG cs.NA
Learning Solution-Aware Transformers for Efficiently Solving Quadratic Assignment Problem
Center for Data Science, Peking University(北京大学数据科学中心);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
针对二次分配问题(QAP)强NP难、现有求解方法规模受限且效率低的问题,提出解感知Transformer(SAWT)架构,通过分别编码设施与位置节点、融合当前解矩阵与注意力得分捕捉高阶信息,在自生成实例及QAPLIB基准上验证了有效性与可扩展性。
2024-06-20 cs.AI cs.LG
Solving Continual Offline Reinforcement Learning with Decision Transformer
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
本文针对持续离线强化学习中稳定性与可塑性难以平衡的问题,提出基于决策Transformer的MH-DT和LoRA-DT方法,通过多头知识存储与低秩适应缓解遗忘,在多个基准上优于现有方法。
2024-04-07 cs.AI cs.LG
Influence-Guided Concolic Testing of Transformer Robustness
Department of Management Information Systems(管理信息系)
提出一种基于SHAP影响力排序路径谓词的具体化测试方法,通过纯Python实现多头注意力语义并显式化softmax边界,在CIFAR-10上对紧凑Transformer分类器实现60%攻击成功率,比差分进化基线高45%,且谓词优先级排序将中位攻击时间降低51%。
2026-06-19 cs.LG cs.SE
VideoPDE: Unified Generative PDE Solving via Video Inpainting Diffusion Models
University of Michigan(密歇根大学)
本研究提出VideoPDE框架,将偏微分方程求解重构为广义视频修复问题,基于Transformer架构与像素空间分层视频扩散模型,实现正/逆、全/部分观测等多类PDE任务的统一求解,性能优于现有最优基线。
2025-06-17 cs.AI cs.CV cs.LG
Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究展示变换器通过上下文学习可隐式推断动态系统状态,无需梯度更新或系统模型知识,实现高效输出预测。
2026-03-07 cs.LG cs.SY eess.SY
Semantic Variational Bayes Based on Semantic Information G Theory for Solving Latent Variables
Intelligence Engineering and Mathematics Institute, Liaoning Technical University(辽宁工程技术大学智能工程与数学研究所);School of Computer Engineering and Applied Mathematics, Changsha University(长沙大学计算机工程与应用数学学院)
本文提出基于语义信息G理论的语义变分贝叶斯方法,通过优化信息效率比G/R准则,改进了潜在变量概率分布求解的计算效率与准确性,应用于数据压缩与控制任务。
2026-04-30 cs.AI cs.IT cs.LG
Mamba Neural Operator: Who Wins? Transformers vs. State-Space Models for PDEs
Mamba神经算子通过结合状态空间模型的优势,提升了求解PDEs的表达能力和准确性,成为优于Transformer的高效解决方案。
2026-03-11 cs.LG cs.NA math.NA