Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers
Rice University(里士大学);University of Central Florida(中央佛罗里达大学)
本文分析了层次化先决条件传播的电路复杂性,揭示了变换器在深层概念层次上的计算能力,通过证明递归多数掌握传播属于NC^1,并探讨了单调性限制下的深度层次结构,以及经验结果表明变换器在递归多数树上收敛于排列不变的捷径。
2026-03-25 cs.AI cs.LG
Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);State Key laboratory of Space Network and Communications(空间网络与通信国家重点实验室)
本文首次从机制上解释了低精度下Flash Attention导致训练崩溃的原因,揭示了相似低秩表示与有偏舍入误差的恶性循环,并通过最小化修改稳定训练。
2026-06-16 cs.AI cs.LG
MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers
Khulna University of Engineering & Technology (KUET)(库尔纳工程技术大学)
针对现有PTQ方法精度分配低效问题,提出MixFrag框架,通过KL散度估计量化脆弱性并将位分配建模为MCKP,在ImageNet、COCO任务上实现最优混合精度PTQ性能。
2026-07-31 cs.CV cs.LG
Infinite Limits of Multi-head Transformer Dynamics
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Center for Brain Science(脑科学中心);Kempner Institute for the Study of Natural and Artificial Intelligence(坎普纳自然与人工智能研究所);Harvard University(哈佛大学)
本文利用动力学平均场理论分析了 Transformer 在特征学习机制下训练动力学的无限宽度、无限头数和无限深度极限,识别出允许注意力层持续更新的参数化方式,并验证了收敛性及其对所学特征的影响。
2024-10-04 cond-mat.dis-nn cs.LG stat.ML
Algorithmic Task Capture, Computational Complexity, and Inductive Bias of Infinite Transformers
研究定义了变换器在任意任务规模下可控误差和对数样本适应的能力,分析了无限宽度变换器在不同 regime 中的计算复杂性上限,并揭示了变换器在高效多项式时间启发式方案中对高复杂度算法的偏倚。
2026-05-07 cond-mat.dis-nn cs.LG stat.ML
Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't
ETH Zürich(苏黎世联邦理工学院);Allen Institute for AI(人工智能研究所)
本文通过连接布尔电路,系统研究了填充Transformer的表达能力,发现数值精度和模型深度是影响表达能力的主要因素,而注意力类型、模型宽度和均匀性等架构选择对表达能力影响不大。
2026-05-28 cs.AI cs.CC cs.CL
Resource-aware Mixed-precision Quantization for Enhancing Deployability of Transformers for Time-series Forecasting on Embedded FPGAs
Intelligent Embedded Systems Lab, University of Duisburg-Essen(Duisburg-埃森大学智能嵌入式系统实验室)
本文提出面向资源的混合精度量化方法,通过灵活的资源类型选择和BRAM高效利用,解决嵌入式FPGA上整数量化Transformer部署难题,提升模型部署效率和适用性。
2026-04-21 cs.LG
The Expressive Power of Low Precision Softmax Transformers with (Summarized) Chain-of-Thought
Department of Mathematics, University of Tübingen, Germany(图宾根大学数学系)
本文研究了低精度softmax变换器在链式思维中的表达能力,通过构造三元激活和分离注意力分数的硬max变换器来模拟图灵机,从而将构造转换为等效的softmax变换器,并分析了最近提出的总结链式思维范式在模拟图灵机时的效率。
2026-08-10 cs.CC cs.CL cs.LG
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Google(谷歌公司)
本研究提出含Infini-attention的高效方法,通过在Transformer块融合压缩记忆、局部与长期线性注意力,以有限内存和计算实现LLM的无限长输入支持,在多项长上下文任务中验证了有效性并支持快速流式推理。
2024-08-09 cs.AI cs.CL cs.LG
MixDiT: Accelerating Image Diffusion Transformer Inference with Mixed-Precision MX Quantization
Korea Advanced Institute of Science and Technology(韩国科学技术院)
MixDiT通过算法-硬件协同设计,利用混合MX格式对DiT激活值进行选择性量化,并设计专用加速器实现精度灵活的乘法,在保持FID无损的情况下相比RTX 3090获得2.10至5.32倍加速。
2025-04-11 cs.AR cs.LG
How Numerical Precision Affects Arithmetical Reasoning Capabilities of LLMs
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(通用人工智能国家重点实验室,智能科学与技术学院,北京大学);School of EECS, Peking University(电子工程系,北京大学);Huawei Noah’s Ark Lab(华为诺亚实验室);Center for Machine Learning Research, Peking University(机器学习研究中心,北京大学)
本文通过理论分析和实验证明,数值精度是影响大语言模型算术推理能力的关键因素,低精度需超多项式规模才能解决算术任务,而标准精度可高效处理。
2025-06-21 cs.AI cs.CL cs.LG
INT-FP-QSim: Mixed Precision and Formats For Large Language Models and Vision Transformers
Lightmatter Inc.(Lightmatter公司)
本文提出开源模拟器INT-FP-QSim,支持在4-bit权重及4/8-bit激活下评估LLMs和视觉Transformer的多种数值格式,并比较了SmoothQuant、GPTQ等量化方法,以推动低精度模型研究。
2023-07-07 cs.CL cs.CV cs.LG
Learning Accurate Integer Transformer Machine-Translation Models
Xilinx, Inc.(赛灵思公司)
我们描述了一种训练精确的Transformer机器翻译模型的方法,以使用8位整数(INT 8)硬件矩阵乘法器来运行推理,而不是更昂贵的单精度浮点(FP 32)硬件。与以前的工作不同,以前的工作只将85个Transformer矩阵乘法转换为INT 8,由于不可接受的精度损失,其中133个中的48个留在FP 32中,我们将它们全部转换为INT 8而不影响精度。在最新的2014年英语到德语翻译任务测试中,我们的INT 8 Transformer Base和Transformer Big型号的BLEU评分比相应的FP 32型号高99.3%到100%。我们的方法通过在训练过程中自动进行范围-精度权衡,将现有FP 32模型中的所有矩阵乘法张量转换为INT 8张量。为了证明这种方法的鲁棒性,我们还包括从INT 6 Transformer模型的结果。
2020-01-03 cs.CL cs.LG stat.ML
The Shaped Transformer: Attention Models in the Infinite Depth-and-Width Limit
ETH Zurich(苏黎世联邦理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Oxford(牛津大学)
本文提出 shaped Transformer,通过 Softmax 中心化、温度缩放和残差连接,在深宽同比例无限极限下用稳定 SDE 刻画协方差演化并避免秩退化。
2023-12-09 cs.LG stat.ML
A Data-Driven Review of Remote Sensing-Based Data Fusion in Precision Agriculture from Foundational to Transformer-Based Techniques
RF and Communication Technologies (RFCT) Research Laboratory, University of Technology Sydney(悉尼科技大学射频与通信技术研究实验室)
本文系统综述了1994—2024年精准农业中遥感数据融合与Transformer技术进展,比较了多模态融合方法,展示了Transformer在时空建模和异构数据整合上的优势,并提出实施路线图。
2025-09-19 cs.LG
Bitformer: An efficient Transformer with bitwise operation-based attention for Big Data Analytics at low-cost low-precision devices
University of Chinese Academy of Sciences(中国科学院大学);Shanghai Advanced Research Institute, Chinese Academy of Sciences(中国科学院上海高等研究院);Aston Business School, Aston University(阿斯顿大学阿斯顿商学院)
Bitformer通过用按位运算替代浮点矩阵乘法构建新型注意力机制,在保持长程依赖建模能力的同时将复杂度从O(n²d)降至O(n²T),为资源受限的低精度边缘设备提供高效Transformer方案。
2023-11-22 cs.AI cs.LG
Quantization Variation: A New Perspective on Training Transformers with Low-Bit Precision
Hong Kong University of Science and Technology(香港科技大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文揭示了Transformer低比特量化感知训练中的方差行为问题,提出一种方差感知量化方案,在视觉和语言任务上显著提升了2-bit Swin-T和二值化BERT-base的准确率。
2024-10-12 cs.AI cs.CV cs.LG
A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models
本文提出一种轻量级、无需反向传播的替代敏感性分析框架,用于识别混合SSM-Transformer组件对量化退化最敏感的部分,通过KL散度指标提升边缘设备上混合模型的部署效率。
2026-04-15 cs.AI cs.LG
Precise Verification of Transformers through ReLU-Catalyzed Abstraction Refinement
Kyushu University(九州大学);National Institute of Informatics(国家信息研究所)
本文提出一种基于ReLU的变换器验证方法,通过非线性界限提升精度,结合规则和优化方法构建新框架,实验表明在效率可控下显著提升验证精度。
2026-05-14 cs.AI cs.LG
SeVeDo: A Heterogeneous Transformer Accelerator for Low-Bit Inference via Hierarchical Group Quantization and SVD-Guided Mixed Precision
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
SeVeDo通过分层分组量化和SVD引导混合精度,提高低比特推理的能效,实现13.8TOPS/W的峰值能效,优于传统设计。
2026-01-22 cs.AR cs.LG
How Should Transformers Encode Numeric Values in Electronic Health Records?
本研究系统比较了离散、连续和混合数值编码策略在合成算术任务和真实临床预测任务中的表现,发现混合令牌方法在精度与鲁棒性间取得最佳平衡,并提出基于数据集大小的经验幂律确定最优分箱数。
2026-10-26 cs.AI cs.LG
Folded Context Condensation in Path Integral Formalism for Infinite Context Transformers
Hyntel, Inc.(Hyntel公司)
本文在路径积分形式体系下重新解释Transformer核心机制,将注意力机制转化为转移路径积分并压缩上下文为记忆片段循环处理,实现线性内存扩展和长期信息保留。
2025-05-01 cs.AI cs.CL cs.LG
BiT: Robustly Binarized Multi-distilled Transformer
Reality Labs, Meta Inc.(Meta公司现实实验室);Meta AI;Peking University(北京大学)
现代预训练的Transformers已经迅速推进了机器学习的最新技术,但参数和计算复杂性也在增长,使得它们越来越难以在资源受限的环境中部署。网络的权重和激活的二进制化可以显着缓解这些问题,然而,从优化的角度来看,这在技术上是具有挑战性的。在这项工作中,我们确定了一系列的改进,使二进制Transformers在一个更高的精度比以前可能。其中包括两组二进制化方案,一种新的弹性二进制激活函数与学习参数,和一种方法,通过连续提取高精度模型到低精度的学生,将网络扩展到其极限。这些方法首次允许完全二进制化的Transformer模型达到实用的精度水平,在GLUE语言理解基准测试中接近全精度BERT基线,误差仅为5.9%。代码和模型可在https://github.com/facebookresearch/bit上获得。
2022-10-02 cs.CL cs.LG
Pause Tokens Strictly Increase the Expressivity of Constant-Depth Transformers
Department of Computer Science University of Oxford(计算机科学系牛津大学)
本文首次从理论上证明,向常数深度且对数宽度的Transformer中添加pause tokens能严格增加其计算表达能力,并在有界和对数精度下分别达到表达$\mathsf{AC}^0$和$\mathsf{TC}^0$的能力,且实验证实其能使两层Transformer学会奇偶性。
2025-05-27 cs.CL cs.LG
A Study of Quantisation-aware Training on Time Series Transformer Models for Resource-constrained FPGAs
University of Duisburg-Essen(杜伊斯堡-埃森大学)
针对资源受限 FPGA 上的时间序列 Transformer,本文提出在 QAT 中按数据分布自适应选择对称或非对称量化,以低精度混合量化降低开销并保持精度。
2023-10-04 cs.AI cs.AR cs.LG
Gaussian Process Limit Reveals Structural Benefits of Graph Transformers
本文通过高斯过程极限分析,揭示图变换器在节点级预测任务中优于图卷积网络的结构优势,证明其能保留社区信息并防止过平滑。
2026-03-18 cs.LG stat.ML
Chain of Thought Empowers Transformers to Solve Inherently Serial Problems
Stanford University(斯坦福大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Google(谷歌)
本文从理论上证明思维链(CoT)能赋予低深度Transformer执行内在串行计算的能力,使其突破常数深度并行计算的表达能力上界,并在实验中显著提升了置换群复合等串行任务的准确率。
2024-09-21 cs.CC cs.LG stat.ML
Quantitative Bounds for Length Generalization in Transformers
NEC Labs America(NEC美国实验室);Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校)
首次为Transformer的长度泛化提供了训练长度的定量界限,证明在多种设置下,当模型在长序列上的内部行为可被短序列行为模拟时即可实现泛化,并经实验验证。
2025-10-30 cs.LG stat.ML
Stochastic Rounding in Low-Precision Transformer Inference: A Variable-Precision Emulation Study of a Small GPT-2
Krembil Centre for Neuroinformatics(克雷姆比尔神经信息学中心);Centre for Addiction and Mental Health(成瘾与心理健康中心);Université Paris-Saclay(巴黎萨克雷大学);UVSQ(凡尔赛大学)
本研究通过可变精度模拟,发现低精度Transformer推理中随机舍入与就近舍入的效果取决于网络位置,混合配置可显著降低困惑度。
2026-10-09 cs.CL cs.LG
ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals
KAIST(韩国科学技术院);Yonsei University(延世大学);Seoul National University(首尔国立大学)
提出ResidualQuant,利用循环Transformer跨循环KV状态相似性,以最终循环为参考量化残差,结合缩放旋转和混合精度,在INT2下保持精度,减少KV存储80.7%,吞吐量提升显著。
2026-10-30 cs.LG
Towards Infinite-Long Prefix in Transformer
The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);University of California, Berkeley(加州大学伯克利分校);Sun Yat-sen University(中山大学)
针对 Prefix Learning 理论理解有限的问题,本文基于 NTK 框架为超长前缀训练提供收敛保证,并设计仅需少量额外参数即可近似无限长前缀注意力的算法,在多领域实验中表现优异。
2024-10-16 cs.AI cs.CL cs.LG
Tighter Bounds on the Expressivity of Transformer Encoders
University of Notre Dame(圣母大学)
本研究通过识别一种带计数量词的一阶逻辑变体,同时作为固定精度 Transformer 编码器的上界和 Transformer 编码器的下界,从而更精确地刻画了 Transformer 编码器可识别的语言类别。
2023-11-13 cs.FL cs.LG cs.LO
Infinite-Precision Autoregressive Modeling for Vector Graphics and Layouts
Seoul National University(首尔国立大学);Samsung Electronics(三星电子)
AGDC通过联合建模离散和连续值,实现变长序列的高精度生成,适用于半导体设计等高精度领域。
2026-07-28 cs.AI cs.CV cs.LG
ASTRA: Communication-Efficient Acceleration for Multi-Device Transformer Inference
Manning College of Information and Computer Sciences, University of Massachusetts Amherst, MA, US(信息与计算机科学学院,马萨诸塞大学阿默斯特分校,马萨诸塞州,美国);Amazon, Seattle, WA, US(亚马逊,华盛顿州西雅图,美国);Amazon AWS, Washington, D.C., US(亚马逊AWS,华盛顿特区,美国)
提出ASTRA框架,通过序列并行与混合精度注意力机制,在低带宽环境下实现高效多设备Transformer推理,显著加速并保持精度。
2026-05-27 cs.AI cs.LG
Neural Machine Translation with 4-Bit Precision and Beyond
University of Edinburgh(爱丁堡大学)
神经机器翻译(NMT)是资源密集型的。我们设计了一个量化过程,以压缩NMT模型更好地为有限的硬件能力的设备。由于大多数神经网络参数接近于零,我们采用对数量化代替定点量化。然而,我们发现偏置项不太适合对数量化,但注意到它们只占模型的一小部分,因此我们将其保留为未压缩。我们还建议在重新训练过程中使用错误反馈机制,以将压缩模型作为陈旧梯度保留。我们的经验表明,基于Transformer或RNN架构的NMT模型可以压缩到4位精度,而不会出现任何明显的质量下降。模型可以被压缩到二进制精度,尽管质量较低。与Transformer相比,RNN架构似乎对量化更鲁棒。
2019-09-20 cs.CL cs.LG
DrivAer Transformer: A high-precision and fast prediction method for vehicle aerodynamic drag coefficient based on the DrivAerNet++ dataset
Hubei Key Laboratory of Advanced Technology of Automotive Parts, Wuhan University of Technology, Wuhan, China(湖北汽车零部件先进技术重点实验室,武汉理工大学,中国武汉);Wuhan National Laboratory for Optoelectronic, Huazhong University of Science(武汉光电国家实验室,华中科技大学)
本文提出DrivAer Transformer(DAT)点云学习框架,基于DrivAerNet++高保真CFD数据集直接从3D网格快速、高精度预测车辆气动阻力系数,推动数据驱动的汽车气动设计。
2025-06-21 cs.LG
AgroSense 2.0: Cross-Modal Transformer Fusion with Geospatial Raster Integration and Interpretable Multi-Task Learning for Precision Crop Recommendation
Research Engineer London, UK(英国伦敦研究工程师);Independent Researcher Kolkata, IN(印度加尔各答独立研究员);Centre for Development of Telematics(电信发展中心)
提出AgroSense 2.0,通过跨模态Transformer融合、地理空间栅格集成和多任务学习,解决精准农业中作物推荐系统的模态鸿沟问题,实现可解释的作物推荐。
2026-06-23 cs.CV cs.LG
BEHRT: Transformer for Electronic Health Records
University of Oxford(牛津大学);Oxford Martin School(牛津马丁学院)
今天,尽管医学发展了几十年,人们对精准医疗的兴趣也越来越大,但绝大多数诊断都是在患者开始出现明显的疾病迹象时进行的。然而,疾病的早期指示和检测可以为患者和护理人员提供早期干预、更好的疾病管理和有效分配医疗资源的机会。机器学习(更具体地说,深度学习)的最新发展为解决这一未满足的需求提供了一个很好的机会。在这项研究中,我们介绍了BEHRT:一种用于EHR(电子健康记录)的深度神经序列转导模型,能够进行多任务预测和疾病轨迹映射。在对来自近160万人的数据进行训练和评估时,BEHRT在平均精度得分方面显示出8.0- 10.8%的惊人绝对提高,与现有的最先进的深度EHR模型相比(在平均精度方面,预测301种疾病的发作时)。除了其卓越的预测能力外,BEHRT还通过其注意力机制提供了疾病轨迹的个性化视图;其灵活的架构使其能够整合多个异构概念(例如,诊断,药物治疗,测量等),以提高其预测的准确性;其(预)训练结果可以帮助我们更接近可解释的预测。
2019-07-22 cs.LG stat.ML
LAMP: Look-Ahead Mixed-Precision Inference of Large Language Models
Faculty of Mathematics University of Vienna(维也纳大学数学系);Huawei Technologies(华为技术)
本文提出了一种前瞻性混合精度推理方法,通过选择性提高部分组件的计算精度,提升Transformer推理的准确性,实验证明在GPT-2模型上精度提升达两个数量级。
2026-11-06 cs.LG cs.NA math.NA
Instance-Aware Group Quantization for Vision Transformers
Yonsei University(延世大学);Articron(阿蒂克龙)
本文提出IGQ-ViT方法,通过实例感知的动态通道分组量化激活和softmax注意力,并在BOP约束下调整组数,以解决ViTs训练后量化性能下降问题。
2024-04-01 cs.CV cs.LG
Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
本文将RoPE重新解释为相位调制,推导出长上下文Transformer中RoPE基础的理论界限,揭示了位置一致性、精度和深度对模型性能的影响。
2026-02-11 cs.AI cs.CL cs.LG
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock(阿拉巴马州立大学)
本文提出一种结合语义相似度过滤机制的混合Transformer模型,以增强Legal-BERT在法律实体识别中的准确率,在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
Transformers in Uniform TC$^0$
University of Notre Dame(圣母大学)
本文证明无需近似的AHATs及具有多项式位精度或极小绝对误差的SMATs均属于DLOGTIME-uniform TC$^0$,改进了此前依赖有限精度假设的电路复杂度上界结果。
2025-01-02 cs.CC cs.FL cs.LG
Brep2Shape: Boundary and Shape Representation Alignment via Self-Supervised Transformers
School of Software, BNRist, Tsinghua University(清华大学软件学院)
提出Brep2Shape自监督预训练方法,利用双Transformer骨干和拓扑注意力对齐B-rep的抽象边界表示与直观形状表示,在多项下游任务中达到最优精度并加速收敛。
2026-06-17 cs.AI cs.LG
TTS-Q: Speaker-Aware Post-Training Quantization of Text-to-Speech Diffusion Transformers
本文针对TTS扩散Transformer的后训练量化问题,提出感知引导的TTS-Q方法,通过混合精度调度恢复4位量化后的音色,同时降低GPU内存,为资源受限的TTS部署提供参考。
2026-10-21 cs.LG cs.SD eess.AS
Length Generalization Bounds for Transformers
University of Cambridge(剑桥大学)
本文证明C-RASP(与Transformer紧密相关的语言类)不存在可计算的长度泛化界,但为正片段(等价于固定精度Transformer)提供了可计算的指数级最优界。
2026-05-31 cs.FL cs.LG cs.LO
Landmark Attention: Random-Access Infinite Context Length for Transformers
EPFL(洛桑联邦理工学院)
提出Landmark Attention方法,通过landmark token表示输入块并直接利用注意力机制检索相关块,在保留随机访问灵活性的同时支持无限上下文长度,微调LLaMA 7B将上下文扩展至32k tokens。
2023-11-20 cs.CL cs.LG
GPU-Accelerated Optimization of Transformer-Based Neural Networks for Real-Time Inference
本文提出了一种基于NVIDIA TensorRT的GPU加速推理管道,通过混合精度优化提升BERT和GPT-2的性能,实现高达64.4倍的速度提升和内存使用减少63%。
2026-03-30 cs.DC cs.LG
Comparison of different Unique hard attention transformer models by the formal languages they can recognize
Leonid Ryvkin(独立研究者)
本文综述了不同唯一硬注意力Transformer编码器识别形式语言的能力,比较了掩码、图像和注意力评分函数等设置,并给出逻辑与电路复杂度方面的上下界。
2025-06-03 cs.CL cs.FL cs.LG
Pretraining Transformers with Quantized Softmax in Attention
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究探讨预训练中注意力softmax的量化近似,通过K区间注意力分析校准与代理位置的影响,发现固定窗口校准和归一化后代理可最小化验证损失差距。
2026-10-19 cs.LG
MLoRQ: Bridging Low-Rank and Quantization for Transformer Compression
Sony Semiconductor Israel(索尼半导体以色列)
本文提出MLoRQ方法,通过两阶段优化为Transformer各层分配低秩和量化参数,在内存限制下实现最优压缩,性能提升达15%。
2025-07-13 cs.CV cs.LG
Of Good Demons and Bad Angels: Guaranteeing Safe Control under Finite Precision
Karlsruhe Institute of Technology(卡尔斯鲁厄理工大学)
针对神经网络控制信息物理系统的无限时间域安全验证未考虑有限精度舍入误差的问题,提出基于善魔恶天使混合博弈的鲁棒性形式化证明方法,结合混合精度定点调谐器实现端到端安全保证,经汽车与航空案例验证有效。
2025-07-30 cs.AI cs.LG cs.LO
A Compositional Theory of Causally Masked Transformers
ETH Zürich(苏黎世联邦理工学院)
该研究提出代数形式化方法推导因果掩码有限精度变换器的表达能力,结合数值语义与半群分类,明确不同注意力机制对应的记忆类型及表达边界,且边界均为紧的。
2026-07-30 cs.FL cs.LG
On the Computational Power of RNNs
最近的神经网络架构,如基本递归神经网络(RNN)和门控递归单元(GRU),已经成为自然语言处理任务的端到端学习架构。但是这种系统的计算能力是什么呢?我们证明了具有一个隐藏层和ReLU激活的有限精度RNN和有限精度GRU在计算上与确定性有限自动机一样强大。在允许任意精度的情况下,我们证明了具有一个隐藏层和ReLU激活的RNN至少与下推自动机一样强大。如果我们也允许无限的精度,无限的边缘权重,和非线性输出激活函数,我们证明了GRU至少是计算功能强大的下推自动机。所有结果都是建设性的。
2019-06-19 cs.CL cs.LG