Orthogonal Self-Attention
正交自注意力
机构 * University of Oxford(牛津大学)
AI总结 本文提出正交自注意力机制,通过正交化注意力矩阵解决SSA的稳定性问题,使无跳过连接和归一化层的Transformer更易训练。
Comments Preprint
高校专区
正交自注意力
机构 * University of Oxford(牛津大学)
AI总结 本文提出正交自注意力机制,通过正交化注意力矩阵解决SSA的稳定性问题,使无跳过连接和归一化层的Transformer更易训练。
Comments Preprint
面向尺度感知可解释性的最坏情况保证
机构 * Principles of Intelligence, USA(智能原理研究所,美国) ; Centre for Theoretical Physics, Queen Mary University of London(理论物理中心,伦敦女王大学) ; Universitat Pompeu Fabra, Barcelona, Spain(庞培法布拉大学,巴塞罗那,西班牙) ; Perimeter Institute for Theoretical Physics, Waterloo ON, Canada(皮尔姆研究所,滑铁卢,加拿大) ; Department of Informatics, University of Sussex(信息学院, Sussex 大学) ; Department of Brain Sciences, Imperial College London(脑科学系,伦敦帝国学院) ; Centre for Eudaimonia and human flourishing, University of Oxford(幸福与人类繁荣中心,牛津大学)
AI总结 本文提出通过物理重整化框架开发具有鲁棒性和忠实性的尺度感知可解释性工具,以提升人工智能的安全性。
VISTA: 通过视觉跟踪偏好优化增强视觉条件化在视觉-语言-动作模型中
机构 * Nvidia(Nvidia公司) ; Microsoft(微软公司) ; University of Oxford(牛津大学)
AI总结 VISTA通过视觉跟踪偏好优化提升视觉条件化,增强VLA模型在视觉-动作对齐和任务性能上的表现。
Comments In submission. Project website: https://vista-vla.github.io/
基于可迁移归一化流的 amortized 模拟
机构 * University of Oxford(牛津大学) ; Université de Montréal(蒙特利尔大学) ; Mila - Quebec AI Institute(魁北克AI研究所) ; Freie Universität Berlin(柏林自由大学) ; Valence Labs(Valence实验室) ; AITHYRA ; Institut Courtois(科特伊研究所)
AI总结 本文提出 Prose,一个基于深度学习的可迁移归一化流,用于高效跨系统分子采样,通过零样本提案实现序列长度的可转移性,并在多种采样算法中表现出竞争力。
Comments Presented at NeurIPS 2025
STACK: 对大语言模型安全防护流水线的对抗攻击
机构 * UK AISI(英国人工智能安全研究所) ; OATML, University of Oxford(OATML,牛津大学)
AI总结 STACK研究通过开发开源防御流水线,发现新型分类器在三种攻击中表现优异,并提出STaged AttaCK方法实现71%攻击成功率,为防御流水线的安全性提供了关键证据。
Comments Add results on other models and datasets
在函数空间上引导扩散采样及其在偏微分方程中的应用
机构 * California Institute of Technology(加州理工学院) ; NVIDIA(英伟达) ; University of Oxford(牛津大学) ; KAIST(韩国科学技术院)
AI总结 本文提出FunDPS框架,通过函数空间扩散模型和引导机制,在极稀疏或噪声数据下有效恢复PDE解,实现32%的准确率提升。
Comments Accepted to NeurIPS 2025