High-Dimensional Learning Dynamics of Attention-Indexed Models
注意力索引模型的高维学习动力学
机构 * École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
AI总结 该研究探究注意力索引模型的高维学习动力学,分析其损失景观、SGD的矩阵矩近似机制,揭示注意力参数化的隐式偏置,明确绑定与非绑定注意力的弱恢复特性及快慢演化机制。
高校专区
注意力索引模型的高维学习动力学
机构 * École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
AI总结 该研究探究注意力索引模型的高维学习动力学,分析其损失景观、SGD的矩阵矩近似机制,揭示注意力参数化的隐式偏置,明确绑定与非绑定注意力的弱恢复特性及快慢演化机制。
ScoreMix:基于扩散模型中分数组合的合成数据生成可提升识别性能
机构 * EPFL(苏黎世联邦理工学院) ; Idiap(日内瓦智能感知研究院)
AI总结 ScoreMix是一种无需外部资源的自包含合成数据生成方法,通过混合扩散模型的类条件分数生成样本,在8个人脸识别基准上无需超参数搜索即可将准确率提升多达7个百分点。
Comments ICML 2026
Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)
从拓扑学习到图生成:一个统一视角
机构 * University of Oxford(牛津大学) ; The Chinese University of Hong Kong(香港中文大学) ; Shanghai Jiao Tong University(上海交通大学) ; University College London(伦敦大学学院) ; EPFL(洛桑联邦理工学院)
AI总结 本综述提出统一框架,将图拓扑学习与图生成视为图数据共同生成过程的逆问题,综述相关方法并指出跨范式整合机遇,为该领域提供跨学科视角并勾勒未来研究方向。
有色高斯图模型的最大似然阈值的计算方法
机构 * Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学(巴塞罗那科技大学)) ; Aalto University(阿尔托大学) ; Max Planck Institute of Biochemistry(马克斯·普朗克生物化学研究所) ; Munich Center for Machine Learning(慕尼黑机器学习中心) ; École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
AI总结 本文针对有色高斯图模型,建立统一理论框架并引入符号算法,结合拓扑数据分析开展计算研究,以解决其最大似然阈值的计算问题,突破传统方法的计算瓶颈。
Comments 30 pages, comments welcome!
可证明安全的仿真到现实迁移
机构 * EPFL(洛桑联邦理工学院)
AI总结 该研究针对安全仿真到现实迁移问题,在无奖励安全强化学习框架下设计高效算法,可减少现实交互并保证安全探索,还能计算接近最优的可行策略,刻画了仿真器的益处。
通用语还是探测 artifact?重新思考多语言大语言模型中的潜在语言
机构 * EPFL(洛桑联邦理工学院)
AI总结 该研究探究多语言大语言模型中不同潜在语言探测的差异,发现两类探测结果分歧,提示需谨慎解读潜在语言识别,其揭示多语言处理的不同方面而非单一内部通用语。
Comments Accepted to EMNLP 2026 Findings
高维线性分类中一致对抗攻击存在的存在性研究
机构 * Information Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(信息学习与物理实验室,瑞士联邦理工学院(EPFL)) ; Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(计算统计物理实验室,瑞士联邦理工学院(EPFL)) ; Département d’Informatique, École Normale Supérieure - PSL & CNRS, France(信息学系,法国高等科学研究院(PSL)与国家科学研究中心(CNRS))
AI总结 本文研究高维二分类中对抗攻击与模型表达能力有限导致的误分类区别,提出新的误差度量标准,揭示模型对保持真实标签扰动的脆弱性,理论分析显示模型越过度参数化,对标签保持扰动的敏感性越高。
Journal ref ICML 2026
Polis:城市规模的3D自监督学习
机构 * École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
AI总结 研究针对城市规模3D场景设计的Polis,结合SIGReg等技术,在14个城市与建筑规模基准上,提升了语义表示性能,同时展现了该领域自监督学习专业化的局限。
带水印和掩码的递归离散分布估计的极小极大界
机构 * School of Computer and Communication Sciences, EPFL(EPFL计算机与通信科学学院)
AI总结 本研究探究带水印的递归离散分布估计的极小极大损失,提出掩码缩小损失差距,推测更严格下界可消除剩余差距。
Comments Shorter version to be published at the IEEE Information Theory Workshop 2026
注意力折扣自适应采样器用于掩码扩散语言模型
机构 * University of Bern(伯尔尼大学) ; EPFL(瑞士联邦理工学院洛桑分校)
AI总结 针对掩码扩散语言模型并行解码中候选词交互导致的不安全问题,提出训练无关的重排序规则ADAS,通过注意力折扣软惩罚改进子集构建,在多个基准上提升低NFE性能。
PERK:长上下文推理作为参数高效测试时学习
机构 * EPFL(瑞士联邦理工学院)
AI总结 PERK通过参数高效测试时学习方法,实现对长上下文的高效推理,显著提升模型性能。
Comments ICLR 2026, 10 pages, 7 figures, test-time learning, long context, meta-learning
Journal ref The Fourteenth International Conference on Learning Representations, 2026
REC中对比学习的合适嵌入空间是什么?
机构 * Stony Brook University(斯通布鲁克大学) ; EPFL(苏黎世联邦理工学院)
AI总结 该研究针对REC任务现有对比学习策略的局限,提出视觉嵌入空间的C-REX框架,作为即插即用模块提升REC及类别无关计数任务性能,在REC上MAE最高提升28%、RMSE提升24.5%。
Comments ECCV 2026 (15 pages, 4 figures)
CultureConverse:面向东亚与东南亚文化适配助手的多语言多轮模拟工具包
机构 * Singapore University of Technology and Design (SUTD)(新加坡科技设计大学) ; Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局) ; École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院) ; Microsoft Research Asia (MSRA)(微软亚洲研究院) ; Sungkyunkwan University (SKKU)(成均馆大学) ; Universiti Brunei Darussalam (UBD)(文莱大学) ; China University of Petroleum (East China)(中国石油大学(华东)) ; Nanyang Technological University (NTU)(南洋理工大学) ; Kyoto University(京都大学) ; Konkuk University(建国大学) ; Upstage AI
AI总结 本研究推出CultureConverse多语言多轮模拟工具包,构建含14610个基准回合的数据集,评估18个模型发现GPT-5 mini表现最优,微调后模型在文化相关任务上性能提升。
Comments EMNLP 2026
采用未校准传感器的概率多机器人气源定位:一种分布式估计方法
机构 * Distributed Intelligent Systems and Algorithms Laboratory(分布式智能系统与算法实验室) ; School of Architecture, Civil and Environmental Engineering(建筑、土木与环境工程学院) ; École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
AI总结 本文针对多机器人异构传感器未校准的气源定位问题,提出分布式概率框架,结合秩特征与专家乘积融合,并引入信息区域分配策略,经仿真验证其性能优于基准方法。
Comments 14 pages, 6 figures, accepted by The 18th International Symposium on Distributed Autonomous Robotic Systems (DARS)
报告监督
机构 * Johns Hopkins University(约翰斯·霍普金斯大学) ; University Hospital Basel(巴塞尔大学医院) ; Stanford University(斯坦福大学) ; University of California, San Francisco(加利福尼亚大学旧金山分校) ; Italian Institute of Technology(意大利技术研究院) ; University of Bologna(博洛尼亚大学) ; École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院) ; Johns Hopkins Medicine(约翰斯·霍普金斯医疗集团)
AI总结 本研究提出报告监督(R-Super)框架,利用大量放射学报告补充稀缺的肿瘤掩码训练数据,在肾脏和胰腺肿瘤分割任务上显著提升了AI的检测与分割性能。
Comments Published in Medical Image Analysis, 2026
欧几里得傅里叶神经算子
机构 * Institute of Mathematics(数学研究所) ; Institute of Materials(材料研究所) ; École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
AI总结 该研究针对傅里叶神经算子跨域迁移能力差的问题,提出域无关的欧几里得傅里叶神经算子,经热方程和材料科学任务验证,可泛化到未见过的网格尺寸与域。
Diff Mining:对数差揭示微调目标
机构 * EPFL(洛桑联邦理工学院) ; ENS Paris-Saclay(巴黎萨克雷高等师范学校) ; Université Paris-Saclay(巴黎萨克雷大学) ; MATS
AI总结 提出Diff Mining框架,通过对比微调模型与基础模型的对数来识别微调目标,在微调领域检测、偏见识别等任务上优于现有方法,可用于开发微调审计工具。
Comments 37 pages, 7 figures. ICLR 2026 Workshop: Principled Design for Trustworthy AI. Code available at https://github.com/science-of-finetuning/diffing-toolkit
NEvo: 神经引导的动态视觉选择性视频合成
机构 * EPFL(苏黎世联邦理工学院) ; Johns Hopkins University(约翰霍普金斯大学)
AI总结 提出神经引导视频合成框架NEvo,通过进化搜索优化视频刺激以激活目标脑区,揭示视觉皮层动态选择性,并发现侧流对社会动态特征的敏感性。
Comments 10 pages, 6 figures
基于机器学习的咳嗽模型为何无法泛化:结核病筛查的跨数据集系统评估
机构 * École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院) ; Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心) ; University of the Basque Country (EHU)(巴斯克大学)
AI总结 本研究通过跨数据集评估发现,基于机器学习的咳嗽结核病分类器泛化能力差,采集设备等数据相关变异性是主因,强调其临床应用前需外部验证。
OpenCVL:用于细粒度跨视角定位的开放、多样且大规模数据集
机构 * École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院) ; Southern University of Science and Technology (SUSTech)(南方科技大学) ; Delft University of Technology(代尔夫特理工大学) ; Zenseact(Zenseact公司)
AI总结 针对现有CVL数据集的多样性与可扩展性不足问题,本文构建了含617388组图像对的OpenCVL数据集,开发数据整理框架处理野外数据,实验证实融入有噪声野外数据可提升CVL模型性能。
SkyDrive:从空中交通监测学习在新城市中驾驶
机构 * École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
AI总结 本研究提出SkyDrive框架,利用无人机交通监测为自动驾驶智能体提供监督,提取65万驾驶样本构建基准,可缓解跨城市领域差距,是适配新城市自动驾驶的高效可扩展数据源。
TokEval:一个分词器评估套件
机构 * EPFL(洛桑联邦理工学院)
AI总结 本研究推出TokEval框架,通过信息论、结构敏感等指标评估分词器,经实验验证其可预测下游模型性能,助力更原则性的分词器评估。
Comments Published as a conference paper at COLM 2026; Library hosted at https://github.com/cimeister/tokenizer-intrinsic-evals
用于2型糖尿病(T2DM)可解释疾病轨迹的结构化因子隐马尔可夫模型(FHMM)
机构 * Swiss Data Science Center (SDSC)(瑞士数据科学中心(SDSC)) ; Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院) ; ETH Zürich(苏黎世联邦理工学院) ; Institute of Pharmaceutical Sciences(药学院)
AI总结 本研究提出结构化FHMM模型,用于分析T2DM患者疾病轨迹,通过IQVIA EHR数据验证,可识别临床相关潜在组件及异质性进展通路,为T2DM演变提供可解释见解。
基于模型的学习在POMDPs中近最优有限窗口策略
机构 * SYCAMORE group, Institute of Mechanical Engineering, EPFL(SYCAMORE小组,机械工程研究所,瑞士洛桑联邦理工学院)
AI总结 研究基于模型的学习在POMDPs中有限窗口策略的近最优性,通过分析样本复杂性,提出高效的模型估计方法,结合价值迭代获得近最优策略。
Comments full version of CDC'26 paper
基于模式坐标扩散映射的时空服装重建
机构 * CVLab, École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院(EPFL)计算机视觉实验室) ; Mohamed bin Zayed University of Artificial Intelligence(马尔代夫人工智能大学) ; Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系) ; Pinscreen and Mohamed bin Zayed University of Artificial Intelligence(Pinscreen和马尔代夫人工智能大学)
AI总结 本文提出了一种基于模式坐标扩散映射的时空服装重建方法,结合隐式缝合模式与生成扩散模型,实现高保真3D服装重建,适用于虚拟试穿和动画等领域。
Comments arXiv admin note: text overlap with arXiv:2504.08353
机构 * EPFL(洛桑联邦理工学院) ; Logitech Europe S.A.(罗技欧洲公司)
Comments 2021 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
基于Next-Scale Transformer的人脸真实感新视角合成
机构 * École polytechnique fédérale de Lausanne(洛桑联邦理工学院) ; Meta
AI总结 本研究将next-scale自回归范式适配人脸新视角合成,结合Transformer模型实现高保真多视角人脸3D模型生成,较扩散模型需更少专用训练数据,提升了感知与跨视角一致性。
用大型语言模型(LLM)增强遗传网表生成
机构 * Sony AI(索尼人工智能) ; EPFL(洛桑联邦理工学院) ; Sony Semiconductor Solutions(索尼半导体解决方案公司) ; TU Munich(慕尼黑工业大学)
AI总结 该研究提出混合合成框架LLM-SPICEMixer,将遗传网表生成与IGEL结合,在Iris分类任务中,相比无LLM引导的遗传框架,提升了多项性能指标。
Comments Accepted for MLCAD 2026, Extended Version
自然语言处理在塞内加尔语言社会科学研究中的机遇与挑战
机构 * Polytechnic School (ESP)(多科技术校) ; Gaston Berger University (UGB)(加斯顿-伯杰大学) ; Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院)
AI总结 本文探讨了自然语言处理在塞内加尔六种语言社会科学研究中的机遇与挑战,提出构建可持续的NLP生态系统,强调伦理治理与跨学科合作。
Comments 45 pages, 8 figures
VibrantLeaves: 一种基于原理的参数图像生成器用于训练深度恢复模型
机构 * School of Computer and Communication Sciences, EPFL(EPFL计算机与通信科学学院) ; LTCI, Télécom Paris Institut Polytechnique de Paris(巴黎电信理工学院LTCI)
AI总结 VibrantLeaves通过几何建模、纹理和图像获取建模生成合成图像,提升深度恢复模型的训练效果和鲁棒性。