ICML

Statistical benchmarking of transformer models in low signal-to-noise time-series forecasting

在低信噪比时间序列预测中对变换器模型进行统计基准测试

Cyril Garcia, Guillaume Remy

机构 * Cyril Garcia ； Guillaume Remy 纠错

AI总结 本文提出了一种在低信噪比时间序列预测中表现更优的双向注意力变换器，并引入了动态稀疏化方法以提升模型在噪声环境下的性能。

Comments Submitted to ICML

Circuit Fingerprints: How Answer Tokens Encode Their Geometrical Path

电路指纹：答案标记如何编码其几何路径

Andres Saurez, Neha Sengar, Dongsoo Har

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

AI总结 通过几何对齐实现电路发现，揭示transformer电路本质上是几何结构，实现可控引导并提升情感分类准确率。

Comments Submitted to ICML 2026. 15 pages, 11 figures

Why Linear Interpretability Works: Invariant Subspaces as a Result of Architectural Constraints

为何线性可解释性有效：架构约束下的不变子空间

Andres Saurez, Yousung Lee, Dongsoo Har

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

AI总结 本文提出不变子空间必要性定理，揭示Transformer架构约束下线性可解释性方法有效的原因，统一了线性探针和稀疏自编码器。

Comments Submitted to ICML 2026. 19 pages, 13 figures

What do Geometric Hallucination Detection Metrics Actually Measure?

几何幻觉检测度量实际上测量什么？

Eric Yeats, John Buckheit, Sarah Scullen, Brendan Kennedy, Loc Truong, Davis Brown, Bill Kay, Cliff Joslyn, Tegan Emerson, Michael J. Henry, John Emanuello, Henry Kvinge

机构 * Pacific Northwest National Laboratory（太平洋西北国家实验室） ； University of Washington（华盛顿大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Colorado State University（科罗拉多州立大学） ； University of Texas, El Paso（德克萨斯大学埃尔帕索分校） ； Laboratory for Advanced Cybersecurity Research, National Security Agency（国家安全局高级网络安全研究实验室） 纠错

AI总结 本文研究几何统计在检测幻觉中的作用，通过合成数据集分析不同属性对幻觉检测的影响，并提出归一化方法提升多领域检测性能。

Comments Published at the 2025 ICML Workshop on Reliable and Responsible Foundation Models

Universal Neural Optimal Transport

通用神经最优传输

Jonathan Geuter, Gregor Kornhardt, Ingimar Tomasson, Vaios Laschos

机构 * Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保罗森工程与应用科学学院） ； Kempner Institute at Harvard University（哈佛大学凯门研究所） ； Weierstrass Institute, Berlin, Germany（魏尔斯特拉斯研究所） 纠错

AI总结 UNOT通过傅里叶神经算子和对抗训练，实现高效准确的最优传输距离和计划预测，并在Wasserstein空间几何和Sinkhorn算法初始化中表现出色。

Comments 37 pages, 19 figures, accepted to ICML 2025

Journal ref Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:19196-19232, 2025