Clustering in Deep Stochastic Transformers
深度随机变换器中的聚类
机构 * New York University(纽约大学) ; Google DeepMind(谷歌DeepMind) ; INRIA(法国国家信息与自动化研究所)
AI总结 深度随机变换器中,初始化噪声导致标记在球面上形成相互作用粒子系统,而非单点聚类,且存在由相互作用强度和维度决定的相变现象。
Comments 24 pages
高校专区
深度随机变换器中的聚类
机构 * New York University(纽约大学) ; Google DeepMind(谷歌DeepMind) ; INRIA(法国国家信息与自动化研究所)
AI总结 深度随机变换器中,初始化噪声导致标记在球面上形成相互作用粒子系统,而非单点聚类,且存在由相互作用强度和维度决定的相变现象。
Comments 24 pages
低秩加稀疏矩阵迁移学习:在增长的表示和环境维度下
机构 * Department of Operations Research & Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系) ; Department of Technology, Operations, & Statistics, New York University(纽约大学技术、运营与统计系) ; Department of Computer Science, Dartmouth College(达特茅斯学院计算机科学系)
AI总结 本文提出了一种在环境维度和表示同时增长下的迁移学习框架,通过低秩和稀疏分解实现高效的目标参数估计,并在理论和实验上验证了其有效性。
知识向量削弱:高效无训练卸载方法用于大视觉-语言模型
机构 * Sogang University(ソガン大学) ; New York University(纽约大学)
AI总结 KVW提出了一种无需训练的高效卸载方法,通过削弱模型中被激活的知识向量,有效防止模型利用有害知识,提升计算效率。
探测大型语言模型的神经拓扑
机构 * Massachusetts Institute of Technology(麻省理工学院) ; New York University(纽约大学) ; Tsinghua University(清华大学) ; Harvard Medical School(哈佛医学院)
AI总结 本研究提出图探测方法,通过分析LLM神经拓扑揭示其语言生成性能,发现拓扑信息比激活信息更丰富,可提升模型效率和可靠性。
我们真的在遗忘吗?对机器遗忘评估协议的批判性重新审视
机构 * Department of Artificial Intelligence, Korea University, South Korea(韩国大学人工智能系) ; Computer Science Dept. at Courant Institute of Mathemtical Sciences, New York University, United States(纽约大学Courant数学科学研究所计算机科学系)
AI总结 本文批判性地重新审视了机器遗忘评估协议,提出了一种大规模场景下的表示基于评估方法,揭示现有方法在表示质量上的不足,并引入新的评估场景以更全面地评估遗忘算法。
Comments Accepted to Engineering Applications of Artificial Intelligence
Journal ref Volume 167, Part 2, 1 March 2026, 113785
蒙特卡洛树扩散用于系统2规划
机构 * New York University(纽约大学)
AI总结 蒙特卡洛树扩散结合扩散模型和MCTS的优势,通过树结构的去噪过程提升规划性能,实验证明其在长时间任务中优于现有方法。
Comments 23 pages, 7 figures, ICML 2025 Spotlight