New York University（纽约大学）

From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers

从捷径到归纳头：数据多样性如何影响Transformer中的算法选择

Ryotaro Kawata, Yujin Song, Alberto Bietti, Naoki Nishikawa, Taiji Suzuki, Samuel Vaiter, Denny Wu

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Flatiron Institute（Flatiron研究所） ； CNRS（法国国家科学研究中心） ； Université Côte d’Azur（蔚蓝海岸大学） ； New York University（纽约大学） 纠错

AI总结 本研究探讨了数据多样性如何影响Transformer算法选择，证明输入多样性可使模型实现归纳头并泛化，而低多样性则导致位置捷径失效，同时揭示了预训练上下文长度与泛化能力的权衡。

Comments NeurIPS 2025

Disentangled representations via score-based variational autoencoders

通过基于分数的变分自编码器实现解耦表示

Benjamin S. H. Lyo, Eero P. Simoncelli, Cristina Savin

机构 * Center for Neural Science, New York University（纽约大学神经科学中心） ； Center for Computational Neuroscience, Flatiron Institute（Flatiron研究所计算神经科学中心） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

AI总结 SAMI通过结合扩散模型和VAEs的理论框架，实现无监督表示学习，能够从数据中提取有意义的结构信息，并在无需监督标签的情况下识别语义轴。

Comments 34 pages, 7 figures

MoE-TransMov: A Transformer-based Model for Next POI Prediction in Familiar & Unfamiliar Movements

MoE-TransMov：一种基于Transformer的模型，用于熟悉与不熟悉移动中的下一个POI预测

Ruichen Tan, Jiawei Xue, Kota Tsubouchi, Takahiro Yabe, Satish V. Ukkusuri

机构 * Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, IN, USA（普渡大学土木与建设工程学院） ； LY Corporation, Tokyo, Japan（东京LY公司） ； Tandon School of Engineering, New York University, New York, NY, USA（纽约大学塔能工程学院） 纠错

AI总结 MoE-TransMov通过混合专家架构和自适应门控网络，提升不同移动情境下的POI预测准确率，优化推荐系统个性化

Comments 30 pages, 4 figures, 5 tables

LLM-as-a-Prophet: Understanding Predictive Intelligence with Prophet Arena

LLM-as-a-Prophet: 通过Prophet Arena理解预测智能

Qingchuan Yang, Simon Mahns, Sida Li, Anri Gu, Jibang Wu, Haifeng Xu

机构 * University of Southern California（南加州大学） ； Meta ； The University of Chicago（芝加哥大学） ； New York University（纽约大学） 纠错

AI总结 本文通过Prophet Arena评估了LLMs在预测任务中的表现，揭示了其预测能力及存在的瓶颈。

Comments https://www.prophetarena.co/

A Reinforcement Learning Environment for Automatic Code Optimization in the MLIR Compiler

为MLIR编译器自动代码优化设计的一种强化学习环境

Mohammed Tirichine, Nassim Ameur, Nazim Bendib, Iheb Nassim Aouadj, Bouchama Djad, Rafik Bouloudene, Riyadh Baghdadi

机构 * New York University Abu Dhabi（纽约大学阿布扎赫尔分校） ； ESI（埃斯国际研究所） ； USTHB（阿尔及利亚国家技术与高等理工学院） 纠错

AI总结 本文提出MLIR RL，一种为MLIR编译器设计的强化学习环境，用于自动代码优化，通过多离散动作空间和level pointers方法提升策略学习效率。