TMLR

Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models

Transformer幅度表示中的韦伯定律：高效编码、表示几何与语言模型中的心理物理定律

Jon-Paul Cacioli

机构 * Independent Researcher（独立研究员） 纠错

AI总结 研究探讨了Transformer语言模型如何表示幅度，发现其表示几何具有对数压缩特性，但该几何与行为表现无关，且因果干预揭示了不同层的处理差异。

Comments 18 pages, 7 figures, 5 tables. Pre-registered on OSF. Submitted to TMLR

Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients

优势塑造作为替代奖励最大化：统一Pass@K策略梯度

Christos Thrampoulidis, Sadegh Mahdavi, Wenlong Deng

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

AI总结 本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。

Comments v3: Camera-ready version (TMLR)

KASPER: Kolmogorov Arnold Networks for Stock Prediction and Explainable Regimes

KASPER：用于股票预测和可解释性市场的 Kolmogorov-Arnold 网络

Vidhi Oad, Param Pathak, Nouhaila Innan, Shalini D, Muhammad Shafique

机构 * Vishwakarma Government Engineering College（维斯瓦卡罗马工程学院） ； QuantumAI Lab, Fractal Analytics（量子AI实验室，Fractal Analytics） ； eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)（eBRAIN实验室，工程系，纽约大学阿布扎比分校（NYUAD）） ； Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute（量子与拓扑系统中心（CQTS），NYUAD研究机构） 纠错

AI总结 KASPER 结合了市场状态检测、稀疏样条函数建模和符号规则提取，通过 Gumbel-Softmax 机制识别隐藏市场条件，实现可解释的股票预测，实测结果显示其在 R²、夏普比率和均方误差上均优于现有方法。

Comments 11 pages, 7 figures, 3 tables

Journal ref Transactions on Machine Learning Research, 2026, https://openreview.net/forum?id=PD4jGJQtL8

RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment

通过SFT方式实现RLHF：从最优解到奖励加权对齐

Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

机构 * Shenzhen Research Institute of Big Data（深圳大数据研究院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Qwen LLM Application Team, Alibaba（阿里巴巴Qwen大模型应用团队） ； Stanford University（斯坦福大学） 纠错

AI总结 本文提出VAR方法，通过变分推断视角简化RLHF，将对齐目标转化为离线奖励驱动的加权监督微调形式，提升训练稳定性和效果，实验证明其在帮助性和无害性指标上优于DPO，且在计算效率和收敛速度上优于在线采样方法。

Comments Published in TMLR-2026

LJ-Bench: Ontology-Based Benchmark for U.S. Crime

LJ-Bench：基于本体的美国犯罪评估基准

Hung Yun Tseng, Wuzhen Li, Blerina Gkotse, Grigorios Chrysos

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 LJ-Bench是首个基于本体的全面基准，用于评估LLM对多种非法活动的鲁棒性，揭示LLM在不同犯罪类别中的脆弱性。

Comments Accepted at Transactions on Machine Learning Research in March, 2026

On the Dynamics & Transferability of Latent Generalization during Memorization

关于记忆过程中潜在泛化动态与可转移性研究

Simran Ketha, Venkatakrishnan Ramaswamy

机构 * Centre for Artificial Intelligence Research, Department of Computer Science & Information Systems, Birla Institute of Technology & Science Pilani（人工智能研究中心，计算机科学与信息系统系，比拉理工学院） 纠错

AI总结 本文研究了记忆过程中模型内部表示的潜在泛化能力动态及转移性，通过实验发现潜在泛化能力在训练早期达到峰值，并探讨了如何通过线性探针提取和转移潜在泛化。

Journal ref Transactions on Machine Learning Research 2026

Prompt-based Adaptation in Large-scale Vision Models: A Survey

基于提示的大规模视觉模型适应：综述

Xi Xiao, Yunbei Zhang, Lin Zhao, Yiyang Liu, Xiaoying Liao, Zheda Mai, Xingjian Li, Xiao Wang, Hao Xu, Jihun Hamm, Xue Lin, Min Xu, Qifan Wang, Tianyang Wang, Cheng Han

机构 * University of Alabama at Birmingham, USA（美国阿拉巴马大学伯明翰分校） ； Tulane University, USA（美国路易斯安那大学） ； Northeastern University, USA（美国东北大学） ； University of Missouri-Kansas City, USA（美国密苏里大学堪萨斯城分校） ； Johns Hopkins University, USA（约翰霍普金斯大学） ； Ohio State University, USA（俄亥俄州立大学） ； Carnegie Mellon University, USA（卡内基梅隆大学） ； Oak Ridge National Laboratory, USA（橡树岭国家实验室） ； Harvard University, USA（哈佛大学） ； Mohamed bin Zayed University of Artificial Intelligence, UAE（阿联酋Mohamed bin Zayed人工智能大学） ； Meta AI, USA（Meta AI） 纠错

AI总结 本文综述了基于提示的视觉模型适应方法，探讨了VP和VPT的核心机制及在不同领域的应用，揭示了其在测试时适应和可信AI中的作用，并总结了当前基准和未来研究方向。

Comments Accepted by TMLR 2026

Learning Representations for Independence Testing

学习独立性检验的表示

Nathaniel Xu, Feng Liu, Danica J. Sutherland

机构 * University of British Columbia（不列颠哥伦比亚大学） ； University of Melbourne（墨尔本大学） ； Alberta Machine Intelligence Institute（阿尔伯塔人工智能研究所） 纠错

AI总结 本文研究了通过变分估计互信息学习强大独立性检验的方法，探讨了变分互信息测试与HSIC测试的联系，并提出神经依赖统计量(NDS)以提升检验效能。

Comments v3: as published at TMLR (https://openreview.net/forum?id=pDvKoXRsnW), including many relatively smaller improvements

GriDiT: Factorized Grid-Based Diffusion for Efficient Long Image Sequence Generation

GriDiT: 基于网格的因子化扩散用于高效长图像序列生成

Snehal Singh Tomar, Alexandros Graikos, Arjun Krishna, Dimitris Samaras, Klaus Mueller

机构 * Department of Computer Science Stony Brook University（计算机科学系石溪大学） 纠错

AI总结 本文提出GriDiT方法，通过因子化生成长图像序列，先生成低分辨率粗序列再高分辨率细化，利用Diffusion Transformer的自注意力机制提升生成质量与效率。

Comments Transactions on ML Research (TMLR) 2026

Fourier Learning Machines: Nonharmonic Fourier-Based Neural Networks for Scientific Machine Learning

傅里叶学习机：非谐波傅里叶基的神经网络用于科学机器学习

Mominul Rubel, Adam Meyers, Gabriel Nicolosi

机构 * Department of Engineering Management and Systems Engineering（工程管理与系统工程系） ； Missouri University of Science and Technology（密苏里科技大学） ； Department of Industrial and Systems Engineering（工业与系统工程系） ； University of Miami（迈阿密大学） 纠错

AI总结 本文提出傅里叶学习机，通过简单的前馈结构和余弦激活函数学习多维非谐波傅里叶级数的频率、振幅和相位，为科学机器学习提供可适应周期和非周期函数的谱基。

Comments Please cite the peer-reviewed, published version available on Transactions on Machine Learning Research at https://openreview.net/forum?id=LPKt5vd7yz

Journal ref Transactions on Machine Learning Research, December 2025

LLM-Based World Models Can Make Decisions Solely, But Rigorous Evaluations are Needed

基于LLM的世界模型可以独立做出决策，但需要严谨的评估

Chang Yang, Xinrun Wang, Junzhe Jiang, Qinggang Zhang, Xiao Huang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Singapore Management University（新加坡国立大学） 纠错

AI总结 本文从决策视角出发，对基于LLM的世界模型进行综合评估，设计了政策验证、行动提案和政策规划三项任务，评估了GPT-4o和GPT-4o-mini在不同环境中的表现，发现LLM世界模型在长期决策任务中性能下降，且不同功能组合会引入额外的不稳定性。

Comments Accepted to TMLR

Inverse classification with logistic and softmax classifiers: efficient optimization

逆分类与逻辑回归和softmax分类器：高效的优化

Miguel Á. Carreira-Perpiñán, Suryabhan Singh Hada

机构 * Dept. of Computer Science & Engineering, University of California, Merced（计算机科学与工程系，加州大学默塞德分校） 纠错

AI总结 研究针对逆分类问题，提出利用平方欧几里得距离高效优化逻辑回归和softmax分类器，实现快速精确的分类逆向查询。

Comments Appears in Transactions on Machine Learning Research, March 2026

Demystifying amortized causal discovery with transformers

用变压器解密 amortized 因果发现

Francesco Montagna, Max Cairney-Leeming, Dhanya Sridhar, Francesco Locatello

机构 * Institute of Science and Technology Austria（奥地利科学与技术研究所） ； Chan Zuckerberg Initiative（查纳·泽克伯格倡议） ； Mila - Quebec AI Institute and Université de Montréal（蒙特利尔AI研究所和蒙特利尔大学） 纠错

AI总结 本文分析了CSIvA在双变量因果模型中的表现，发现其在测试时依赖于训练分布定义的先验，且在不同结构假设下改进了泛化能力，推翻了之前关于监督学习能克服限制的假设。

Journal ref Transactions in Machine Learning Research (TMLR), 2025

Fast weight programming and linear transformers: from machine learning to neurobiology

快速权重编程与线性变换器：从机器学习到神经生物学

Kazuki Irie, Samuel J. Gershman

机构 * Harvard University（哈佛大学） ； Center for Brain Science（脑科学中心） ； Kempner Institute for the Study of Natural and Artificial Intelligence（自然与人工智能研究学院） 纠错

AI总结 本文探讨了快速权重编程器（FWPs）的理论基础、计算特性及其与变换器和状态空间模型的联系，并讨论了FWPs与大脑突触可塑性模型的关联，揭示了自然与人工智能的交汇。

Comments Accepted to TMLR 2025

Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution

假设类决定解释：为何准确模型在特征归因上意见分歧

Thackshanaramana B

机构 * SRM Institute of Science and Technology（SRM科学与技术学院） 纠错

AI总结 研究显示，预测等效模型在特征归因上存在显著差异，揭示了假设类对解释稳定性的影响，提出解释可靠性评分R(x)以评估解释稳定性。

Comments 17 pages, 1 figure. Submitted to TMLR

A Practical Algorithm for Feature-Rich, Non-Stationary Bandit Problems

一种实用的特征丰富、非平稳老虎机问题算法

Wei Min Loh, Sajib Kumer Sinha, Ankur Agarwal, Pascal Poupart

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） ； Manulife Financial（美利坚人寿保险集团） 纠错

AI总结 本文提出了一种结合密集臂特征、非线性奖励函数和时间变化奖励分布的老虎机算法，通过条件耦合的上下文C3 Thompson采样在四个数据集上实现了更低的累积遗憾和更高的点击提升。

Journal ref Transactions on Machine Learning Research (2026)

Flow Matching for Tabular Data Synthesis

表格数据合成的流匹配

Bahrul Ilmi Nasution, Floor Eijkelboom, Mark Elliot, Richard Allmendinger, Christian A. Naesseth

机构 * Department of Social Statistics（社会统计系） ； The University of Manchester（曼彻斯特大学） ； Alliance Manchester Business School（曼彻斯特商业联盟学院） ； Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室） ； University of Amsterdam（阿姆斯特丹大学） 纠错

AI总结 本文探讨了流匹配在表格数据合成中的应用，比较了流匹配与扩散模型的性能，发现流匹配在计算效率和隐私保护方面更具优势。

Comments Published at TMLR

A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems

大语言模型推理前沿的综述：推理扩展、学习推理与代理系统

Zixuan Ke, Fangkai Jiao, Yifei Ming, Xuan-Phi Nguyen, Austin Xu, Do Xuan Long, Minzhi Li, Chengwei Qin, Peifeng Wang, Silvio Savarese, Caiming Xiong, Shafiq Joty

机构 * Salesforce AI Research（Salesforce AI研究） ； National University of Singapore（国立新加坡大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； A*STAR, Singapore（新加坡A*STAR） 纠错

AI总结 本文综述了大语言模型推理的前沿方法，从推理阶段和架构两个维度分类，探讨了推理扩展到学习推理及代理系统的发展趋势，涵盖监督微调、强化学习等算法及代理工作流设计。

Comments 72 pages, 6 figures. Accepted to TMLR, with Survey Certification award

A Survey on Deep Learning Approaches for Tabular Data Generation: Utility, Alignment, Fidelity, Privacy, Diversity, and Beyond

关于表格数据生成的深度学习方法的综述：效用、对齐、保真度、隐私、多样性及其他

Mihaela Cătălina Stoian, Eleonora Giunchiglia, Thomas Lukasiewicz

AI总结 本文综述了表格数据生成的深度学习方法，从效用、对齐、保真度、隐私、多样性等方面探讨不同需求下的生成方法，并讨论评估方法和未来发展方向。

Comments Accepted to Transactions on Machine Learning Research (02/2026)

A Survey of Model Architectures in Information Retrieval

信息检索中模型架构的综述

Zhichao Xu, Fengran Mo, Zhiqi Huang, Crystina Zhang, Puxuan Yu, Bei Wang, Jimmy Lin, Vivek Srikumar

AI总结 本文综述了信息检索中模型架构的发展，重点探讨了特征提取的骨干模型和端到端的相关性估计系统，分析了传统术语检索模型向神经网络方法的转变，以及Transformer架构和大语言模型的影响。

Comments TMLR camera ready

Deep Koopman Learning using Noisy Data

利用噪声数据的深度Koopman学习

Wenjian Hao, Devesh Upadhyay, Shaoshuai Mou

AI总结 本文提出一种利用噪声数据的深度Koopman学习方法，通过处理噪声影响提升算子学习的鲁棒性，并在基准上验证了其有效性。

Journal ref Transactions on Machine Learning Research (2025)

A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms

自动驾驶系统推理的综述：开放挑战与新兴范式

Kejin Yu, Yuhan Sun, Taiqiang Wu, Ruixu Zhang, Zhiqiang Lin, Yuxin Meng, Junjie Wang, Yujiu Yang

AI总结 本文综述了自动驾驶系统推理的挑战与新兴范式，提出认知层次分解驾驶任务，并系统化七个核心推理挑战，强调发展可验证的神经符号架构以解决高延迟推理与安全需求的矛盾。

Comments Published in TMLR (March 2026) | OpenReview: https://openreview.net/forum?id=XwQ7dc4bqn

EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes

EarthquakeNPP: 一种用于地震预测的神经点过程基准测试

Samuel Stockman, Daniel Lawson, Maximilian Werner

AI总结 EarthquakeNPP是一个用于地震预测的神经点过程基准测试平台，通过标准化现有资源评估NPPs与ETAS模型的性能，发现NPPs尚未在实际应用中优于ETAS模型。

Comments Accepted to Transactions on Machine Learning Research (TMLR), 2026

CyberThreat-Eval: Can Large Language Models Automate Real-World Threat Research?

CyberThreat-Eval: 大型语言模型能否自动化现实中的威胁研究？

Xiangsen Chen, Xuan Feng, Shuo Chen, Matthieu Maitre, Sudipto Rakshit, Diana Duvieilh, Ashley Picone, Nan Tang

机构 * Microsoft Research（微软研究院） ； Microsoft（微软） 纠错

AI总结 CyberThreat-Eval通过专家标注的基准测试评估大型语言模型在威胁情报工作流程中的实际表现，揭示其在复杂细节处理和信息区分上的不足。

Comments Accepted at TMLR

Journal ref Transactions on Machine Learning Research (2025), ISSN 2835-8856

From Weighting to Modeling: A Nonparametric Estimator for Off-Policy Evaluation

从加权到建模：一种非参数估计器用于离策略评估

Rong J. B. Zhu

机构 * Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（脑启发式智能科学与技术研究院，复旦大学） 纠错

AI总结 本文提出非参数加权方法，通过建模奖励预测降低离策略评估的方差，实现低偏差和高精度的价值估计。

Journal ref Transactions on Machine Learning Research (3/2026)

UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Language Models

UltraEdit: 无训练、无主题、无内存的语言模型终身编辑

Xiaojie Gu, Ziying Huang, Jia-Chen Gu, Kai Zhang

AI总结 UltraEdit通过无训练、无主题、无内存的方法实现高效语言模型终身编辑，速度快7倍且内存占用低4倍，支持大规模编辑任务。

Comments TMLR 2026

Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO

逐步引导策略优化：在GRPO中着色你的错误推理

Peter Chen, Xiaopeng Li, Ziniu Li, Xi Chen, Tianyi Lin

机构 * Department of Industrial Engineering and Operations Research（工业工程与运营管理系） ； Department of Mathematics（数学系） ； Columbia University（哥伦比亚大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Stern School of Business, New York University（纽约大学斯特恩商学院） 纠错

AI总结 SGPO通过引入组内响应多样性，解决GRPO在所有负样本组时无法更新策略的问题，提升推理模型性能。

Comments Accepted by TMLR; 47 pages

The Role of Feature Interactions in Graph-based Tabular Deep Learning

图基表深度学习中特征交互的作用

Elias Dubbeldam, Reza Mohammadi, Marit Schoonhoven, S. Ilker Birbil

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

AI总结 本文探讨了图基表深度学习中特征交互建模的重要性，指出当前方法在准确建模图结构方面存在不足，通过实验发现准确建模图结构可提升预测性能。

Comments 12 pages, 5 figures, accepted at TMLR 2026

Mitigating Unintended Memorization with LoRA in Federated Learning for LLMs

在大语言模型联邦学习中使用LoRA缓解意外记忆

Thierry Bossy, Julien Vignoud, Tahseen Rabbani, Juan R. Troncoso Pastoriza, Martin Jaggi

机构 * Tune Insight SA ； EPFL（苏黎世联邦理工学院） ； Yale University（耶鲁大学） 纠错

AI总结 本文研究了在大语言模型联邦学习中使用LoRA技术有效降低模型对训练数据的记忆能力，并展示了其在不同领域和隐私保护技术中的应用效果。

Journal ref Published in Transactions on Machine Learning Research (02/2026)

BNEM: A Boltzmann Sampler Based on Bootstrapped Noised Energy Matching

BNEM：基于Bootstrap噪声能量匹配的玻尔兹曼采样器

RuiKang OuYang, Bo Qiang, José Miguel Hernández-Lobato

机构 * University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） 纠错

AI总结 BNEM通过基于噪声能量匹配的Bootstrap技术，在分子动力学等应用中实现高效且鲁棒的采样性能。

Comments Camera-ready version for TMLR (03/2026)

Journal ref Transactions on Machine Learning Research (TMLR), 2026