Zhi-Hua Zhou

Learnware for CSI Feedback: Scene-specific Small Models Can Do Big

用于CSI反馈的学习件：特定场景的小型模型可发挥大作用

Xiangyi Li, Jiajia Guo, Chao-Kai Wen, Xin Geng, Shi Jin, Zhi-Hua Zhou

机构 * Southeast University（东南大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； National Sun Yat-sen University（国立中山大学） ； Nanjing University（南京大学） 纠错

AI总结 针对6G CSI反馈的模型泛化与场景性能权衡问题，提出基于学习件的模型仓库框架，可高效检索匹配的预训练模型，在LOS/NLOS场景下性能优于通用模型，减少训练开销并增强隐私。

Comments This work has been accepted by IEEE Transactions on Wireless Communications. Copyright may be transferred without notice, after which this version may no longer be accessible

A Simple, Optimal and Efficient Algorithm for Online Exp-Concave Optimization

一个简单、最优且高效的在线指数凹优化算法

Yi-Han Wang, Peng Zhao, Zhi-Hua Zhou

AI总结 本文提出LightONS算法，通过优化计算步骤，将在线指数凹优化的运行时间从O~(d^ω T)降至O(d²T + d^ω√(T log T))，并保持最优遗憾，解决了随机指数凹优化中的开放问题。

Comments COLT 2026

AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters

AdaFlash：通过策略蒸馏扩散草稿器实现自适应推测解码

Yu-Yang Qian, Hao-Cong Wu, Chen Chen, Jiacheng Sun, Zhenhua Dong, Peng Zhao, Zhi-Hua Zhou

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Huawei Foundation Model Dept（华为基础模型部） 纠错

AI总结 研究针对扩散草稿器在推测解码中存在的问题，提出AdaFlash框架，包含基于策略蒸馏算法和自适应长度头，有效降低方差，实验证明该框架能提高推理速度，尤其在高并发场景中吞吐量显著提升。

Nonlinear Bandit

非线性带式赌博机

Tianshuo Zheng, Ting Wu, Zhi-Hua Zhou, Keqin Liu

机构 * School of Mathematics, Nanjing University（南京大学数学系） ； School of Artificial Intelligence, Nanjing University, National Key Laboratory for Novel Software Technology（南京大学人工智能学院，计算机软件新技术国家重点实验室） ； School of Mathematics and Physics, Xi’an Jiaotong-Liverpool University（西交利物浦大学数理学院） 纠错

AI总结 研究重尾噪声下广义线性带式赌博机问题，基于在线镜像下降方法提出算法EHM，实现几乎最优遗憾值且无需常用参数，还研究了上下文特征分段常数时的情况及非线性带式赌博机特殊情况，给出相应算法并证明遗憾上界。

TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree

TreeLoRA：通过层级梯度相似性树引导的逐层LoRA实现高效持续学习

Yu-Yang Qian, Yuan-Ze Xu, Zhen-Yu Zhang, Peng Zhao, Zhi-Hua Zhou

AI总结 提出TreeLoRA方法，利用层级梯度相似性构建逐层适配器，结合bandit技术高效探索任务结构，并通过稀疏梯度更新优化参数，实现大预训练模型的高效持续学习。

Comments ICML 2025

Selective Ensemble Based on Preference-Directed Multi-Objective Bandits

基于偏好导向的多目标赌博机的选择性集成

Lanjihong Ma, Zhen-Yu Zhang, Masashi Sugiyama, Zhi-Hua Zhou

机构 * Department of Computer Science, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院） ； Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心） ； Graduate School of Frontier Sciences, The University of Tokyo（东京大学新领域创成科学研究科） ； National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

AI总结 针对有限评估预算下部分偏好指定的选择性集成问题，形式化为偏好导向多目标赌博机，提出PrefUCB算法，实现对数遗憾界，在预训练模型集成和资产分配中验证有效性。

Online Learning with Gradient-Variation Interval Regret

基于梯度变化的区间遗憾在线学习

Yan-Feng Xie, Shuche Wang, Peng Zhao, Zhi-Hua Zhou

机构 * State Key Laboratory for Novel Software Technology and the School of Artificial Intelligence, Nanjing University（新型软件技术国家重点实验室和人工智能学院，南京大学） ； Institute of Operations Research and Analytics, National University of Singapore（运筹与分析研究所，新加坡国立大学） 纠错

AI总结 本文提出首个基于梯度变化量实现区间遗憾界的在线学习算法，采用两层在线集成结构，自适应多种问题相关量并达到极小化最优率，同时引入Lipschitz和平滑性无关的变体。

Improved Bound for the Nystrom's Method and its Application to Kernel Classification

Nyström方法的改进界及其在核分类中的应用

Rong Jin, Tianbao Yang, Mehrdad Mahdavi, Yu-Feng Li, Zhi-Hua Zhou

AI总结 本文通过积分算子集中不等式和压缩感知理论改进了Nyström方法的谱范数逼近误差界，并应用于核分类，证明在特征值服从p次幂律时可将支持向量数量减少至N^{2p/(p^2-1)}。

How Can Reinforcement Learning Achieve Expert-level Placement?

强化学习如何实现专家级布局？

Ruo-Tong Chen, Ke Xue, Chengrui Gao, Yunqi Shi, Tian Xu, Peng Xie, Siyuan Xu, Mingxuan Yuan, Chao Qian, Zhi-Hua Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； Huawei Noah’s Ark Lab, China（华为诺亚实验室） 纠错

AI总结 针对强化学习在芯片布局中因奖励设计不当而难以达到专家质量的问题，提出从专家布局直接学习奖励模型的方法，通过推断专家轨迹并训练隐式奖励模型，实现从单个设计高效学习并泛化到未见案例。

Comments DAC 2026

ZipMoE: Efficient On-Device MoE Serving via Lossless Compression and Cache-Affinity Scheduling

ZipMoE：通过无损压缩和缓存亲和调度实现高效的设备端MoE服务

Yuchen Yang, Yaru Zhao, Pu Yang, Shaowei Wang, Zhi-Hua Zhou

机构 * School of Electronic Science and Engineering, Nanjing University, China.（南京大学电子科学与工程学院） ； National Key Laboratory for Novel Software Technology, Nanjing University, China.（南京大学新型软件技术国家重点实验室） 纠错

AI总结 提出ZipMoE系统，通过缓存-调度协同设计利用边缘设备硬件特性和MoE参数统计冗余，实现无损且高效的设备端MoE推理，显著降低延迟并提升吞吐量。

Comments ICML 2026

EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation

EdgeRazor: 一种通过混合精度量化感知蒸馏实现大语言模型轻量化的框架

Shu-Hao Zhang, Le-Tong Huang, Xiang-Sheng Deng, Xin-Yi Zou, Chen Wu, Nan Li, Shao-Qun Zhang, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Microsoft AI（微软AI） 纠错

AI总结 本文提出EdgeRazor框架，通过混合精度量化感知蒸馏方法，在资源受限设备上部署大语言模型，实现了更高的压缩比和更高效的性能。

Non-Parametric Rehearsal Learning via Conditional Mean Embeddings

非参数化重现学习 via 条件均值嵌入

Wen-Bo Du, Tian-Zuo Wang, Han-Jia Ye, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

AI总结 本文提出一种非参数化重现学习方法，通过条件均值嵌入处理动作诱导的分布变化，解决避免不良未来问题，无需假设数据生成过程的具体形式。

Robust Length Prediction: A Perspective from Heavy-Tailed Prompt-Conditioned Distributions

鲁棒长度预测：从重尾提示条件分布的角度

Jing Wang, Yu-Yang Qian, Ke Xue, Chao Qian, Peng Zhao, Zhi-Hua Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

AI总结 本文提出通过重尾提示条件分布进行鲁棒长度预测，改进传统单次采样方法，提升预测稳定性与准确性。

Open3DBench: Open-Source Benchmark for 3D-IC Backend Implementation and PPA Evaluation

Open3DBench：开源的3D-IC后端实现与PPA评估基准

Yunqi Shi, Chengrui Gao, Wanqi Ren, Peng Xie, Siyuan Xu, Ke Xue, Mingxuan Yuan, Chao Qian, Zhi-Hua Zhou

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

AI总结 本文提出Open3DBench，基于OpenROAD流程框架，提供3D-IC后端实现与PPA评估的开源基准，展示了改进的面积、线长、时序和功耗性能，强调了PPA驱动方法的重要性。

Comments This version 2.0 is under review of TCAD

Advancing Automated Algorithm Design via Evolutionary Stagewise Design with LLMs

通过基于大语言模型的进化分阶段设计推进自动化算法设计

Chen Lu, Ke Xue, Chengrui Gao, Yunqi Shi, Siyuan Xu, Mingxuan Yuan, Chao Qian, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； Huawei Noah’s Ark Lab, China（华为诺亚实验室） 纠错

AI总结 本文提出EvoStage方法，通过分阶段进化设计提升自动化算法设计效率，实现超越人类专家和现有LLM方法的性能。

Comments 28 pages, 19 figures and 7 tables

Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer

通过折扣到动态的还原实现动态后悔，应用于曲面损失和Adam优化器

Yan-Feng Xie, Yu-Jie Zhang, Peng Zhao, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家实验室） ； School of Artificial Intelligence（人工智能学院） ； University of Washington（华盛顿大学） 纠错

AI总结 本文通过折扣到动态的还原方法，改进了FTRL相关问题的动态后悔界，并应用于曲面损失和Adam优化器，获得了非凸非光滑设置下的最优收敛速率。

Theoretical Investigation on Inductive Bias of Isolation Forest

对隔离森林归纳偏置的理论研究

Qin-Cheng Zheng, Shao-Qun Zhang, Shen-Huan Lyu, Yuan Jiang, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学） ； College of Computer and Information, Hohai University, China（计算机与信息学院，河海大学） ； Key Laboratory of Water Resources Big Data Technology of Ministry of Water Resources, Hohai University, China（水利部水资源大数据技术重点实验室，河海大学） 纠错

AI总结 本文通过理论分析揭示了隔离森林在异常检测中的归纳偏置，指出其对中心异常的低敏感性和较高的参数适应性。

AeroSketch: Near-Optimal Time Matrix Sketch Framework for Persistent, Sliding Window, and Distributed Streams

AeroSketch：一种近最优的时间矩阵草图框架，适用于持久、滑动窗口和分布式流

Hanyan Yin, Dongxie Wen, Jiajun Li, Zhewei Wei, Xiao Zhang, Peng Zhao, Zhi-Hua Zhou

AI总结 AeroSketch是一种新型矩阵草图框架，通过RandNLA技术在持久、滑动窗口和分布式流场景中实现近最优的更新时间复杂度和空间通信成本。

Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs

重新审视非平稳参数老虎机和MDP中的加权策略

Jing Wang, Peng Zhao, Zhi-Hua Zhou

AI总结 本文提出了一种简化分析框架，改进了非平稳参数老虎机和MDP的加权策略，提升了算法效率和遗憾界。

Comments accepted by IEEE Transactions on Information Theory. arXiv admin note: substantial text overlap with arXiv:2303.02691

Adaptivity and Universality: Problem-dependent Universal Regret for Online Convex Optimization

适应性与普遍性：面向在线凸优化的问题依赖性通用遗憾

Peng Zhao, Yu-Hu Yan, Hang Yu, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

AI总结 本文提出UniGrad方法，实现在线凸优化的通用性和问题依赖性，通过两种实现方式达到不同函数类的最优遗憾界。

Re$^{\text{2}}$MaP: Macro Placement by Recursively Prototyping and Packing Tree-based Relocating

Yunqi Shi, Xi Lin, Zhiang Wang, Siyuan Xu, Shixiong Kai, Yao Lai, Chengrui Gao, Ke Xue, Mingxuan Yuan, Chao Qian, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology and the School of Artificial Intelligence, Nanjing University（国家新型软件技术重点实验室和南京大学人工智能学院） ； College of Integrated Circuits and Nano-Micro Electronics, Fudan University（集成电路与纳米微电子学院，复旦大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； School of Computing and Data Science, the University of Hong Kong（计算与数据科学学院，香港大学） 纠错

Comments IEEE Transactions on Comupter-Aided Design under review

Optimistic Online-to-Batch Conversions for Accelerated Convergence and Universality

Yu-Hu Yan, Peng Zhao, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

Comments NeurIPS 2025

Curriculum Abductive Learning

Wen-Chao Hu, Qi-Jie Li, Lin-Han Jia, Cunjing Ge, Yu-Feng Li, Yuan Jiang, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

Comments Accepted by NeurIPS 2025, 22 pages, 6 figures

Provably Efficient Online RLHF with One-Pass Reward Modeling

Long-Fei Li, Yu-Yang Qian, Peng Zhao, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术实验室，南京大学） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学） 纠错

Comments NeurIPS 2025; The first two authors contributed equally

Extended UCB Policies for Multi-armed Bandit Problems

Keqin Liu, Tianshuo Zheng, Zhi-Hua Zhou

机构 * School of Mathematics and Physics（数学与物理学院） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； School of Mathematics（数学学院） ； Nanjing University（南京大学） ； National Key Laboratory for Novel Software Technology（新型软件技术国家实验室） ； School of Artificial Intelligence（人工智能学院） 纠错

Comments 32 pages, 10 figures

Efficient Methods for Non-stationary Online Learning

Peng Zhao, Yan-Feng Xie, Lijun Zhang, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学） 纠错

Comments V3 changes: accepted by JMLR 2025 and improve the writing; V2/V1 changes: investigate interval dynamic regret and add two applications (online non-stochastic control and online PCA) and improve the presentation; preliminary version published at NeurIPS'22

Journal ref Journal of Machine Learning Research, 2025

Dual Adaptivity: Universal Algorithms for Minimizing the Adaptive Regret of Convex Functions

Lijun Zhang, Wenhao Yang, Guanghui Wang, Wei Jiang, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, Nanjing, China（南京大学人工智能学院） ； College of Computing, Georgia Institute of Technology, Atlanta, USA（佐治亚理工学院计算机学院） 纠错

Comments arXiv admin note: text overlap with arXiv:1906.10851

Generalist Reward Models: Found Inside Large Language Models

Yi-Chen Li, Tian Xu, Yang Yu, Xuqin Zhang, Xiong-Hui Chen, Zhongxiang Ling, Ningjing Chao, Lei Yuan, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

Heavy-Tailed Linear Bandits: Huber Regression with One-Pass Update

Jing Wang, Yu-Jie Zhang, Peng Zhao, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） ； Center for Advanced Intelligence Project, RIKEN, Japan（先进人工智能项目中心，RIKEN，日本） 纠错

Comments ICML 2025

Learnware of Language Models: Specialized Small Language Models Can Do Big

Zhi-Hao Tan, Zi-Chen Zhao, Hao-Yu Shi, Xin-Yu Zhang, Peng Tan, Yang Yu, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错