在线稀疏线性回归的遗憾值的新下界与上界
New Lower Bound and Upper Bounds on the Regret for Online Sparse Linear Regression
- School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
- School of Computing and Artificial Intelligence, Shanghai University of Finance and Economics（上海财经大学计算与人工智能学院）
- AI 3 Institute, Fudan University and Shanghai Innovation Institute（复旦大学AI 3研究所与上海创新研究院）
- School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
- Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本研究针对NP难的在线稀疏线性回归（OSLR），给出其极小极大遗憾值的首个下界，设计了无需正则性假设且上界更优的算法，刻画了遗憾值随问题参数的缩放规律，捕捉了其信息论复杂度。
AI中文摘要：
我们研究在线稀疏线性回归（OSLR），其中任何算法在预测时被限制仅访问d个属性中的b个，预测后还需访问b₀≥0个额外属性，该问题已被证明是NP难的。过往工作聚焦于在正则性假设下设计计算高效的算法，但未刻画其信息论复杂度。本研究给出OSLR极小极大遗憾值的首个下界，并设计了无需正则性假设且具有更优上界的算法，刻画了极小极大遗憾值如何随问题相关参数缩放，从而捕捉OSLR的信息论复杂度。
英文摘要：
We study online sparse linear regression (OSLR) where any algorithm is restricted to accessing only $b$ out of $d$ attributes per instance for prediction and $b_0\geq 0$ additional attributes after prediction, which was proved to be NP-hard. Previous work focused on designing computationally efficient algorithms under regularity assumptions, but did not characterize its information theoretic complexity. In this work, we give the first lower bound on the minimax regret of OSLR and design algorithms with better upper bounds without regularity assumptions. We characterize how minimax regret scales with problem-dependent parameters, capturing the information theoretic complexity of OSLR.
