首页/论文/1111.1136

arXiv 1111.11362011-11-14cs.LGcs.ITmath.IT

具有对数自适应后悔的通用MMSE滤波

Universal MMSE Filtering With Logarithmic Adaptive Regret

Technion - Israel Inst. of Tech.（以色列理工学院）

Dan Garber, Elad Hazan

备注：: 14 pages

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们考虑的问题，在线估计的实值信号被遗忘的零均值噪声使用线性估计。该估计器需要根据当前和最后几个噪声观测值迭代地预测潜在信号，其性能由均方误差来衡量。我们描述和分析了这个任务的算法：1。实现对数自适应后悔对最好的线性滤波器在事后。这个界限是近似紧的，并且解决了Moon和Weissman的问题[1]。2.根据滤波器系数的数量在线性时间内进行迭代。以前的建筑至少需要二次时间。

英文摘要：

We consider the problem of online estimation of a real-valued signal corrupted by oblivious zero-mean noise using linear estimators. The estimator is required to iteratively predict the underlying signal based on the current and several last noisy observations, and its performance is measured by the mean-square-error. We describe and analyze an algorithm for this task which: 1. Achieves logarithmic adaptive regret against the best linear filter in hindsight. This bound is assyptotically tight, and resolves the question of Moon and Weissman [1]. 2. Runs in linear time in terms of the number of filter coefficients. Previous constructions required at least quadratic time.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

项目-项目协同过滤的遗憾保证

Regret Guarantees for Item-Item Collaborative Filtering

Massachusetts Institute of Technology（麻省理工学院）

有很多经验证据表明，项目-项目协同过滤在实践中工作得很好。为了理解这一点，我们提供了一个框架来设计和分析各种推荐算法。设置相当于在线二进制矩阵完成，其中每次随机用户请求推荐，算法选择一个条目以显示在用户的行中。我们的目标是尽量减少遗憾，或者等价地最大化在任何时候显示的+1条目的数量。我们分析了一个项目-项目协同过滤算法，可以从根本上实现更好的性能相比，用户-用户协同过滤。该算法实现了良好的“冷启动”性能（适当定义），快速作出良好的建议，新用户的信息很少。

2016-01-08cs.IRcs.ITcs.LG

用户-用户和项目-项目协同过滤的后悔界与最优性机制

Regret Bounds and Regimes of Optimality for User-User and Item-Item Collaborative Filtering

University of Wisconsin, Madison（威斯康星大学麦迪逊分校）

我们考虑一个在线推荐系统模型，每个用户在每个时间步被推荐一个项目，并提供“喜欢”或“不喜欢”的反馈。每个用户最多可以被推荐给定项目一次。隐变量模型指定用户偏好：用户和项目都被聚类到类型中。给定类型的所有用户对项目具有相同的偏好，并且类似地，给定类型的项目被给定用户全部喜欢或全部不喜欢。我们假设每个用户类型对每个项目类型的偏好编码矩阵是随机生成的;这样，模型就可以捕获项目和用户空间中的结构，结构的数量取决于每个类型的数量。推荐系统的性能度量是每个用户不喜欢的推荐的预期数量，定义为预期后悔。我们提出了两个算法的启发用户-用户和项目-项目协同过滤（CF），修改明确提出探索性建议，并证明其预期的遗憾方面的性能保证。对于两个政权的模型参数，结构只在项目空间或只在用户空间，我们证明信息理论的下限遗憾，我们的上限匹配对数因子。我们的分析阐明了现有的CF算法接近最优的系统运行机制。

2019-05-07cs.ITcs.LGmath.IT

用于预测和估计的后悔最优滤波

Regret-Optimal Filtering for Prediction and Estimation

California Institute of Technology（加州理工学院）

从遗憾优化的角度研究了从相关观测信号因果估计期望信号的滤波问题。经典的滤波器设计，如$\mathcal H_2$（卡尔曼）和$\mathcal H_\infty$，分别最小化平均和最坏情况下的估计误差。因此，$\mathcal H_2$过滤器对基础统计模型中的不准确性敏感，而$\mathcal H_\infty$过滤器过于保守，因为它们可以防止最坏情况的发生。我们建议，而不是最小化的\emph{regret}，以设计过滤器，以及在不同的噪声制度，通过比较其性能与千里眼过滤器。更明确地说，我们最大限度地减少了因果滤波器的平方估计误差的最大偏差，从非因果滤波器，可以访问未来的观察。在这个意义上，遗憾最优滤波器将具有最好的竞争性能相对于非因果基准滤波器，无论真实信号和观察过程是什么。对于可以用时不变状态空间描述的信号的重要情况，我们提供了一个明确的建设遗憾最佳滤波器的估计（因果）和预测（严格因果）制度。这些解决方案是通过将遗憾过滤问题简化为Nehari问题来获得的，即，在谱范数下用因果算子逼近非因果算子。遗憾最优滤波器与卡尔曼滤波器和$H_\infty$滤波器有一些相似之处：它们被表示为状态空间模型，继承了原始状态空间的有限维，并且它们的解需要求解代数Riccati方程。数值模拟表明，遗憾最小化固有的$H_2$和$H_\infty$滤波器的性能之间的插值，因此是一个可行的滤波器设计方法。

2022-05-04cs.LGcs.SYeess.SY

在线学习卡尔曼滤波：从输出到状态估计

Online Learning of Kalman Filtering: From Output to State Estimation

School of Artificial Intelligence and Automation at the Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；College of Automation Engineering at Nanjing University of Aeronautics and Astronautics（南京航空航天大学自动化工程学院）；Elmore Family School of Electrical and Computer Engineering at Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）

本文研究了在部分观测线性动态系统中学习未知系统模型的卡尔曼滤波问题，提出了一种基于在线优化的统一算法框架，解决输出估计和状态估计场景。通过分析估计误差成本函数的性质，证明算法在输出估计场景中达到logT regret，同时解决更挑战性的状态估计问题，揭示了算法在有限观测下的权衡。

2026-03-28cs.LGcs.SYeess.SY

线性动力系统分布式在线控制悔值分析的谱滤波方法

A Spectral Filtering Approach to Regret Analysis of Distributed Online Control for Linear Dynamical Systems

National Cheng Kung University（成功大学）

本文将在线谱控制框架拓展至分布式场景，通过基于Hankel矩阵前导特征向量的谱控制器与分布式在线梯度下降更新，为线性时不变系统分布式在线控制建立了含稳定裕度、网络特性的次线性悔界。

2026-08-04cs.LGcs.SYeess.SY

基于谱滤波的序列预测中可证明的长度泛化

Provable Length Generalization in Sequence Prediction via Spectral Filtering

Google DeepMind（谷歌DeepMind）

该研究针对序列预测中的长度泛化问题，定义非对称遗憾度量，提出基于谱滤波的梯度学习算法，证明其在线性动力系统上可实现长度泛化，并通过概念验证实验验证了理论结论。

2024-11-01cs.AIcs.CLcs.LG

更多相关论文收起更多论文

基于机器学习的自适应接收滤波：基于SDR平台的概念验证

Machine Learning-Based Adaptive Receive Filtering: Proof-of-Concept on an SDR Platform

Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute (HHI)（弗劳恩霍夫电信研究所海因里希·赫兹研究所（HHI））；Technical University Of Berlin（柏林工业大学）

传统的多用户检测技术要么需要在接收机处使用大量的天线以获得期望的性能，要么它们对于实际实现来说太复杂。此外，这些技术中的许多技术，诸如连续干扰消除（SIC），遭受参数估计（用户信道、协方差矩阵、噪声方差等）中的误差。这在检测用户数据符号之前执行。作为传统方法的替代方案，本文提出并演示了一种低复杂度的实用机器学习（ML）的接收机，实现了类似的（有时更好）的SIC接收机的性能。所提出的接收机不需要参数估计，而是使用监督学习来直接检测用户调制符号。我们进行比较与最小均方误差（MMSE）和SIC接收机的误符号率（SER）和复杂度。

2019-11-11cs.ITcs.LGeess.SP

分块协同老虎机：带单臂预算约束的在线协同过滤

Blocked Collaborative Bandits: Online Collaborative Filtering with Per-Item Budget Constraints

Google Research（谷歌研究院）

针对带单臂预算约束的分块协同老虎机问题，提出B-LATTICE算法，通过分阶段聚类与组内协同学习，在合理假设下取得首个次线性遗憾界，实验性能优于基线方法。

2023-10-31cs.IRcs.LGstat.ML

Rasch模型的一个估计和分析框架

An Estimation and Analysis Framework for the Rasch Model

Department of Electrical Engineering, Princeton University（普林斯顿大学电气工程系）；Purdue University（普渡大学）；School of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）

Rasch模型广泛用于从推荐系统到心理学、教育和金融等应用中的项目响应分析。虽然在过去的几十年里已经提出了一些估计的Rasch模型，可用的分析性能保证大多是渐近的。本文提供了一个框架，依赖于一种新的线性最小均方误差（L-MMSE）估计，使一个精确的，非渐近的，和封闭形式的分析Rasch模型下的参数估计误差。拟议的框架就在测试或调查中达到低估计误差所需的项目和答复的数量提供了准则。我们还证明了它的有效性，在一些现实世界的协同过滤数据集，这表明，建议的L-MMSE估计器执行与国家的最先进的非线性估计的预测性能。

2018-06-09cs.LGeess.SPstat.ML

突破矩条件障碍：超高尾收益的强盗无遗憾算法

Breaking the Moments Condition Barrier: No-Regret Algorithm for Bandits with Super Heavy-Tailed Payoffs

Peking University（北京大学）；Pazhou Lab（琶洲实验室）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）

尽管在处理机器学习中的重尾错误方面做了大量的努力，但很少有人知道错误的时刻何时变得不存在：随机噪声$η$对于某些$α> 0$满足Pr $\left[|η| > |y|\right] \le 1/|y|^α$。我们第一次尝试积极处理这种超重尾噪声在强盗学习问题：我们提出了一种新的强大的统计估计，平均中位数，估计一个随机变量通过计算一系列的经验中位数的经验平均值。然后，我们提出了一个通用的还原算法框架，解决强盗学习问题（包括多臂和线性强盗问题）：中位数估计的平均值可以应用到几乎任何强盗学习算法作为一个黑箱过滤其奖励信号，并获得类似的遗憾界，如果奖励是亚高斯。我们表明，遗憾界是接近最优的，即使非常重尾噪声。我们还实证证明了所提出的算法的有效性，这进一步证实了我们的理论结果。

2021-10-26cs.LG

通过谱滤波学习线性动力系统

Learning Linear Dynamical Systems via Spectral Filtering

Princeton University（普林斯顿大学）

本文提出一种高效算法，通过过度参数化线性动力系统实现在线预测，利用谱滤波技术获得近优 regret 保证。

2017-11-02cs.LGcs.SYeess.SY

学会使用学习者的建议

Learning to Use Learners' Advice

ETH Zurich（苏黎世联邦理工学院）

在本文中，我们研究了一个变体的框架，在线学习使用专家意见有限/土匪反馈。我们将每个专家视为一个学习实体，寻求更准确地反映某些现实世界的应用。在我们的设置中，在任何时间$t$的反馈在某种意义上是有限的，即它仅对已经由中央算法（预报器）\emph{i.e.}选择的专家$i^t$可用，只有专家$i^t$从环境接收反馈并且在时间$t$开始学习。我们认为一个通用的黑箱方法，预测不控制或知道的学习动力学的专家除了知道以下的无遗憾学习属性：平均遗憾的任何专家$j$消失的速度至少$O(t_j^{\regretRate-1})$与$t_j$学习步骤，其中$\regretRate \in [0, 1]$是一个参数。本着在多武装匪徒问题中与事后最佳行动竞争的精神，我们的目标是在w.r.t.该算法通过遵循总是选择一个专家的策略可以接收的累积损失。我们证明了以下的硬度结果：没有任何协调之间的预测和专家，这是不可能设计一个预测实现无遗憾的保证。为了规避这种困难的结果，我们考虑一个实际的假设，允许预测者“指导”的学习过程中的专家通过过滤/阻止他们观察到的反馈从环境中，\emph{i.e.}，不允许选定的专家$i^t$在时间$t$学习一些时间步长。然后，我们设计了一个新的无遗憾学习算法\algo，通过仔细指导专家观察到的反馈，这个问题设置。我们证明了\algo在$\Time$时间步长后达到了$O(\Time^\f…

2017-02-17cs.LG

扩展图的在线过滤

Online Filtering over Expanding Graphs

Delft Institute of Technology（代尔夫特理工大学）

图上的数据处理任务通过图信号处理工具将驻留在节点上的数据与拓扑耦合。图滤波器就是这样一个突出的工具，已被用于去噪、插值和分类等应用。然而，它们主要用于固定图，尽管许多网络在实践中不断增长，节点不断地连接到拓扑结构。每次新节点连接时重新训练过滤器在计算上要求很高;因此需要适应不断变化的图的在线学习解决方案。我们提出了一个在线更新的过滤器，基于在线机器学习的原则。为了更新过滤器，我们执行在线梯度下降，它具有相对于离线计算的过滤器的可证明的遗憾界。我们展示了我们的方法在传入节点的信号插值的性能。合成和基于图的推荐系统的数值结果表明，所提出的方法相比，离线基线过滤器，同时优于竞争对手的方法。这些发现为扩展图的有效过滤奠定了基础。

2023-01-17cs.LGeess.SP

扩展图上的在线图滤波

Online Graph Filtering Over Expanding Graphs

Delft University of Technology（代尔夫特理工大学）；Faculty of Electrical Engineering, Mathematics and Computer Science（电子工程、数学与计算机科学学院）

针对传统图滤波器无法应对节点增长的动态图拓扑及数据变化的问题，提出基于在线学习的在线图滤波框架，适配拓扑已知/未知场景，经后悔分析与实验验证，在图信号推理任务中性能优异。

2024-09-11cs.LGeess.SP

交替线性Bandits的在线矩阵分解推荐算法

Alternating Linear Bandits for Online Matrix-Factorization Recommendation

College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Department of Statistics and Data Science（统计与数据科学系）；Yale University（耶鲁大学）

我们考虑的问题，在线协同过滤的在线设置，项目推荐给用户随着时间的推移。在每个时间步，用户（由环境选择）消费项目（由代理选择）并提供所选项目的评级。在本文中，我们提出了一种新的算法，结合线性强盗和交替最小二乘在线矩阵分解推荐。在这个公式中，强盗反馈等于最好的和选择的项目之间的评分差。我们使用累积遗憾和平均累积NDCG来评估所提出算法随时间的性能。在三个人工数据集和三个真实数据集上的在线协同过滤仿真结果表明，该算法优于两个国家的最先进的在线算法。

2018-10-22cs.IRcs.LGstat.ML