迭代原子细化：字典学习中的单调性原理
Iterative Atom Refinement: A Monotonicity Principle for Dictionary Learning
- Stanford University（斯坦福大学）
- Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
- Pennsylvania State University（宾夕法尼亚州立大学）
- University of California, Merced（加州大学默塞德分校）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文提出迭代原子细化（IAR）算法，通过迭代选择强相关观测并平均更新方向，借助单调性原理证明三步内可恢复字典原子，实验验证了理论。
AI中文摘要：
字典学习旨在从观测数据 ${\f y}_i = A{\f x}_i$ 中恢复未知字典 $A$，其中系数向量 ${\f x}_i$ 是稀疏的。我们提出了迭代原子细化（IAR）算法，这是一种恢复单个字典原子的简单方法。从随机方向开始，IAR 反复选择与当前迭代向量相关性最强的观测数据，并通过平均所选数据来更新方向。我们的主要贡献是建立了 IAR 的严格收敛理论。利用高维概率估计和一种新颖的原子选择概率单调性原理，我们证明了一个原子的微小初始优势会被放大，直到该原子被分离出来。在我们的模型假设下，IAR 仅需三步细化即可识别出一个生成原子。数值实验支持该理论，并表明所得动力学能够准确捕捉字典细化中观察到的行为。
英文摘要：
Dictionary learning seeks to recover an unknown dictionary $A$ from observations ${\bf y}_i = A{\bf x}_i$ with sparse coefficient vectors ${\bf x}_i$. We introduce the \emph{Iterative Atom Refinement} (IAR) algorithm, a simple procedure for recovering individual dictionary atoms. Starting from a random direction, IAR repeatedly selects the observations most strongly correlated with the current iterate and updates the direction by averaging the selected data. Our main contribution is a rigorous convergence theory of IAR. Using high-dimensional probabilistic estimates and a novel monotonicity principle for atom-selection probabilities, we show that a small initial advantage of one atom is amplified until that atom is isolated. Under our model assumptions, IAR identifies a generating atom after only three refinement steps. Numerical experiments support the theory and show that the resulting dynamics accurately capture the behavior observed in dictionary refinement.
