Exact Recovery for Sparse Signal via Weighted $l_1$ Minimization
压缩感知文献中的数值实验表明，重新加权的$l_1$最小化在恢复稀疏信号方面表现得非常好。本文从经典的零空间性质（NSP）和限制等距常数（RIC）界出发，给出了加权$l_1$最小化方法恢复稀疏信号的精确条件和算法。本文首先引入加权零空间性质的概念，并揭示了它是精确恢复的充分必要条件。然后，我们证明了RIC界加权$l_1$最小化是$δ_{ak}<\sqrt{\frac{a-1}{a-1+γ^2}}$，其中$a>1$，$0<γ\leq1$是由零空间上的优化问题。当$γ< 1$时，该界限大于来自$l_1$最小化的$\sqrt{\frac{a-1}{a}}$。此外，我们还建立了$δ_k$的上界，并证明了在某些情况下，通过$l_1$最小化，它可以大于尖锐的上界1/3，通过加权$l_1$最小化，它也可以大于0.4343.最后，基于权值选择原则，我们实现了一种改进的迭代加权$l_1$极小化（MIRL 1）算法，数值实验表明，该算法的性能明显优于$l_1$极小化和迭代加权$l_1$极小化（IRL 1）算法.
2014-06-15 cs.IT math.IT
Solving a Mixture of Many Random Linear Equations by Tensor Decomposition and Alternating Minimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
考虑了带$k$分量的混合随机线性方程组的求解问题。这是混合线性回归的无噪声设置。目标是在未观察到标签（哪个样本对应于哪个模型）的情况下，从混合样本中估计多个线性模型。本文给出了求解混合线性方程组问题的一个易处理的算法，并证明了在一定的技术条件下，该算法能保证精确地求解该问题，其样本复杂度在维数上是线性的，在$k$中是多项式的。以前的方法需要对$k$的指数依赖性，或者对维度的超线性依赖性。该算法是张量分解和交替最小化的组合。我们的分析包括证明张量方法提供的初始化允许交替最小化，这是相当于EM在我们的设置，以线性速度收敛到全局最优。
2016-08-19 cs.IT cs.LG math.IT
Interference Alignment via Message-Passing
我们介绍了一个迭代的解决方案，在MIMO信道的干扰对齐（IA）的消息传递配方的基础上的问题。我们提出了一个参数化的消息，使IA预编码器的计算通过最小和算法在连续变量空间-在此参数化，合适的近似的消息可以计算在封闭的形式。我们表明，Cadambe等人的迭代泄漏最小化算法。是我们的消息传递算法的一个特例，获得一个特定的时间表。最后，我们表明，所提出的算法相媲美迭代泄漏最小化的收敛速度，并讨论了分布式实现。
2013-10-09 cs.IT math.IT
The Semantic Information Method for Maximum Mutual Information and Maximum Likelihood of Tests, Estimations, and Mixture Models
对于所有可能的Shannon信道或不确定的假设选择规则，求解最大互信息（MMI）或最大似然（ML）是非常困难的，因此必须使用迭代法。根据陆晨光（1993）提出的语义互信息（SMI）和R（G）函数（其中R（G）是信息率失真函数R（D）的推广，G是SMI的下限），我们可以得到一种新的求解检验、估计和混合模型的MMI和ML的迭代算法。SMI由平均对数归一化似然定义。通过语义贝叶斯推理，由真值函数和先验信息生成似然函数。一组真值函数构成语义通道。将语义信道与Shannon信道相互匹配，得到最大化Shannon互信息和平均对数似然的Shannon信道。这种迭代算法称为通道匹配算法或CM算法。收敛性可以用R（G）函数直观地解释和证明。测试、估计和混合模型的几个迭代示例表明，CM算法的计算很简单（可以在Excel文件中演示）。对于大多数随机示例，收敛的迭代次数接近5。对于混合模型，CM算法与EM算法相似，但与标准EM算法相比，CM算法具有更好的收敛性和更大的应用潜力。
2017-06-24 cs.IT math.IT
Block Iterative Reweighted Algorithms for Super-Resolution of Spectrally Sparse Signals
我们提出了新的算法，提高了从欠采样信号中恢复未知连续值频率的性能。我们的迭代重新加权频率恢复算法采用从我们算法的早期步骤中获得的支持知识作为块先验信息来增强频率恢复。我们的方法提高了原子范数最小化的性能，这是一个有用的启发式恢复连续值的频率内容。数值结果表明，我们的块迭代重加权方法提供了更好的恢复性能和更快的速度比其他已知的方法。
2015-09-11 cs.IT math.IT
Sparse Signal Reconstruction via Iterative Support Detection
Cornell University（康奈尔大学）；Rice University（莱斯大学）
提出一种新的稀疏信号重构方法ISD，通过迭代支持检测和截断l1最小化，在减少测量数目的同时实现快速重构，优于经典l1最小化及IRL1、IRLS等算法。
2010-07-05 cs.IT cs.NA math.IT
Subspace Thresholding Pursuit: A Reconstruction Algorithm for Compressed Sensing
提出了一种新的迭代贪心算法，用于压缩感知中稀疏信号的重构。该算法称为\emph{subspace thresholding pursuit}（STP），本文中，是一个简单的子空间追求和迭代硬阈值的组合。首先，STP在约束等距性方面具有与$\ell_1$极小化相当的理论保证。其次，通过调整参数，一方面，在重构高斯信号时，该算法的性能大大优于其他现有的重构算法;另一方面，在重构具有随机符号的等幅信号时，该算法的性能优于其他现有的迭代贪心算法，在欠采样率不是很大的情况下，该算法的性能甚至优于$\ell_1$最小化算法。此外，我们提出了一个简单而有效的方法，以提高经验性能进一步，如果欠采样率是大的。最后，通过借鉴STP的思想，证明了其他迭代贪心算法可以提高其经验性能。
2014-05-21 cs.IT math.IT
New Criteria for Iterative Decoding
迭代解码最初并不是作为优化问题的解决方案引入的，这使得分析其收敛性非常困难。在本文中，我们研究迭代解码和经典优化技术之间的联系。我们首先表明，迭代解码可以改写为两个嵌入的最小化过程，涉及费米-狄拉克距离。基于这个新的配方，一个混合的邻近点算法首先推导出减少所需的标准的额外的优点。在第二部分中，提出了一种混合最小熵算法，与经典的迭代译码相比，该算法具有更好的性能。即使本文的重点是BICM的迭代译码，其结果也可以应用于大类Turbo类译码器。
2010-01-12 cs.IT math.IT
A Low Complexity Detection Algorithm Based on Alternating Minimization
本文提出了一种基于交替最小化技术的上行链路大规模MIMO检测算法。所提出的算法提供了一个较低的复杂度相比，传统的MMSE检测技术，特别是当用户设备（UE）的天线的数量接近基站（BS）的天线的数量。这种改进是在没有任何矩阵求逆的情况下获得的。此外，该算法重新制定的最大似然（ML）检测问题的基础上分解成多个向量的接收向量的凸函数的总和。每个矢量表示接收矢量中的一个发送符号的贡献。交替最小化是用来解决新制定的问题，在每一个迭代的封闭形式的解决方案更新迭代的方式。仿真结果表明，该算法在上行链路大规模MIMO环境下，无论是编码还是未编码情况下，都能有效地提高系统性能
2019-02-24 cs.IT math.IT
Coherence Analysis of Iterative Thresholding Algorithms
近年来，人们对欠定线性方程组$y = Φx$的稀疏解的求解算法的研究越来越多。在许多应用中，设想了非常大的问题大小，至少有数万个方程和数十万个未知数。对于这样的问题规模，低计算复杂性是至关重要的。最好的研究$\ell_1$最小化算法是不够快，以满足这一需要。已经提出了迭代阈值算法来解决这个问题。本文从理论上分析了这两种算法，并给出了它们恢复稀疏解的充分条件。
2009-04-07 cs.IT math.IT
Adaptive Minimum BER Reduced-Rank Interference Suppression Algorithms Based on Joint and Iterative Optimization of Parameters
在这封信中，我们提出了一种新的自适应降秩策略的基础上联合迭代优化（JIO）的过滤器根据最小化的比特出错率（BER）的成本函数。所提出的优化技术调整的子空间投影矩阵和降秩滤波器的权重联合。我们开发了随机梯度（SG）算法的自适应实现，并介绍了一种新的自动秩选择方法的BER标准的基础上。直接序列码分多址（DS-CDMA）系统的仿真结果表明，所提出的自适应算法明显优于现有的方案。
2013-02-17 cs.IT math.IT
Conditional graph entropy as an alternating minimization problem
本文将条件图熵表述为交替最小化问题，提出了数值计算的迭代算法，揭示了其作为凸角优化问题解的更一般框架，并给出了对偶问题以进行最优性检查和误差界定。
2023-09-11 cs.IT math.CO math.IT
Message-Passing Algorithms for Quadratic Minimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Yale University（耶鲁大学）
高斯置信传播（GaBP）是一种迭代算法，用于计算多元高斯分布的平均值，或者等价地，计算多元正定二次函数的最小值。保证GaBP的收敛性和正确性的充分条件，如可行走求和性，是已知的，但GaBP可能无法收敛到正确的解决方案，给定一个任意的正定二次函数。正如在以前的工作中所观察到的，GaBP算法无法收敛，如果算法产生的计算树不是正定的。在这项工作中，我们将证明GaBP算法的故障模式可以通过图覆盖来理解，并且我们证明了最小和算法的参数化推广可以用于确保计算树在输入矩阵正定时保持正定。我们证明，所得到的算法是密切相关的其他迭代计划，如二次最小化的高斯-赛德尔和雅可比算法。最后，根据经验，我们观察到，总是存在一个参数的选择，使得GaBP算法的上述推广收敛。
2012-12-02 cs.IT cs.LG math.IT
Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization
State Key Laboratory of Internet of Things for Smart City and the Department of Electrical and Computer Engineering, University of Macau（物联网智能城市国家重点实验室和澳门大学电子与计算机工程系）；Department of Electrical and Computer Engineering, Cornell Tech, Cornell University（电气与计算机工程系，康奈尔科技，康奈尔大学）；Computing Sciences Research, Lawrence Berkeley National Laboratory（计算科学研究所，劳伦斯伯克利国家实验室）
本文提出通过KL散度度量高斯混合模型发布精度，结合差分隐私机制，在保证隐私安全的同时保持模型效用。
2026-10-16 cs.CR cs.IT cs.LG
Divergence-Minimization for Latent-Structure Models: Monotone Operators, Contraction Guarantees, and Robust Inference
本文提出发散最小化框架，通过残差调整发散量实现稳健推断，结合惩罚准则和样本分割确定混合组件数量，展示其在混合和图像分割任务中的稳定性与准确性。
2025-11-22 cs.IT math.IT math.OC
On Learning Mixture of Linear Regressions in the Non-Realizable Setting
Halıcıoğlu Data Science Institute (HDSI), UC San Diego（加州大学圣地亚哥分校哈利奇奥卢数据科学研究所）；Google Research, India（谷歌研究院（印度））；Google Research, USA（谷歌研究院（美国））
虽然混合线性回归（MLR）是一个很好的研究课题，以前的作品通常不分析这样的模型的预测误差。事实上，{ \em预测}和{ \em损失}在混合物的上下文中没有很好地定义。在本文中，我们首先展示了MLR可以用于预测，其中模型预测的不是标签，而是值列表（也称为{ \em列表解码}）。列表大小等于混合物中组分的数目，损失函数被定义为所有组分模型导致的损失中的最小值。我们表明，与此定义，解决方案的经验风险最小化（ERM）实现小概率的预测误差。这需要一种算法来最小化MLR的经验风险，这在计算上是困难的。MLR中的现有算法工作集中于{ \em可实现}设置，即，当数据由混合线性（噪声）模型概率生成时，参数的恢复。在本文中，我们表明，一个版本的流行的交替最小化（AM）算法发现最佳拟合线的数据集，即使当一个可实现的模型是不假设的，在一些正则条件下的数据集和初始点，从而提供了一个解决方案的ERM。我们还提供了一个算法，在多项式时间内运行的数据点的数量，并恢复一个很好的近似的最佳拟合线。对这两种算法进行了实验比较。
2022-05-26 cs.IT cs.LG math.IT
The Role of Early Sampling in Age of Information Minimization in the Presence of ACK Delays
针对ACK随机延迟使发射机无法即时获知信道状态的问题，本文研究平均信息年龄最小化的最优采样策略，证明ACK到达前早期采样可能最优，并给出其为两种阈值策略混合的条件。
2023-08-15 cs.IT cs.NI cs.SY
