Neural Estimation and Optimization of Directed Information over Continuous Spaces

连续时间中的有向信息、因果估计和通信

Directed Information, Causal Estimation, and Communication in Continuous Time

提出了两个连续时间过程间有向信息的概念。定义中的一个关键组成部分是在时间间隔的所有可能分区上取下确界，其作用不亚于互信息定义中固有的“空间”分区上确界。属性和业务的解释，估计和通信，然后建立所提出的概念，有向信息。对于连续时间加性高斯白噪声信道，它表明，邓肯的因果估计和信息之间的经典关系继续保持在反馈的存在下，取代互信息的有向信息。一个并行的结果是建立泊松通道。这种关系的效用，然后证明在计算有向信息率之间的输入和输出过程的连续时间泊松信道的反馈，其中信道输入过程被约束为恒定的事件之间的信道输出。最后，通过有向信息建立了一类具有反馈的连续时间信道的容量，表征了可靠通信的基本限制。

$k$-NN Estimation of Directed Information

This report studies data-driven estimation of the directed information (DI) measure between two{em discrete-time and continuous-amplitude} random process, based on the $k$-nearest-neighbors ($k$-NN) estimation framework. Detailed derivations of two $k$-NN estimators are provided. The two estimators differ in the metric based on which the nearest-neighbors are found. To facilitate the estimation of the DI measure, it is assumed that the observed sequences are (jointly) Markovian of order $m$. As $m$ is generally not known, a data-driven method (that is also based on the $k$-NN principle) for es…

有噪压缩感知中检测引导的估计方法研究

On Detection-Directed Estimation Approach for Noisy Compressive Sensing

在本文中，我们研究了贝叶斯稀疏重建算法称为压缩感知通过贝叶斯支持检测（CS-BSD）。该算法对测量噪声具有很强的鲁棒性，并且在一定的信噪比阈值之外具有最小均方误差（MMSE）估计器的性能。CS-BSD的核心思想是重构采用了一种面向检测的估计结构，包括两部分：支持检测和信号值估计。置信传播（BP）和贝叶斯假设检验执行支持检测，并且MMSE估计器找到属于支持集的信号值。CS-BSD比其他基于BP的算法收敛得更快，并且它可以转换为并行架构以变得更快。数值结果验证了CS-BSD的优越性相比，最近的算法。

基于贝叶斯假设检验和置信传播的检测导向稀疏估计

Detection-Directed Sparse Estimation using Bayesian Hypothesis Test and Belief Propagation

在本文中，我们提出了一种稀疏恢复算法称为检测导向（DD）稀疏估计使用贝叶斯假设检验（BHT）和信念传播（BP）。在这个框架中，我们考虑使用稀疏二进制传感矩阵，它具有树状属性和采样消息的方法来实现BP。该算法的核心思想是，恢复采用DD估计结构，包括两个部分：支持检测和信号值估计。BP和BHT执行支持检测，并且MMSE估计器使用检测到的支持集找到信号值。所提出的算法提供了噪声鲁棒性对测量噪声超出传统的MAP方法，以及解决方案，以消除量化效果的采样消息为基础的BP独立的内存大小的消息采样。我们通过示例性讨论解释了所提出的算法如何具有上述特性。此外，我们的实验验证了这种优越性的算法相比，最近的算法在嘈杂的设置。有趣的是，实验结果表明，所提出的算法的性能接近的oracle估计信噪比变得更高。

有向信息的泛估计

Universal Estimation of Directed Information

基于普适概率分配，提出了一对联合平稳遍历有限字母表过程间有向信息率的四种估计。第一个是Shannon-McMillan-Breiman型估计量，类似于Verdú（2005）和Cai，Kulkarni和Verdú（2006）用于估计其他信息度量的估计量。我们证明了几乎必然和$L_1$收敛性质的估计任何潜在的普遍概率分配。其他三个估计映射普遍的概率分配到不同的泛函，每一个表现出相对的优点，如平滑，非负性和有界性。我们建立了这些估计的一致性几乎肯定和$L_1$的意义上，并推导出近最优的收敛速度在极小极大意义下，在温和的条件。这些估计结转直接估计平稳遍历有限字母表过程的其他信息措施，如熵率和互信息率，接近最优的性能，并提供替代经典的方法在现有文献中。这些理论结果的指导下，建议的估计实现使用上下文树加权算法作为普遍的概率分配。合成和真实数据上的实验，展示了潜在的所提出的计划在实践中和实用的有向信息估计检测和测量因果关系的影响和延迟。

未编码/编码SISO和MIMO系统的相位噪声估计

Phase Noise Estimation for Uncoded/Coded SISO and MIMO Systems

在发射机和接收机处的非理想振荡器引入了时变相位噪声，该时变相位噪声以非线性方式与所发射的数据相互作用。相位噪声成为一个有害的问题，需要进行估计和补偿。在本论文中，接收机算法的推导和评估，以减轻在数字通信系统中的相位噪声的影响。第三章研究了单输入单输出（SISO）系统的相位噪声估计问题。首先，硬判决定向扩展卡尔曼滤波器（EKF）被施加到一个未编码的系统。接下来，使用期望最大化（EM）框架的编码系统的迭代接收机算法执行码辅助Turbo同步。两个软决策直接估计在文献中的卡尔曼滤波的基础上进行评估。低密度奇偶检验（LDPC）码被用来计算边缘后验概率和构造软判决符号。通过仿真比较了两种估计器的出错率性能。第四章研究了多输入多输出（MIMO）系统中的相位噪声估计问题。首先，一个低复杂度的硬判决引导的EKF应用到未编码的系统。其次，提出了一种基于EM框架的编码MIMO系统联合估计和检测接收算法。提出了一种低复杂度的软判决引导的扩展卡尔曼滤波器和平滑器（EKFS），跟踪相位噪声参数在一个帧，以执行最大化步骤。建议EKFS为基础的方法相结合的迭代检测器，利用比特交织编码调制，并采用LDPC码。最后，仿真结果证实，所提出的基于EM的方法的出错率性能接近于在低到中等信噪比下相位噪声的完美知识的情况。