A modified probabilistic amplitude shaping scheme to use sign-bit-like shaping with a BICM
一方面，符号位整形是一种流行的整形方案，其中使符号位的条件概率为非等概率。另一方面，概率幅度整形（PAS）是一种流行的编码方案，其将整形和比特交织编码调制（BICM）相结合，其中符号比特不应参与整形。实际上，对于PAS方案，符号位是奇偶校验位，即，系统纠错码的输出。因此，符号位整形已经与多级编码调制而不是BICM一起使用。在本文中，我们表明，与微小的修改，它是可能的，使用符号位的形状与BICM。仿真结果提供了5G NR LDPC BICM方案。
2023-02-28 cs.IT math.IT
Estimation of Bandlimited Signals in Additive Gaussian Noise: a "Precision Indifference" Principle
研究了在加性独立高斯噪声影响下动态范围受限信号的采样、量化和估计问题。对于带限信号，由于加性独立高斯噪声的失真可以通过过采样（统计分集）来减少。在这项工作中，逐点期望均方误差被用作信号估计的失真度量。考虑量化器精度的两种极端情况：（i）无限精度（实标量）;和（ii）一位量化（符号信息）。如果$N$是相对于奈奎斯特速率的过采样率，则失真的最佳规律是$O(1/N)$。我们表明，失真的$O(1/N)$可以实现的量化器精度无关，通过考虑上述两个极端的情况下的量化。因此，一个量化精度无差异原则被发现，其中的重建失真的法律，直到一个比例常数，是不受量化器的精度。
2012-11-28 cs.IT math.IT
Shaping Bits
具有比特整形的比特交织编码调制（BICM）（即，基础二进制码中的非等概率比特概率）。对于高斯信道，利用BICM和比特整形可实现的速率实际上与编码调制或多级编码的速率相同。这个恒等式适用于信噪比值的整个范围。此外，BICM的随机编码误差指数明显超过了多级编码，与编码调制非常接近。
2010-01-18 cs.IT math.IT
Constellation Shaping for Bit-Interleaved LDPC Coded APSK
提出了一种能量有效的比特交织低密度奇偶校验（LDPC）编码幅度相移键控（APSK）系统整形方法。由二进制LDPC编码器输出的交织比特的子集通过非线性成形编码器，该非线性成形编码器的输出更可能是零而不是一。“整形”比特用于从多个子星座中进行选择，而未整形比特用于选择子星座内的符号。因为整形比特是有偏的，所以来自较低能量子星座的符号比来自较高能量子星座的符号更频繁地被选择。迭代解码器在LDPC解码器、APSK解映射器和整形解码器之间共享信息。信息速率计算的离散集的APSK环半径和成形比特概率，并确定这些参数的最佳组合的加性高斯白噪声（AWGN）信道。借助外部信息传输（EXIT）图，LDPC码的度分布进行了优化，以与成形的APSK星座一起使用。仿真结果表明，整形，度分布优化和迭代解码的组合可以实现超过1 dB的增益在AWGN的速率为3比特/符号相比，系统，不使用整形，使用未优化的代码从DVB-S2标准，并没有解码器和解调器之间的串扰。
2012-07-10 cs.IT math.IT
Probabilistic Signal Shaping for Bit-Metric Decoding
提出了一种将概率信号整形与比特度量解码相结合的方案。发射机根据信道输入字母表上的分布生成符号。符号由位串标记。在接收机处，信道输出相对于比特度量被解码。使用随机编码自变量导出可实现的速率。对于8-ASK AWGN信道，数值结果表明，在2bits/s/Hz的频谱效率下，新方案分别比没有整形的比特交织编码调制（BICM）和具有比特整形的BICM（i Fabregas和Martinez，2010）好0.87dB和0.15dB，并且在编码调制容量的0.0094dB内。新方案通过将分布匹配器与系统化的二进制低密度奇偶校验码相结合来实现。测得的有限长度的增益是非常接近的渐近理论预测的增益。
2014-04-20 cs.IT math.IT
A simple Sign-Bit Probabilistic Shaping Scheme
我们提出了一种新的成形方案的高斯信道的复杂性是一个二进制分布匹配器（DM）的一半。得到的结果如下：我们首先表明，大部分的整形增益可以通过一个简化版本的符号位整形，它只使用两个非均匀的二进制源。这是通过考虑符号的逐步麦克斯韦-玻尔兹曼分布来实现的。两个二进制源之一的参数$p$接近0。因此，我们描述了一个二进制DM明确利用这方面的优势，并具有可以忽略不计的复杂性。由于两个二进制源以相等的概率交替使用，所提出的成形方案的复杂度是第二个二进制DM的一半。
2022-01-17 cs.IT math.IT
Bit-Metric Decoding of Non-Binary LDPC Codes with Probabilistic Amplitude Shaping
提出了一种结合高阶调制和概率幅度成形的非二进制低密度奇偶校验（NB-LDPC）码的新方法。代替符号度量解码（SMD），使用比特度量解码器（BMD），使得不需要将非二进制码的字段顺序与星座大小相匹配，这增加了编码方案的灵活性。信息速率，密度演化阈值和有限长度的模拟表明，灵活性来在没有损失的性能，如果PAS使用。
2018-09-11 cs.IT math.IT
Sign-Bit Shaping Using Polar Codes
提出了一种适用于高阶调制的新的极化编码方案。所提出的方案基于具有自然标记的多级编码（MLC），其中根据先前的比特级来生成与符号比特相对应的比特级，使得调制符号根据目标非均匀分布来分布，从而导致整形增益。这是通过用连续消除（SC）解码器替换符号比特级中的极化编码器来实现的，使得与具有极化码的传统MLC方案相比，总体复杂度没有增加。数值仿真结果表明，所提出的方法相比，传统的传输方案具有均匀的符号分布显着的性能改善。通过使用更复杂的解码器（例如SC列表解码器），所提出的方案优于Gallager的随机编码界。
2019-10-29 cs.IT math.IT
Dirty Paper Coding using Sign-bit Shaping and LDPC Codes
脏纸编码（DPC）是指用于在多用户通信系统的发射机处预减去已知干扰的方法。DPC有许多应用，包括用于广播信道的编码。最近，基于格的编码技术已经为DPC提供了几种设计。在基于格的DPC中，有两种代码-定义用于整形的格的卷积码和用于信道编码的纠错码。最近的文献中报道了几种具体的设计，使用卷积和基于图的代码来获得接近容量的整形和编码增益。在大多数报告的设计中，编码器工作在成形和信道码的联合网格上，或者解码器需要成形和信道解码器之间的迭代。这导致实施的高度复杂性。在这项工作中，我们提出了一个基于格的DPC计划，提供了良好的成形和编码增益与适度的复杂性在编码器和解码器。我们使用卷积码的符号位整形，和低密度奇偶检验（LDPC）码的信道编码。关键的想法是引入一个码字延迟和在发送端仔细解析比特，这使得LDPC解码器能够首先在接收端运行。这提供了增益，而不需要整形和信道解码器之间的迭代。仿真结果证实，在高速率下，所提出的DPC方法以适度的复杂度执行接近容量。作为所提出的DPC方法的应用，我们展示了一种叠加编码设计，该设计提供比高斯广播信道上的分时更好的速率。
2010-01-20 cs.IT math.IT
Time Encoding Quantization of Bandlimited and Finite-Rate-of-Innovation Signals
本文研究IF-TEM采样器中量化对带限和FRI信号的影响，推导MSE上界并与经典ADC比较，发现提高信号最大频率或脉冲数可减小量化步长，在特定参数下IF-TEM的MSE界比同比特经典ADC低约8 dB。
2024-05-01 cs.IT eess.SP math.IT
1-Bit Unlimited Sampling Beyond Fourier Domain: Low-Resolution Sampling of Quantization Noise
本文提出一种超越傅里叶域的1比特无限采样架构，通过推广噪声整形并开发变换域恢复方法，在降低过采样要求的同时提升鲁棒性，扩展了1比特采样系统的适用范围。
2025-09-08 cs.IT eess.SP math.IT
Regime Change: Bit-Depth versus Measurement-Rate in Compressive Sensing
最近引入的压缩感知（CS）框架使数字信号采集系统能够利用超出带宽限制的信号结构。实际上，稳定重建所需的CS测量的数量比奈奎斯特速率更接近信号复杂度的数量级。到目前为止，CS理论一直专注于实值测量，但在实践中，测量被映射到来自有限字母表的位。此外，在许多潜在的应用中，测量比特的总数受到约束，这意味着在测量的数量和每次测量的比特数量之间进行权衡。我们在本文中研究这种情况，并表明存在两个不同的制度，对应于高/低的信号噪声比（SNR）的操作。在测量压缩（MC）机制中，高SNR有利于以每次测量更多比特来获取更少的测量;在量化压缩（QC）机制中，低SNR有利于以每次测量更少比特来获取更多的测量。我们的分析和实验令人惊讶的是，在许多实际应用中，最好在QC机制下操作，甚至每次测量仅采集1位。
2011-10-16 cs.IT math.IT
On Product Codes with Probabilistic Amplitude Shaping for High-Throughput Fiber-Optic Systems
概率幅度整形（PAS）可以灵活地改变光纤系统的频谱效率（SE）。在本文中，我们展示了PAS逐位硬判决译码（HDD）的乘积码（PC）的应用，通过找到必要的条件来选择PC分量码。我们表明，PAS与PC和HDD产量收益高达$2.7$ dB和SE改善高达约$1$位/通道使用相比，使用PC与统一的信令和HDD。此外，我们采用最近推出的迭代有界距离解码与PC的组合可靠性，以提高性能的PAS与PC和HDD。
2020-07-23 cs.IT math.IT
Zero-Crossing Precoding With Maximum Distance to the Decision Threshold for Channels With 1-Bit Quantization and Oversampling
低分辨率设备对于物联网系统中要求低能耗和低复杂性的系统来说是有希望的。在这项研究中，我们提出了一种新的波形带限信道1位量化和过采样的接收机。所提出的方法意味着，该信息是在零交叉的时间实例内传达的，该零交叉然后与格雷编码方案结合使用。与现有方法不同，所提出的方法不需要优化和传输动态码本。所提出的方法在比特出错率方面优于最先进的方法。
2019-10-22 cs.IT eess.SP math.IT
On the Performance of Direct Shaping Codes
在这项工作中，我们研究了最近提出的直接成形代码的闪存。该速率-1代码旨在通过在存储结构化数据时最小化编程单元的平均分数来减少SLC（每个单元一位）闪存的磨损。然后，我们描述了这种算法的适应，提供MLC（每单元两位）闪存的数据整形。它使用了一个页面相关的成本模型，并被设计为与逐行、基于页面的并行编程的标准过程兼容。我们还给出了实验结果，证明MLC数据整形码的性能时，适用于英文和中文文本。然后，我们研究了潜在的错误传播特性的直接成形代码时，在嘈杂的闪存设备中使用。特别是，我们模型的误差传播作为一个有偏的随机游走在多维空间。我们证明了一个上界的错误传播概率，并提出了一个算法，可以在数值上接近下界。最后，我们研究了直接成形码的渐近性能。我们证明了SLC直接成形码是次优的意义上说，它只能实现最小的平均成本率为1的代码在一定条件下的源分布。
2020-07-10 cs.IT math.IT
Power- and Spectral Efficient Communication System Design Using 1-Bit Quantization
近年来，提高通信系统的功率效率和频谱效率一直是主要的研究目标之一。然而，在同时实现这两个目标时需要权衡。在这项工作中，我们考虑的联合优化的功率放大器和脉冲整形滤波器在单输入单输出（SISO）加性高斯白噪声（AWGN）信道使用1位模数（ADC）和数模（DAC）转换器。优化的目标是选择最佳的系统参数，以便最大化所需的品质因数（FOM），该品质因数是功率效率和频谱效率的乘积。仿真结果给出了在选择脉冲成形滤波器和功率放大器的最佳参数，以最大化所需的FOM的见解。
2017-06-27 cs.IT math.IT
Post-FEC BER Benchmarking for Bit-Interleaved Coded Modulation with Probabilistic Shaping
本文针对带概率整形的比特交织编码调制系统，在失配解码下定义广义L值，阐明NGMI、ASI与可实现FEC速率的关系，并证明ASI比pre-FEC BER更能预测post-FEC BER。
2020-04-24 cs.IT eess.SP math.IT
Geometric Constellation Shaping for Phase-noise Channels Using a Differentiable Blind Phase Search
我们使用二进制自动编码器，包括差分盲相位搜索（BPS）进行几何星座成形与优化的比特标记。我们的方法使光相干收发器的完整的端到端的培训，同时考虑到数字信号处理。
2021-12-06 cs.IT eess.SP math.IT
Geometric Constellation Shaping for Fiber Optic Communication Systems via End-to-end Learning
本文研究了一种无监督的几何星座成形机器学习方法。通过在两个神经网络中嵌入可微分光纤信道模型，学习算法针对几何星座形状进行优化。学习的星座产生改进的性能，以最先进的几何形状的星座，并包括放大噪声和非线性效应之间的隐式权衡。此外，该方法允许与星座形状同时地联合优化系统参数，诸如最佳发射功率。一个实验证明了这一发现。改进的性能报告，高达0.13位/4D的模拟和实验高达0.12位/4D。
2018-10-01 cs.IT math.IT stat.ML
Helper Data Schemes for Coded Modulation and Shaping in Physical Unclonable Functions
针对实值读出PUF，本文提出兼容编码调制与成形的新型辅助数据及一般S度量方案，减少辅助数据并提升可靠性，实验表明可达2 bit/node。
2024-02-29 cs.IT math.IT
Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features
University of California San Diego（加州大学圣地亚哥分校）
我们建议使用低位深Σ-Δ和分布式噪声整形方法来量化与移位不变内核相关的随机傅立叶特征（RFFs）。我们证明，我们的量化RFFs -即使在$1$位量化的情况下-允许一个高精度的近似的底层内核，和近似误差衰减至少多项式快的RFFs的尺寸增加。我们还表明，量化的RFFs可以进一步压缩，产生一个很好的权衡内存使用和精度之间。也就是说，近似误差现在作为所使用的比特的函数呈指数衰减。此外，我们经验表明，通过测试我们的方法在几个机器学习任务上的性能，我们的方法相比，在这种情况下，其他国家的最先进的量化方法。
2022-04-13 cs.IT cs.LG math.IT
Sequence-Selection-Based Constellation Shaping for Nonlinear Channels
本文针对非线性光纤信道，利用序列选择挖掘概率成形的非线性增益，并分析其与 FEC、复杂度及载波相位恢复的关系。
2024-01-18 cs.IT eess.SP math.IT
Performance Metrics for Systems with Soft-Decision FEC and Probabilistic Shaping
针对概率整形光通信系统，本文提出基于单比特信号分布及非对称对数似然比的post-FEC BER预测指标，仿真显示其精度较归一化AIR提升逾10倍。
2017-10-02 cs.IT math.IT physics.optics
Compressed Shaping: Concept and FPGA Demonstration
本文提出结合数据压缩与概率成形的压缩成形技术，利用非均匀信源降低信道输入符号熵，并通过仿真和 FPGA 实现验证其可显著降低 FEC 解码功耗。
2021-04-28 cs.IT eess.SP math.IT
Information Rates for Faster-Than-Nyquist Signaling with 1-Bit Quantization and Oversampling at the Receiver
过采样结合低量化分辨率已被证明是一个可行的选择时，在多千兆位/秒的通信系统的能源效率的目标。这项工作考虑了1位量化与过采样相结合的情况，并显示了如何使用匹配的脉冲整形滤波器和比奈奎斯特信号更快地提高这样一个系统的性能。信道被认为是与加性高斯噪声和系统的性能进行评估，在可实现的信息速率下，逐符号检测。
2016-04-12 cs.IT math.IT
New Algorithms and Improved Guarantees for One-Bit Compressed Sensing on Manifolds
我们研究的问题近似恢复信号的流形上从一位线性测量得出的高斯系综，部分循环系综，或有界正交系综和量化使用西格玛-德尔塔或分布式噪声整形方案。我们假设我们给出了一个几何多分辨率分析，它近似的流形，我们提出了一个凸优化算法的信号恢复。我们证明了一个上限的恢复误差优于以前的作品，使用无记忆标量量化，需要一个更简单的分析，并扩展类的测量超出高斯。最后，我们用数值实验来说明我们的结果。
2019-04-24 cs.IT math.IT
Spectral Efficient Communications employing 1-Bit Quantization and Oversampling at the Receiver
为了放宽在多吉比特/秒通信系统中的功耗要求，可以使用低分辨率量化。信息理论的结果表明，系统采用1位量化和过采样是一个可行的选择。本文研究了加性高斯噪声和两个匹配的脉冲成形滤波器的影响下，这样的结构。它描述了一个BCJR算法，基于有限状态信道假设，可以用来重建更高阶的调制方案，允许每个符号的一个以上的比特的传输的符号。此外，它示出了如何符号源，适合1位约束可以显着提高系统的出错率性能。
2016-04-12 cs.IT math.IT
End-to-end Optimization of Constellation Shaping for Wiener Phase Noise Channels with a Differentiable Blind Phase Search
本文通过可微分盲相位搜索实现 Wiener 相位噪声信道下几何与概率星座的端到端联合优化，提出无导频鲁棒调制方案，并在 64 进制系统中取得显著增益。
2023-04-21 cs.IT eess.SP math.IT
Geometric Shaping of 2-Dimensional Constellations in the Presence of Laser Phase Noise
在本文中，我们提出了一种几何成形（GS）策略，设计8，16，32和64进制调制格式的光纤信道中受到加性白高斯（AWGN）和相位噪声。星座进行了优化，以最大限度地提高广义互信息（GMI）使用不匹配的信道模型。所提出的格式表现出增强的信号噪声比（SNR）的宽容度在高相位噪声制度相比，其正交幅度调制（QAM）或AWGN优化的同行。通过把优化结果的上下文中的400 ZR实施协议，我们表明，GS单独可以放宽激光线宽（LW）或载波相位估计（CPE）的要求，400 Gbit/s的传输链路及以上。在GMI验证之后，根据根据400 ZR实施协议实施的软判决（SD）扩展汉明码（128，120）的后前向纠错（FEC）误码率（BER）检查了所呈现格式的性能。我们展示了高达1.2 dB的增益相比，64进制AWGN形格式。
2020-07-20 cs.IT math.IT
An Optimal Family of Exponentially Accurate One-Bit Sigma-Delta Quantization Schemes
Sigma-Delta调制是一种用于带限信号的模数转换的流行方法，其采用与过采样耦合的粗量化。用于该方法的误差分析的标准数学模型通过作为过采样率$λ$的函数的相关重构误差衰减的速率来测量给定方案的性能。最近表明，$O(2^{-rλ})$形式的指数精度可以通过适当的一位Σ-Δ调制方案来实现。根据一般信息熵参数，$r$必须小于1。目前已知的$r$的最佳值约为0.088。为达到这种精度而设计的方案采用了“贪婪”量化规则，再加上反馈滤波器，这些滤波器属于我们称为“最小支持”的一类。在本文中，我们研究的最小化问题，对应于优化这类反馈滤波器的误差衰减率。我们解决了这个问题的放松版本，并提供明确的渐近的解决方案。从这些放松的解中，我们找到了原问题的渐进最优解，这将已知的最佳指数误差衰减率提高到$r \approx 0.102$。我们的方法借鉴了正交多项式的理论，特别是，它涉及到最佳滤波器的第二类切比雪夫多项式的零集。
2010-01-28 cs.IT math.CA math.IT
BICM-compatible Rate Adaptive Geometric Constellation Shaping Using Optimized Many-to-one Labeling
提出并实验验证了一种与BICM兼容的速率自适应几何星座整形方案，通过优化QAM点位置和标签实现高信息速率，在非线性信道中性能与PAS相当，并显著优于传统QAM。
2024-03-13 cs.IT eess.SP math.IT
Multi-dimensional Energy Limitation in Sphere Shaping for Nonlinear Interference Noise Mitigation
本文提出四维能量限制的枚举球形整形方法，用于降低速率损失并抑制非线性干扰，在单跨段和WDM仿真中比传统ESS提升0.19 bit/4D-symbol，但增益在多跨段系统中扩展性有限。
2023-11-29 cs.IT eess.SP math.IT
High-Capacity and Low-PAPR BICM-OFDM Systems Using Non-Equiprobable and Non-Uniform Constellation Shaping With Clipping and Filtering
Graduate School of Engineering, The University of Osaka（大阪大学大学院工学研究科）
本文提出了一种结合非均匀星座塑形、裁剪和滤波的BICM-OFDM系统，实现低PAPR和高频谱效率。
2026-01-19 cs.IT eess.SP math.IT
One and Two Bit Message Passing for SC-LDPC Codes with Higher-Order Modulation
低复杂度解码算法是满足超过1 Tbps的数据率要求所必需的。本文研究了低密度奇偶校验（LDPC）码的信度传播译码的一比特和二比特消息传递算法，并利用密度演化理论对其进行了分析。可变节点（VN）利用来自信道输出的软信息。为了减少数据流，校验节点（CN）和VN之间交换的消息由一个或两个比特表示。新提出的四元消息传递（QMP）算法进行了比较渐近和有限长度的模拟二进制消息传递（BMP）和三进制消息传递（TMP）的频谱高效通信与高阶调制和概率幅度整形（PAS）。为了展示高吞吐量前向纠错的潜力，考虑了空间耦合的LDPC码和3比特/QAM符号的目标频谱效率（SE）。与BMP和TMP相比，分别观察到约0.7 dB和0.1 dB的增益。与未量化的置信传播（BP）解码的间隙减小到约0.75dB。对于较小的码率，QMP的增益与TMP相比更显著，并且在所考虑的示例中达到0.24 dB。
2019-10-17 cs.IT math.IT
Increasing Data Rate through Shaping on Wireless Channels Subject to Mobility and Delay Spread
Duke University（杜克大学）
本文通过结合非等概率信号与LDPC编码，提高无线信道在小区边缘的传输速率，实现20%的速率提升。
2026-02-02 cs.IT eess.SP math.IT
On Trajectory-Based Stability Analysis for $1$-bit Sigma-Delta Quantization and its Application to the Second-Order Case
本文提出了一种基于轨迹的稳定性分析方法，用于1位Sigma-Delta量化，并展示了其在二次情况中的应用，改进了传统基于l1范数的稳定性条件。
2026-05-16 cs.IT math.IT
End-to-end Learning for GMI Optimized Geometric Constellation Shape
提出了基于自动编码器的几何整形，包括优化比特映射。对于各种数据率和存在收发器损伤的情况，在GMI中实现高达0.2比特/QAM符号增益。增益可以收获与标准的二进制FEC在没有成本w.r.t.常规BICM。
2019-07-19 cs.IT eess.SP math.IT
Geometric Constellation Shaping for Fiber-Optic Channels via End-to-End Learning
本文在分步傅里叶方法建模的光纤信道上，比较了基于容积卡尔曼滤波器的无梯度优化、无模型优化与反向传播在端到端学习中的表现，并分析了转换器有限比特分辨率量化对几何整形星座的影响。
2023-05-17 cs.IT eess.SP math.IT
Near Capacity Signaling over Fading Channels using Coherent Turbo Coded OFDM and Massive MIMO
推导了在衰落信道中无差错传输所需的最小平均信噪比（SNR），并证明了该信噪比等于加性高斯白噪声（AWGN）信道的SNR，即$-1.6$ dB。针对Turbo编码的多输入多输出（MIMO）正交频分复用（OFDM）系统，提出了一种用于定时和载波同步以及信道估计的离散时间算法。仿真结果表明，使用两个发射天线和两个接收天线，在每比特平均SNR为5.5 dB时，可以实现$10^{-5}$的出错率。然后，我们提出了一种近容量信令方法，其中每个发射天线使用不同的载波频率。使用近容量的方法，我们表明，它是可能的，以实现$2\times 10^{-5}$的BER在平均SNR每比特仅为2.5 dB，每个发射天线一个接收天线。当每个发射天线的接收天线的数目增加到128时，则在1.25 dB的每比特平均SNR下获得$2\times 10^{-5}$的BER。在所有情况下，发射天线的数量为2，并且频谱效率为1比特/传输或1比特/秒/Hz。换句话说，每个发射天线发送0.5比特/传输。只要每个发射天线使用不同的载波频率，就可以通过增加发射天线的数量来获得更高的频谱效率，而不会损失BER性能。近容量方法的发射信号频谱可以通过脉冲整形来限制。在所有的仿真中，使用了四状态Turbo码。对应的turbo解码器使用八次迭代。该算法可以在可编程硬件上实现，并且有很大的并行处理范围。
2017-11-28 cs.IT math.IT
Autoencoder-Based Error Correction Coding for One-Bit Quantization
University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出了一种基于深度学习的AWGN信道纠错编码方案，该方案在接收端采用1比特量化约束。具体来说，它首先表明，最佳的纠错码，最大限度地减少了比特错误的概率，可以通过完美地训练一个特殊的自动编码器，其中“完美”是指收敛的全局最小值。然而，在大多数情况下，完美的训练是不可能的。为了接近具有次优训练的完美训练的自动编码器的性能，我们提出利用turbo码作为隐式正则化，即，使用turbo码和自动编码器的级联。经验表明，这种设计提供了几乎相同的性能，假设完美训练的自动编码器，我们也提供了一个理论证明，为什么是这样的。所提出的编码方法与集成（外部）Turbo码一样具有带宽效率，因为自动编码器利用了来自脉冲整形的多余带宽，并且由于神经网络中的稀疏性而更智能地打包信号。我们的研究结果表明，建议的编码方案在有限的块长度优于传统的Turbo码，即使QPSK调制。此外，所提出的编码方法可以使一位量化操作，甚至为16-QAM。
2019-09-24 cs.IT cs.LG eess.SP
Approximation of functions with one-bit neural networks
Courant Institute, New York University（纽约大学柯朗研究所）；City University of New York, City College（纽约城市大学城市学院）
著名的神经网络的通用逼近定理粗略地说，任何合理的函数可以被一个网络任意地很好地逼近，该网络的参数是适当选择的实数。本文研究了一位神经网络的逼近能力-那些非零参数是$\pm a$的一些固定的$a\not=0$。我们的一个主要定理表明，对于任何具有$\|f\|_\infty<1$和错误$\varepsilon$的$f\in C^s([0,1]^d)$，存在一个$f_{NN}$，使得对于远离$[0,1]^d$边界的所有$\boldsymbol{x}$，$|f(\boldsymbol{x})-f_{NN}(\boldsymbol{x})|\leq \varepsilon$，并且$f_{NN}$可以由具有$O(\varepsilon^{-2d/s})$参数的$\{\pm 1\}$二次网络或具有$O(\varepsilon^{-2d/s}\log (1/\varepsilon))$参数的$\{\pm \frac 1 2 \}$ ReLU网络实现，如$\varepsilon\to0$。我们建立了迭代多变量Bernstein算子的新近似结果，Bernstein基础上噪声整形量化的误差估计，以及一位二次和ReLU神经网络的Bernstein多项式的新实现。
2023-03-16 cs.IT cs.LG cs.NA
Fast binary embeddings, and quantized compressed sensing with structured matrices
本文研究了压缩感知中的距离保持二值嵌入和量化两个相关问题。首先，我们提出了快速的方法来取代点的子集$\mathcal{X} \subset \mathbb{R}^n$，与欧几里德度量，与点的立方体$\{\pm 1\}^m$，我们将立方体与一个伪度量，近似欧几里德之间的距离在$\mathcal{X}$。我们的方法依赖于量化快速约翰逊-林登施特劳斯嵌入的基础上有界正交系统和部分循环系综，这两个承认快速变换。我们的量化方法利用噪声整形，包括Σ-Δ方案和分布式噪声整形方案。在$m$中，所产生的近似误差以多项式和指数形式快速衰减，具体取决于嵌入方法。这大大优于当前与二进制嵌入和汉明距离相关的衰减率。此外，这是第一个这样的二进制嵌入的结果，适用于快速约翰逊-林登施特劳斯映射，同时保持$\ell_2$规范。其次，我们再次考虑噪声整形方案，尽管这一次是为了消除由有界正交系综和部分循环矩阵产生的压缩感知测量。我们表明，这些方法产生的重建误差，再次衰减的测量（和位）的数量，当使用凸优化重建。具体来说，对于Sigma-Delta方案，误差随测量次数呈多项式衰减，而对于基于Beta编码的分布式噪声整形方案，误差呈指数衰减。这些结果是近最优的，第一次处理有界正交系统。
2018-07-18 cs.IT eess.SP math.IT
