MedCodER: A Generative AI Assistant for Medical Coding
Deloitte & Touche Assurance & Enterprise Risk Services India Private Limited（德勤华永保险与企业风险服务印度私人有限公司）；Deloitte & Touche LLP（德勤有限责任合伙事务所）；University of Notre Dame（圣母大学）
本文提出MedCodER，一个结合抽取、检索和重排序技术的生成式AI医学编码框架，在ICD代码预测上达到0.60的micro-F1分数，优于现有方法，并发布了含证据标注的新数据集。
2024-09-18 cs.AI cs.CL cs.ET
Generative Joint Source-Channel Coding for Semantic Image Transmission
Imperial College London（帝国理工学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
最近的工作表明，使用深度神经网络（DNN）的联合信源信道编码（JSCC）方案（称为DeepJSCC）在无线图像传输中提供了有希望的结果。然而，这些方法主要集中在相对于输入图像的重构信号的失真，而不是它们的感知由人类。然而，仅仅关注传统的失真度量不一定会导致高感知质量，特别是在极端的物理条件下，例如非常低的带宽压缩比（BCR）和低信噪比（SNR）状态。在这项工作中，我们提出了两种新的JSCC方案，利用深度生成模型（DGMs）的感知质量进行无线图像传输，即InverseJSCC和GenerativeJSCC。前者是DeepJSCC的逆问题方法，后者是端到端优化的JSCC方案。在这两种情况下，我们优化了加权和的均方误差（MSE）和学习感知图像补丁相似性（LPIPS）的损失，捕捉更多的语义相似性比其他失真指标。InverseJSCC通过使用基于样式的生成对抗网络（StyleGAN）解决逆优化问题，对DeepJSCC模型的失真重建进行去噪。我们的模拟结果表明，InverseJSCC在边缘情况下的感知质量方面显着提高了最先进的（SotA）DeepJSCC。在GenerativeJSCC中，我们对编码器和基于StyleGAN的解码器进行了端到端训练，并证明GenerativeJSCC在失真和感知质量方面都明显优于DeepJSCC。
2022-11-24 cs.AI cs.LG eess.IV
Neuroscience-Inspired Memory Replay for Continual Learning: A Comparative Study of Predictive Coding and Backpropagation-Based Strategies
Dartmouth College（达特茅斯学院）
本文提出一种受神经科学启发的持续学习框架，通过比较预测编码与反向传播策略，展示预测编码在提升模型保留性能方面的优势。
2025-11-29 cs.AI cs.LG
Neural Dependency Coding inspired Multimodal Fusion
来自不同模态的信息集成是一个活跃的研究领域。人类和一般的生物神经系统非常善于使用来自不同感官感知领域的大量信号与环境和彼此交互。最近通过神经网络进行的深度融合模型的工作已经在语音识别、情感识别和分析、字幕和图像描述等领域对单峰方法进行了实质性改进。然而，这样的研究主要集中在架构的变化，允许融合不同的模态，同时保持模型的复杂性可管理。受最近神经科学关于多感觉整合和加工的思想的启发，我们研究了协同作用最大化损失函数的效果。多模态情感分析任务的实验：CMU-MOSI和CMU-MOSEI与不同的模型表明，我们的方法提供了一致的性能提升。
2021-10-04 cs.AI cs.LG cs.NE
Generative Pre-Training for Speech with Autoregressive Predictive Coding
从未注释的语音中学习适用于广泛任务的有意义的和一般的表示仍然具有挑战性。在本文中，我们建议使用自回归预测编码（APC），最近提出的自我监督的目标，作为一种生成的预训练方法学习有意义的，非特定的，可转移的语音表示。我们在大规模未标记数据上预训练APC，并在三个语音应用程序上进行迁移学习实验，这些应用程序需要关于语音特征的不同信息才能表现良好：语音识别，语音翻译和说话人识别。大量的实验表明，APC不仅优于表面特征（例如，log Mel spectrograms）和其他流行的表示学习方法，但在减少下游标记数据大小和模型参数方面也很有效。我们还研究了使用Transformers对APC进行建模，并发现它优于RNN。
2020-01-26 cs.CL cs.LG cs.SD
Inducing Sparse Coding and And-Or Grammar from Generator Network
Harbin Engineering University（哈尔滨工程大学）；University of California, Los Angeles（加州大学洛杉矶分校）
我们引入了一个可解释的生成模型，通过对生成器网络的特征图进行稀疏操作。有意义的层次表示使用建议的生成模型与稀疏激活。从生成器网络的底层到顶层的卷积核可以逐层学习诸如边缘和颜色、对象部分和整个对象之类的基元。从生成器网络的角度，我们提出了一种方法，同时诱导稀疏编码和与或语法的图像。实验表明，我们的方法是能够学习有意义的和可解释的层次表示。
2019-01-20 cs.AI cs.CV cs.LG
Predictive Coding Graphs are a Superset of Feedforward Neural Networks
Department of Information & Computing Sciences, Utrecht University（信息与计算科学系，乌特勒支大学）
预测编码图（PCGs）作为前馈神经网络的超集，为机器学习提供了新的视角和方法。
2026-03-06 cond-mat.dis-nn cs.AI cs.LG
On the relationship between predictive coding and backpropagation
University of Notre Dame（圣母大学）
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究，并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
CANF-VC: Conditional Augmented Normalizing Flows for Video Compression
National Yang Ming Chiao Tung University（国立阳明交通大学）；CNIT（意大利国家电信联盟）；University of Brescia（布雷西亚大学）
提出了一种基于条件增强规范化流（CANF）的端到端学习视频压缩系统CANF VC。大多数已知的视频压缩系统采用与传统编解码器相同的基于混合的编码架构。最近对条件编码的研究表明了基于混合的编码的次优性，并为深度生成模型在创建新的编码框架中发挥关键作用提供了机会。CANF-VC代表了利用条件ANF来学习用于条件帧间编码的视频生成模型的新尝试。我们选择ANF是因为它是一种特殊类型的生成模型，其中包括变分自编码器作为特例，并且能够实现更好的表达。CANF-VC还将条件编码的思想扩展到运动编码，形成了一个纯条件编码框架。在常用数据集上的大量实验结果证实了CANF-VC方法的优越性。CANF-VC的源代码可在https://github.com/NYCU-MAPL/CANF-VC上获得。
2022-08-15 cs.CV cs.LG eess.IV
Tensor-Generative Adversarial Network with Two-dimensional Sparse Coding: Application to Real-time Indoor Localization
University of Electronic Science and Technology of China（电子科技大学）；Columbia University（哥伦比亚大学）；Shanghai Jiao Tong University（上海交通大学）
定位技术是室内定位服务发展的重要环节。全球定位系统（GPS）在室内环境中由于非视距问题而失效，因此迫切需要一种实时的【形】高精度智能手机定位方法。然而，由于诸如实时的【形】响应要求、有限的指纹样本和移动终端存储等问题，精确定位是具有挑战性的。为了解决这些问题，我们提出了一种新的深度学习架构：张量-生成对抗网络（TGAN）。我们首先引入一个基于变换的3D张量来建模指纹样本。我们的模型采用人工神经网络和深度学习来训练网络分类器，然后给出估计，而不是那些构建指纹数据库作为先验知识的被动方法。然后，我们提出了一种新的基于张量的超分辨率方案，使用生成对抗网络（GAN），采用稀疏编码作为生成器网络和残差学习网络作为训练器。此外，我们分析了张量GAN的性能，并实现了基于跟踪的定位实验，取得了更好的性能。与现有的智能手机室内定位方法相比，TGAN在定位精度、响应时间和实现复杂度等方面都有较大的提高。
2017-11-07 cs.LG cs.NI eess.SP
Lossless Coding of Point Cloud Geometry using a Deep Generative Model
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupelec（巴黎中央理工-高等电力学院）
提出了一种利用神经网络估计体素占用概率分布的无损点云几何压缩方法。首先，考虑到PC稀疏性，我们的方法自适应地将点云划分为多个体素块大小。这种划分是通过八叉树来表示的。其次，我们采用深度自回归生成模型来估计给定先前编码的每个体素的占用概率。然后，我们采用估计的概率有效地使用基于上下文的算术编码器的块进行编码。我们的上下文大小可变，可以扩展到当前块之外，以学习更准确的概率。我们还考虑使用数据增强技术来提高学习概率模型的泛化能力，特别是在存在噪声和低密度点云的情况下。实验评估，从四个不同的数据集和不同的特性进行的各种点云，表明我们的方法大大降低（高达30%）的速率相比，最先进的MPEG编解码器的无损编码。
2021-07-01 cs.CV cs.LG eess.IV
Compression with Flows via Local Bits-Back Coding
UC Berkeley（加州大学伯克利分校）
基于似然的生成模型是无损压缩的基础，因为它保证了长度接近负对数似然的码的存在。然而，无法保证存在实现这些长度的计算高效代码，并且编码算法必须针对特定类型的生成模型进行手工定制以确保计算效率。这种编码算法对于自回归模型和变分自编码器是已知的，但对于一般类型的流模型不是已知的。为了填补这一空白，我们引入了本地位回编码，一种新的压缩技术流模型。我们提出了有效的算法，实例化我们的技术，许多流行类型的流，我们证明了我们的算法密切实现理论codelastness的国家的最先进的流模型的高维数据。
2020-01-06 cs.IT cs.LG math.IT
GTDD: Generative Test-Driven Development for AI Coding Agents with Adversarial Testing
Mizuho-DL Financial Technology Co., Ltd.（瑞穗DL金融科技有限公司）
提出GTDD，通过对抗性测试代理在开发中持续生成新输入，结合回归测试和独立接受规则，降低AI编码代理的错误接受率，实验验证其有效性。
2026-10-05 cs.LG cs.SE stat.ME
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Spiking Neural Predictive Coding for Continual Learning from Data Streams
Rochester Institute of Technology（罗切斯特理工学院）
为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测编码理论的一系列人工神经模型的实例。这种模型是同类模型中的第一个，其工作原理是在一个永无止境的“猜测和检查”过程中运行，其中神经元预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们的系统的交互式，迭代的性质很好地适合到连续时间的制定的感觉流预测，正如我们所展示的，该模型的结构产生一个本地突触更新规则，它可以用来补充或作为替代在线尖峰定时依赖可塑性。在这篇文章中，我们实验了一个由泄漏的积分和点火单元组成的模型的实例。然而，我们的系统所处的框架可以自然地包含更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别的实验结果表明，当二进制尖峰列车是神经元间通信的主要范例时，该模型的潜力。值得注意的是，尖峰神经编码在分类性能方面具有竞争力，并且在从任务序列学习时经历较少的遗忘，为流行的人工神经网络提供了一种计算上更经济，生物学上更合理的替代方案。
2022-08-08 cs.LG cs.NE q-bio.NC
Improving Generative Adversarial Networks with Local Coordinate Coding
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；The University of Adelaide（阿德莱德大学）；Tencent AI Laboratory（腾讯人工智能实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
生成对抗网络（GANs）在从一些预定义的先验分布（例如，高斯噪声）。然而，这种先验分布通常独立于真实数据，因此可能丢失语义信息（例如，图像中的几何结构或内容）。在实践中，语义信息可能由从数据中学习的一些潜在分布表示。然而，这样的潜在分布可能在GANs的数据采样中引起困难。在本文中，而不是从预定义的先验分布采样，我们提出了一个LCCGAN模型与本地坐标编码（LCC），以提高生成数据的性能。首先，我们在LCCGAN中提出了一种LCC采样方法，从潜在流形中采样有意义的点。通过LCC采样方法，我们可以利用隐流形上的局部信息，从而产生具有良好质量的新数据。其次，我们提出了一个改进的版本，即LCCGAN++，通过在生成器近似中引入高阶项。该项能够实现更好的近似，从而进一步提高性能。更重要的是，我们推导出LCCGAN和LCCGAN++的泛化界，并证明低维输入足以实现良好的泛化性能。在四个基准数据集上的实验证明了该方法优于现有的GANs。
2020-07-28 cs.CV cs.LG eess.IV
T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding
Seoul National University（首尔国立大学）
脉冲神经网络（SNN）由于其能量高效的特性而受到了广泛的关注，然而缺乏可扩展的训练算法限制了其在实际机器学习问题中的应用。深度神经网络到SNN的转换方法已经被广泛研究，以拓宽SNN的适用性。然而，大多数以前的研究，并没有充分利用SNN的时空方面，这导致效率低下的尖峰和推理延迟的数量。在本文中，我们提出了T2 FSNN，它引入了时间到第一个尖峰编码的概念到深度SNN使用基于内核的动态阈值和树突，以克服上述缺点。此外，我们提出了基于梯度的优化和早期点火方法，以进一步提高T2 FSNN的效率。根据我们的研究结果，所提出的方法可以减少推理延迟和尖峰的数量到22%和小于1%，相比，突发编码，这是最先进的CIFAR-100的结果。
2020-03-26 cs.LG cs.NE stat.ML
Disentangled Feature Learning for Real-Time Neural Speech Coding
Microsoft Research Asia（微软亚洲研究院）
最近，端到端神经音频/语音编码已经显示出其优于传统的基于信号分析的音频编解码器的巨大潜力。这主要是通过遵循VQ-VAE范式来实现的，其中盲特征被学习、矢量量化和编码。在本文中，而不是盲目的端到端的学习，我们提出学习解纠缠的功能，实时的【形】神经语音编码。具体而言，更全球化的扬声器身份和本地内容特征与解纠缠表示语音学习。这种紧凑的特征分解不仅通过利用不同特征之间的比特分配来实现更好的编码效率，而且还提供了在嵌入空间中进行音频编辑的灵活性，例如实时的【形】通信中的语音转换。主观和客观的结果都证明了它的编码效率，我们发现学习的解纠缠特征在任何到任何语音转换上表现出与现代自监督语音表示学习模型相当的性能，具有更少的参数和低延迟，显示了我们的神经编码框架的潜力。
2023-02-25 cs.LG cs.SD eess.AS
Neural Network-based Equalizer by Utilizing Coding Gain in Advance
National Taiwan University（台湾大学）
最近，深度学习在许多领域都有革命性的突破。有鉴于此，深度学习辅助的通信系统近年来也备受关注，并有可能打破通信系统的传统设计规则。在这项工作中，我们提出了两种基于神经网络的均衡器，以利用卷积神经网络和递归神经网络之间的不同特性。传统的基于块的均衡器设计可能会破坏码的结构，降低解码器的编码增益能力。相反，我们提出的方法不仅消除了信道衰落，而且还利用了编码增益利用率的代码结构，这可以有效地提高编码增益的整体利用率，增益超过1.5 dB。
2019-08-31 cs.LG eess.SP
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
IDLab, Department of Information and Technology, Ghent University—imec（IDLab，信息与技术系，根特大学—imec）
本文提出结合反向传播与预测编码的混合训练方法，实现高效设备端域适应，在MNIST和CIFAR-10上以较低计算开销恢复模型性能。
2025-09-25 cs.CV cs.LG cs.NE
Convolutional Neural Networks for Space-Time Block Coding Recognition
我们将机器学习的最新进展与深度神经网络应用于无线电调制识别、信道编码识别和频谱监测等任务。本文首先提出了一种空时分组编码信号的识别算法。对接收序列进行预处理后，采用卷积神经网络提取空分复用信号与扩频信号之间的特征。与其他算法不同，该方法不需要信道系数和噪声功率的先验信息，因此非常适合于非合作环境。实验结果表明，该算法在低信噪比下也能取得较好的效果
2020-02-12 cs.IT cs.LG eess.SP
Enhanced Generative Machine Listener
Dolby Laboratories（杜比实验室）
GMLv2通过引入贝塔分布损失和额外NAC数据集，提升了主观音频质量预测的准确性和泛化能力。
2026-01-23 cs.AI cs.LG eess.AS
A Predictive Coding Account for Chaotic Itinerancy
ETIS UMR 8051（ETIS UMR 8051实验室）；CY University（塞尔吉-巴黎大学）；ENSEA（法国国立高等电子及应用工程师学院）；CNRS（法国国家科学研究中心）
混沌巡游作为动力系统中允许在稳定行为之间自主切换的一种现象，已成为神经机器人研究的热点。在这项研究中，我们绘制了这种现象和预测编码理论之间的连接，通过显示如何实现预测编码的递归神经网络可以产生类似于混沌巡回在输入噪声的存在下的神经轨迹。我们提出了两种情况下产生随机和过去独立的吸引子切换轨迹使用我们的模型。
2021-06-16 cs.LG cs.NE nlin.CD
Sparse Coding by Spiking Neural Networks: Convergence Theory and Computational Results
Intel Corporation（英特尔公司）
本文提出一种脉冲神经网络模型，证明其能可靠解决稀疏编码问题，为非冯·诺依曼架构计算机提供了理论保障。
2017-05-15 cs.LG cs.NA cs.NE
NESC: Robust Neural End-2-End Speech Coding with GANs
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
神经网络已被证明是一个强大的工具，以解决在非常低的比特率的语音编码的问题。然而，设计一个可以在现实世界条件下鲁棒运行的神经编码器仍然是一个重大挑战。因此，我们提出了神经端2端语音编解码器（NESC）一个强大的，可扩展的端到端的神经语音编解码器的高质量的宽带语音编码在3 kbps。编码器使用一种新的架构配置，它依赖于我们提出的Dual-PathConvRNN（DPCRNN）层，而解码器架构基于我们以前的工作Streamwise-StyleMelGAN。我们对干净和嘈杂语音的主观听力测试表明，NESC对看不见的条件和信号扰动特别鲁棒。
2022-07-07 cs.LG cs.SD eess.AS
Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）；Bytedance AI Lab（字节跳动人工智能实验室）
尽管香农理论指出将信源和信道编码分离为两个独立过程是渐进最优的，但在许多实际通信场景中，这种分解受到有限比特长度和解码计算能力的限制。最近，神经元联合信源-信道编码（NECST）被提出来解决这个问题.虽然它利用摊销推理和深度学习的进步来改进编码和解码过程，但由于其学习的编码网络的鲁棒性有限，它仍然不能总是在压缩和纠错性能方面取得令人信服的结果。基于神经元联合信源-信道编码与离散表示学习之间的内在联系，提出了一种新的正则化方法Infomax Adversarial-Bit-Flip（IABF）来提高神经元联合信源-信道编码方案的稳定性和鲁棒性。更具体地说，在编码器侧，我们建议显式地最大化码字和数据之间的互信息;而在解码器侧，摊销重建在对抗框架内进行正则化。在各种真实世界数据集上进行的大量实验证明，我们的IABF可以在压缩和纠错基准上实现最先进的性能，并且远远优于基线。
2020-04-03 cs.LG stat.ML
Practical Design and Benchmarking of Generative AI Applications for Surgical Billing and Coding
Duke University Medical Center（杜克大学医学中心）；Patient Revenue Management Organization, Duke University Health System（杜克大学卫生系统患者收入管理组织）；Duke Pratt School of Engineering（杜克普拉特工程学院）；Duke University School of Medicine（杜克大学医学院）；MSTAT
本文针对外科账单与编码任务，利用机构术后报告微调PHI-3 Mini/Medium并与GPT-4o等对比，证明小型领域微调模型可在代码准确性和低捏造率上达到或超过大型模型。
2025-01-07 cs.CL cs.LG
End-to-End Optimized Speech Coding with Deep Neural Networks
University of Maryland（马里兰大学）
现代压缩算法通常是特定领域艰苦研究的结果; MP3、JPEG和AMR-WB等行业标准花了数年时间才开发出来，并且主要是手工设计的。我们提出了一个深度神经网络模型，它直接从原始语音数据端到端地优化宽带语音编码管道（压缩，量化，熵编码和解压缩）的所有步骤-无需手动特征工程，并且它在数小时内训练。在测试中，我们基于DNN的编码器在各种比特率（~ 9 kbps到~ 24 kbps）下的性能与AMR-WB标准相当。它还可以在3.8GhZ Intel CPU上实时运行。
2021-07-08 cs.LG cs.SD eess.AS
Sparse Coding Frontend for Robust Neural Networks
University of California Santa Barbara（加州大学圣塔芭芭拉分校）
众所周知，深度神经网络容易受到小的、恶意的干扰。目前对抗这些对抗攻击最有效的防御方法是对抗训练的变体。在本文中，我们介绍了一种完全不同的防御方法，只在干净的图像上训练：一种基于稀疏编码的前端，它可以在对抗攻击到达分类器之前显着衰减它们。我们在CIFAR-10数据集上评估了我们在各种攻击类型（包括Linf，L2和L1边界攻击）下的防御，证明了它作为通用防御方法的前景。
2021-04-12 cs.LG stat.ML
Uncertainty propagation in neural networks for sparse coding
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
提出了一种通过软阈值非线性传播不确定性的新方法。在每一层，目标向量的当前分布被表示为尖峰和平板分布，其表示每个变量为零或高斯分布的概率。使用所提出的不确定性传播方法，导出归一化常数的梯度，其可用于更新权重分布。利用提出的不确定性传播方法和贝叶斯推断算法，设计了一种新的稀疏编码贝叶斯神经网络。
2018-11-29 cs.LG stat.ML
Simple, Efficient, and Neural Algorithms for Sparse Coding
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
稀疏编码是包括信号处理、神经科学和机器学习在内的许多领域中的基本任务，其中目标是学习能够实现给定数据集的稀疏表示的基础（如果存在的话）。它的标准公式是作为一个非凸优化问题，在实践中解决交替最小化的基础上的启发式。最近的工作已经产生了几个算法的稀疏编码与可证明的保证，但有些令人惊讶的是，这些都优于简单的交替最小化算法。在这里，我们给出了一个通用的框架来理解交替最小化，我们利用它来分析现有的算法，并设计新的可证明的保证。其中一些算法似乎可以在简单的神经架构上实现，这是Olshausen和Field（1997 a）引入稀疏编码的最初动机。我们还给出了第一个有效的算法稀疏编码，工程几乎达到信息理论的限制稀疏恢复不相干字典。所有以前的算法，接近或超过这个限制运行在时间指数的一些自然参数。最后，我们的算法改进了现有方法的样本复杂度。我们相信，我们的分析框架将在其他设置中使用简单的迭代算法的应用。
2015-03-02 cs.DS cs.LG cs.NE
Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks
Department of Mathematics, Ludwig-Maximilians-Universität München（慕尼黑莱布尼茨-马克斯大学数学系）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；Department of Mathematics, The University of Sydney（悉尼大学数学系）
本文通过分析卷积神经网络的深度稀疏编码模型，探讨了其收敛性及在稀疏特征学习中的应用。
2025-12-04 cs.DS cs.IT cs.LG
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks
Columbia University（哥伦比亚大学）
对于深度离散潜变量模型，已经提出了几种近似推理方法。然而，非参数的方法，以前已成功地用于经典的稀疏编码模型在很大程度上尚未探索的背景下，深模型。我们提出了一种非参数迭代算法来学习这种深度模型中的离散潜在表示。此外，为了学习尺度不变的离散特征，我们提出了局部数据缩放变量。最后，为了鼓励我们表示的稀疏性，我们提出了一个潜在因素的Beta-Bernoulli过程。我们评估我们的备用编码模型加上不同的似然模型。我们在具有不同特征的数据集上评估我们的方法，并将我们的结果与当前的摊销近似推理方法进行比较。
2023-03-14 cs.LG stat.ML
Zero-Episode Few-Shot Contrastive Predictive Coding: Solving intelligence tests without prior training
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）
视频预测模型通常组合三个组件：从像素空间到小潜在空间的编码器、潜在空间预测模型和回到像素空间的生成模型。然而，大且不可预测的像素空间使得训练这样的模型变得困难，需要许多训练样本。我们认为，找到一个预测潜变量并使用它来评估未来图像的一致性，可以实现数据高效的预测，因为它排除了生成模型训练的必要性。为了证明这一点，我们创建了序列完成智能测试，其中的任务是识别图像序列中可预测的变化特征，并使用此预测来选择后续图像。我们发现，一维马尔可夫对比预测编码（M-CPC_1D）模型有效地解决了这些测试，只有五个例子。最后，我们证明了M-CPC_1D在解决两个任务中的有用性，而无需事先训练：异常检测和随机运动视频预测。
2022-05-04 cs.CV cs.LG
Psychoacoustic Calibration of Loss Functions for Efficient End-to-End Neural Audio Coding
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
传统的音频编码技术通常利用人类对声音的感知或心理声学来降低比特率，同时保持解码音频信号的感知质量。然而，对于神经音频编解码器，由于大的模型大小，损失函数的客观性质通常导致次优的声音质量以及高的运行时间复杂度。在这项工作中，我们提出了一个心理声学校准计划，重新定义的损失函数的神经音频编码系统，使它可以解码信号的感知更类似的参考，但具有低得多的模型复杂度。所提出的损失函数结合了全局掩蔽阈值，允许对应于听不见的伪影的重建误差。实验结果表明，该模型的性能优于基线神经编解码器的两倍大，每秒消耗23.4%以上的比特。使用所提出的方法，一个轻量级的神经编解码器，只有0.9万个参数，执行接近透明的音频编码与商业MPEG-1音频层III编解码器在112 kbps。
2020-12-31 cs.LG cs.SD eess.AS
Extending Neural P-frame Codecs for B-frame Coding
Qualcomm AI Research（高通人工智能研究院）
虽然大多数神经视频编解码器解决P帧编码（从过去的帧预测每一帧），但在本文中，我们解决B帧压缩（使用过去和未来的参考帧预测帧）。我们的B-框架解决方案是基于现有的P-框架方法。因此，B帧编码能力可以很容易地添加到现有的神经编解码器。我们的B帧编码方法的基本思想是内插的两个参考帧，以产生一个单一的参考帧，然后使用它与现有的P帧编解码器编码的输入B帧。我们的研究表明，内插帧是一个更好的参考P帧编解码器相比，使用前一帧通常是这样做。我们的结果表明，使用所提出的方法与现有的P帧编解码器可以导致28.5%的节省比特率的UVG数据集相比，P帧编解码器，同时产生相同的视频质量。
2021-08-05 cs.CV cs.LG eess.IV
End-to-End Neural Speech Coding for Real-Time Communications
Communication University of China（中国传媒大学）；Microsoft Research Asia（微软亚洲研究院）
基于深度学习的方法在音频编码方面已经显示出其相对于传统方法的优势，但对实时的【形】通信（RTC）的关注有限。本文提出了TFNet，一个端到端的神经语音编解码器，具有低延迟的RTC。它采用了编码器-时间滤波-解码器范式，这在音频编码中很少被研究。提出了一种用于时间滤波的交织结构，以捕获短期和长期的时间依赖性。此外，通过端到端优化，TFNet与语音增强和丢包隐藏进行了联合优化，为三项任务提供了一个一对多的网络。主观和客观的结果表明，所提出的TFNet的效率。
2022-02-15 cs.LG cs.SD eess.AS
HEVC Inter Coding Using Deep Recurrent Neural Networks and Artificial Reference Pictures
Leibniz University Hannover（汉诺威莱布尼茨大学）
现代视频编解码器中的运动补偿预测的效率高度依赖于可用的参考图片。遮挡和非线性运动对运动补偿提出了挑战，并且通常导致预测误差的高比特率。我们提出使用深度循环神经网络生成人工参考图片。在概念上，当前编码图片的时间实例处的参考图片是从先前重构的常规参考图片生成的。基于这些人工参考图片，我们提出了一个完整的基于HEVC的编码流水线。通过使用用于运动补偿预测的人工参考图片，实现了相对于HEVC的1.5%的平均BD速率增益。
2018-12-05 cs.LG cs.MM
NeRFCom: Feature Transform Coding Meets Neural Radiance Field for Free-View 3D Scene Semantic Transmission
Beijing University of Posts and Telecommunications（北京邮电大学）
NeRFCom提出一种基于非线性变换与学习型概率模型的通信系统，实现变速率联合信源信道编码，按语义特征贡献分配带宽，在恶劣信道下实现鲁棒的自由视角3D场景高效传输。
2025-02-27 cs.LG eess.SP
Optimized learned entropy coding parameters for practical neural-based image and video compression
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
当权重和激活被量化为低精度整数时，基于神经的图像和视频编解码器的功率效率显著提高。虽然存在用于减少量化效应的通用技术，但是当不考虑特定熵编码属性时可能发生大的损失。本文分析了参数量化对熵编码的影响，并提出了一种减小熵编码损失的方法。它示出，通过使用某种类型的编码参数学习，均匀量化成为实际上最佳的，也简化了代码存储器的要求最小化。文中给出了新表示的数学性质，并通过编码实验证明了其有效性，结果表明，在每个网络输出的精度低至4~bits时，可以获得良好的结果，而在8~bits时几乎没有损失。
2023-01-20 cs.IT cs.LG cs.MM
Scalable and Efficient Neural Speech Coding: A Hybrid Design
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
我们提出了一个可扩展的和有效的神经波形编码系统的语音压缩。我们将语音编码问题表述为自动编码任务，其中卷积神经网络（CNN）在其前馈例程期间作为神经波形编解码器（NWC）执行编码和解码。建议的NWC还将量化和熵编码定义为可训练模块，因此在优化过程中处理编码伪像和比特率控制。我们通过在NWC中引入紧凑的模型组件来实现效率，例如门控残差网络和深度可分离卷积。此外，所提出的模型具有可扩展的架构，跨模块残差学习（CMRL），以覆盖广泛的比特率。为此，我们采用残差编码的概念来级联多个NWC自动编码模块，其中每个NWC模块执行残差编码以恢复其先前模块已经创建的任何重构损失。CMRL也可以缩小以覆盖较低的比特率，为此它采用线性预测编码（LPC）模块作为其第一个自动编码器。该混合设计通过将LPC的量化过程重新定义为可微分过程，将LPC和NWC相结合，使系统训练成为端到端的方式。所提出的系统的解码器具有在低至中等比特率范围（12至20 kbps）中的一个NWC（0.12百万个参数）或在高比特率（32 kbps）中的两个NWC。虽然解码复杂度还没有像传统语音编解码器那样低，但它比其他神经语音编码器（诸如基于WaveNet的声码器）的解码复杂度显著降低。对于宽带语音编码质量，我们的系统在低和中等比特率的TIMIT测试话语上产生与AMR-WB和Opus相当或更好的性能。所提出的系统可以扩展到更高的比特率，以…
2021-11-28 cs.LG cs.SD eess.AS
Approaching Rate-Distortion Limits in Neural Compression with Lattice Transform Coding
Department of Electrical and Systems Engineering, University of Pennsylvania（电气与系统工程系，宾夕法尼亚大学）
本文提出格变换编码（LTC），通过在潜在空间中用格量化替代标量量化，以合理复杂度近似恢复最优向量量化，从而改进标准神经压缩器，逼近率失真极限。
2025-07-13 cs.IT cs.LG eess.SP
Accelerated Deep Lossless Image Coding with Unified Paralleleized GPU Coding Architecture
TU Berlin（柏林工业大学）
我们提出了深度无损图像编码（DLIC），全分辨率学习无损图像压缩算法。我们的算法是基于神经网络结合熵编码器。神经网络对源图像的每个像素执行密度估计。然后使用密度估计对目标像素进行编码，在压缩率方面击败FLIF。类似的方法也曾尝试过。然而，长的运行时间使得它们对于现实世界的应用程序来说是不可行的。我们介绍了一个并行GPU的实现，允许编码和解码的灰度，8位图像在不到一秒钟。因为DLIC使用神经网络来估计用于熵编码器的概率，所以DLIC可以在特定于域的图像数据上训练。我们证明了这种能力，通过适应和训练DLIC与磁共振成像（MRI）图像。
2022-07-11 cs.CV cs.LG eess.IV
NANCY: Neural Adaptive Network Coding methodologY for video distribution over wireless networks
BITS Pilani Hyderabad（比尔拉理工学院海得拉巴分校）；University Of Oulu（奥卢大学）；Microsoft Corporation（微软公司）
本文介绍了NANCY，一个系统，产生自适应比特率（ABR）的视频和自适应网络编码率（ANCR）使用强化学习（RL）的视频分布在无线网络上。NANCY训练一个神经网络模型，其奖励被公式化为体验质量（QoE）度量。它执行联合优化以便选择：（i）用于未来视频块的自适应比特率以对抗可用带宽的变化，以及（ii）用于编码视频块切片的自适应网络编码速率以对抗无线网络中的分组丢失。我们提出了NANCY的设计和实现，并评估其性能相比，国家的最先进的视频速率自适应算法，包括Pensieve和robustMPC。我们的研究结果表明，NANCY提供了29.91%和60.34%的平均QoE比Pensieve和robustMPC，分别。
2020-08-21 cs.LG cs.MM cs.NI
Coding schemes in neural networks learning classification tasks
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Edmond and Lily Safra Center for Brain Sciences, Hebrew University（希伯来大学埃德蒙和莉莉·萨弗脑科学中心）
本文在贝叶斯框架下分析宽全连接网络的分类任务特征学习，揭示线性网络产生模拟编码、非线性网络因对称破缺形成冗余或稀疏编码。
2024-06-24 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Information-Theoretic Bounds and Approximations in Neural Population Coding
Johns Hopkins University School of Medicine（约翰·霍普金斯大学医学院）；China Electronics Technology Group Corporation（中国电子科技集团公司）
虽然香农互信息在许多学科中有着广泛的应用，但在实际应用中，由于维数灾难的存在，高维变量的互信息往往很难精确计算。本文主要研究神经种群编码中互信息的有效近似估计方法。对于大但有限的神经种群，我们推导出几个信息理论的渐近界和近似公式，在高维空间中仍然有效。我们证明，优化人口密度分布的基础上，这些近似公式是一个凸优化问题，允许有效的数值解。数值模拟结果表明，我们的渐近公式是高度准确的近似互信息的大神经种群。在特殊情况下，近似公式恰好等于真实的互信息。我们还讨论了变量变换和降维技术，以方便计算的近似。
2017-11-07 cs.IT cs.LG math.IT
Towards Understanding Residual and Dilated Dense Neural Networks via Convolutional Sparse Coding
University of Chinese Academy of Sciences（中国科学院大学）
卷积神经网络（CNN）及其变体在各个领域已经导致了许多最先进的结果。然而，对它们的理论认识还很欠缺。最近，多层卷积稀疏编码（ML-CSC）已被提出，并证明等于这样的简单堆叠网络（平原网络）。在此，我们认为在每一层中的三个因素，包括初始化，字典设计和迭代次数极大地影响ML-CSC的性能。受这些考虑的启发，我们提出了两个新的多层模型--残差卷积稀疏编码模型（Res-CSC）和混合规模密集卷积稀疏编码模型（MSD-CSC），它们分别与残差神经网络（ResNet）和混合规模（扩张）密集神经网络（MSDNet）有密切的关系。在数学上，我们推导出ResNet中的捷径连接作为ML-CSC上新的前向传播规则的特殊情况。通过对MSD-CSC的分析，我们找到了MSDNet中膨胀卷积和稠密连接的理论解释，从而给出了对它们的清晰的数学理解。我们实现了迭代软阈值算法（ISTA）及其快速版本来解决Res-CSC和MSD-CSC，它可以使用展开操作进行进一步的改进。最后，利用三个典型数据集进行了大量的数值实验，并与竞争方法进行了比较，结果表明了本文方法的有效性。
2019-12-08 cs.CV cs.LG stat.ML
Learning Based Joint Coding-Modulation for Digital Semantic Communication Systems
Shanghai Jiao Tong University（上海交通大学）
在基于学习的语义通信中，神经网络已经取代了传统通信系统中的不同构建块。然而，数字调制仍然是神经网络的一个挑战。基于神经网络的数字调制的内在机制是将神经网络编码器的连续输出映射成离散的星座符号，这是一个不可微的函数，不能用现有的梯度下降算法来训练。为了克服这一挑战，在本文中，我们开发了一个联合编码调制方案的数字语义通信与BPSK调制。在我们的方法中，神经网络输出每个星座点的可能性，而不是具有具体的映射。因此，使用随机码而不是确定性码，这为每个星座点上具有接近似然性的符号保留了更多信息。联合编码调制设计可以使调制过程与信道状态相匹配，从而提高数字语义通信的性能。实验结果表明，在较宽的信噪比范围内，该方法在语义通信中的性能优于现有的数字调制方法，在较低的信噪比范围内，该方法的性能优于基于神经网络的模拟调制方法。
2022-11-07 cs.IT cs.LG math.IT
Cross-Scale Vector Quantization for Scalable Neural Speech Coding
Communication University of China（中国传媒大学）；Microsoft Research Asia（微软亚洲研究院）
比特率可伸缩性是实时通信中音频编码的期望特征。现有的神经音频编解码器通常在训练过程中强制执行特定的比特率，因此需要为每个目标比特率训练不同的模型，这增加了发送方和接收方的内存占用，并且通常需要转码来支持多个接收方。在本文中，我们介绍了一种跨尺度可伸缩矢量量化方案（CSVQ），其中多尺度特征编码逐步特征融合和细化。以这种方式，如果仅接收到比特流的一部分，则重建粗级信号，并且随着更多比特可用，逐步提高质量。所提出的CSVQ方案可以灵活地应用于具有镜像自动编码器结构的任何神经音频编码网络，以实现比特率可伸缩性。主观实验结果表明，该方案优于经典的残差矢量量化（RVQ）的可扩展性。此外，所提出的CSVQ在3kbps下优于Opus在9kbps下和Lyra在3kbps下，并且随着比特率的增加，它可以提供优雅的质量提升。
2022-07-07 cs.LG cs.SD eess.AS
