Achieving the Quadratic Gaussian Rate-Distortion Function for Source Uncorrelated Distortions
我们证明了最近的特征二次高斯率失真函数(RDF)的约束下,失真是不相关的源的可扩展性。这个结果是基于成形抖动晶格量化的限制,因为晶格维度趋于无穷大,并适用于所有正失真。事实证明,这种不相关的失真RDF可以实现因果关系。这个功能,这是在对比香农的RDF,说明因果变换编码。此外,我们证明,通过使用反馈噪声整形,可以通过无记忆熵编码因果地实现不相关失真RDF。虽然可扩展性依赖于无限维的量化器,我们证明,在有限维的情况下发生的速率损失可以是上限的量化器的空间填充损失,因此,最多为0.254位/维。
2008-07-24 cs.IT math.IT
Nonanticipative Rate Distortion Function and Relations to Filtering Theory
在抽象空间上讨论了非预期率失真函数(RDF)与滤波理论的关系。通过对经典RDF的重建条件分布施加可实现性约束,建立了这种关系。利用弱$^*$ -收敛在适当的拓扑上证明了非预期RDF极值解的存在性。对于平稳过程,导出了极值重构条件分布的封闭形式。描述了实现非预期RDF下确界的重构条件分布的实现。最后,给出了一个例子来说明的概念。
2013-09-18 cs.IT math.IT math.OC
Improved Upper Bounds to the Causal Quadratic Rate-Distortion Function for Gaussian Stationary Sources
我们改进了现有的可达到的速率区域的因果关系和零延迟信源编码的平稳高斯源下的平均均方误差(MSE)失真的措施。首先,我们找到了一个封闭形式的表达的信息理论因果率失真函数(RDF)在这样的失真措施,表示为$R_{c}^{it}(D)$,一阶高斯马尔可夫过程。Rc^{it}(D)是任何因果源代码理论上可达到的最佳性能(OPTA)的下限,即Rc^{op}(D)。我们证明,对于高斯源,后者也可以上界为Rc^{op}(D)\leq Rc^{it}(D)+ 0.5 log_{2}(2πe)bits/sample。为了分析任意零均值高斯平稳信源的$R_{c}^{it}(D)$,我们引入了\bar{Rc^{it}}(D),即当重构误差与信源联合平稳时的信息论因果RDF。基于\bar{Rc^{it}}(D),我们推导出了加性速率损失的三个封闭形式的上界,定义为\bar{Rc^{it}}(D)- R(D),其中R(D)表示Shannon的RDF.这些界限中的两个在所有速率下都严格小于0.5比特/样本。这些界限在其紧密性和评估的容易性方面彼此不同;界限越紧,其评估就越复杂。然后,我们表明,对于任何源谱密度和任何正失真D \leq σ_{x}^{2},\bar{Rc^{it}}(D)可以实现由一组独特的因果前置,后置和反馈滤波器包围的AWGN信道。我们发现,找到这样的过滤器构成一个凸优化问题。为了解决后者,…
2011-05-02 cs.IT math.IT
Stationarity in the Realizations of the Causal Rate-Distortion Function for One-Sided Stationary Sources
本文导出了任意分布单边平稳$κ$阶马尔可夫信源x(1),x(2),.的因果信息率失真函数(IRDF)$R_{c}^{it}(D)$的特征的新结果.它首先表明,Gorbunov和Pinsker的因果IRDF(双边固定源)的实现的平稳性的结果不适用于常用的家庭的渐近平均单字母(AASL)失真标准。此外,我们表明,在一般情况下,重建序列不能既联合平稳与单边平稳源序列和因果关系,这意味着,在一般情况下,因果IRDF单边平稳源不能实现的平稳分布。然而,我们证明了,对于任意分布的单侧平稳源和一大类失真准则(包括AASL),搜索$R_{c}^{it}(D)$可以被限制为产生输出序列y(1),y(2),.在$κ$采样之后与源联合静止。最后,我们改进了Derpich和Escherstergaard以前提出的关于双边马氏平稳源的平稳因果IRDF $\overline{R}_{c}^{it}(D)$的定义,并证明了对于双边马氏平稳源的$\overline{R}_{c}^{it}(D)$,x(-1),x(0),x(1),.对于关联的单侧源x(1),x(2),.等于$R_{c}^{it}(D)$。这意味着,对于高斯二次情况,由Derpich和Reynstergaard提出的用于接近$R_{c}^{it}(D)$的实际零延迟编码器-解码器对实现了超过$R_{c}^{it}(D)$小于每个样本$1+0.5 \l…
2018-04-11 cs.IT math.IT
Realizable Rate Distortion Function and Bayesian FIltering Theory
讨论了率失真函数(RDF)与贝叶斯滤波理论的关系。通过对RDF的重建条件分布施加因果或可实现性约束来建立关系,从而导致因果RDF的定义。利用概率测度弱收敛拓扑证明了因果RDF的最优重构分布的存在性。因果RDF的最佳非平稳因果再生条件分布是以封闭形式导出的,它是由一组递归方程计算的时间向后。因果RDF的实现通过源通道匹配的方法进行了描述,同时简要讨论了一个例子来说明的概念。
2012-04-13 cs.IT math.FA math.IT
Nonanticipative Rate Distortion Function and Filtering Theory: A weak Convergence Approach
University of Cyprus(塞浦路斯大学)
本文通过弱收敛拓扑研究一般波兰空间上非预期率失真函数与贝叶斯滤波理论的关系,并证明线性编码器在标量高斯信道上的最优性。
2014-01-18 cs.IT cs.SY eess.SY
On the relation of nonanticipative rate distortion function and filtering theory
University of Cyprus(塞浦路斯大学)
本文利用波兰空间上概率测度弱收敛拓扑,研究非预期率失真函数与贝叶斯滤波理论的关系,通过优化有保真度约束的定向信息条件分布建立联系,证明了最优再生分布的存在性,并给出了平稳过程的最优非预期再生条件分布的闭式解。
2013-04-25 cs.IT cs.SY eess.SY
Optimal Causal Rate-Constrained Sampling of the Wiener Process
我们考虑以下通信场景。编码器随意观察维纳过程并决定何时发送和发送什么,解码器使用随意接收的码字对维纳过程进行实时估计。我们确定的因果编码和解码政策,共同最大限度地减少均方估计误差,长期通信速率的限制下,每秒$R$位。我们表明,一个最佳的编码策略可以实现为因果抽样政策,其次是因果压缩政策。我们证明,最佳的编码策略采样的维纳过程,一旦创新通过$\sqrt{\frac{1}{R}}$或$-\sqrt{\frac{1}{R}}$,并压缩的创新(SOI)使用1位码字的符号。SOI编码方案实现等于$D^{\mathrm{op}}(R)=\frac{1}{6R}$的操作失真率函数。令人惊讶的是,这是显着优于失真率的折衷实现的无限延迟的限制,最好的非因果代码。这是因为SOI编码方案利用了由编码器和解码器之间的零延迟信道提供的自由定时信息。解锁这种增益的关键是SOI采样策略的事件触发性质。相比之下,失真率的权衡与确定性的采样政策是更糟糕的:我们证明了因果信息失真率函数在这种情况下是高达$D_{\mathrm{DET}}(R) = \frac{5}{6R}$。它是通过采样间隔为$\frac{1}{R}$的均匀采样策略实现的。在任何一种情况下,最佳策略都是尽可能快地对过程进行采样,并将1位码字无延迟地传输到解码器。
2020-05-13 cs.IT math.IT
Action Dependent Strictly Causal State Communication
通信和状态估计的问题被认为是在上下文中的信道与actiondependent状态。给定要传送的消息,发送器选择影响信道状态的形成的动作序列,然后基于状态序列创建信道输入序列。解码器估计信道的一些失真以及解码消息。这种信道的容量失真折衷的特征在于当状态信息在信道编码器处严格因果地可用时的情况。问题设置扩展了[1]的动作依赖框架,并且作为特殊情况恢复了[2],[3],[4]中先前考虑的几个联合通信和估计场景的结果。还考虑了动作也允许依赖于过去观察到的状态(自适应动作)的情况。结果表明,这种自适应行动产生一个改进的能力失真函数。
2012-02-05 cs.IT math.IT
Optimal Causal Inference: Estimating Stored Information and Approximating Causal Architecture
University of Hawaii at Manoa(马诺阿夏威夷大学);University of California at Davis(加州大学戴维斯分校);Santa Fe Institute(圣塔菲研究所)
我们介绍了一种方法来推断因果结构的随机动态系统,扩展率失真理论使用因果屏蔽-一个自然的学习原则。我们研究了两种不同的情况下的因果推理:最优因果过滤和最优因果估计。滤波对应于测量序列的概率分布是已知的理想情况,给出了在期望的表示水平上近似系统的因果结构的原则性方法。我们表明,在模型的复杂性约束放宽的限制,过滤发现确切的因果结构的随机动力系统,被称为因果状态分区。由此,可以估计进程存储的历史信息量。更一般地说,因果过滤找到一个分级的模型复杂度层次结构的近似因果架构。等级制度的突然变化,作为一种近似的函数,捕捉到了结构组织的不同尺度。对于有限数据的非理想情况下,我们展示了如何正确的数量的基本因果状态可以找到最佳因果估计。先前推导的模型复杂性控制项允许我们校正概率估计中的统计波动的影响,从而避免过拟合。
2010-08-19 cond-mat.stat-mech cs.IT cs.LG
On Delayed Sequential Coding of Correlated Sources
受视频编码应用的启发,研究了具有编码和/或解码帧延迟的相关信源的顺序编码问题。个体帧速率、个体帧失真和编码/解码帧延迟之间的基本权衡是根据一般帧间源相关性的速率失真区域的单字母信息理论表征和某些类型的潜在帧特定和耦合的单字母保真度标准来导出的。和率失真区域的特点是广义有向信息措施,突出其在延迟顺序信源编码问题中的作用。对于视频源,这是空间上固定的无记忆和时间高斯马尔可夫,MSE帧失真,和一个总和速率约束,我们的研究结果暴露了最优的理想化的差分预测编码之间的所有因果顺序编码器,当编码器使用一个积极的速率来描述每一帧。令人惊讶的是,因果顺序编码与一帧延迟的非因果顺序解码可以完全匹配的总和速率MSE性能的联合编码的所有非平凡的MSE元组满足一定的半正定条件。因此,即使是单个帧延迟也有可能产生显著的性能改进。高阶马尔可夫源的推广也提出和讨论。因果顺序编码与延迟非因果顺序解码之间的率失真性能等价,以及延迟非因果顺序编码与因果顺序解码,也被建立。
2008-09-30 cs.IT math.IT
The source coding game with a cheating switcher
Berger的论文“The信源编码Game”,IEEE Trans. Inform。理论,1971年,考虑的问题,找到率失真函数的对抗性来源组成的多个已知的IID源。对手,被称为“开关”,只允许因果访问源实现和率失真函数是通过使用一个类型覆盖引理。在本文中,率失真函数的对抗源描述,假设开关有非因果访问所有的源实现。证明利用类型覆盖引理和简单的条件,随机的“切换”规则。率失真函数再次是针对可达到的IID分布的区域的R(D)函数的最大化。
2007-04-19 cs.IT math.IT
Rate-Distortion Theory for Secrecy Systems
通信系统中的保密性在本文中通过对手引起的失真来测量。发送器和接收器共享秘密密钥,它们使用该密钥来加密通信并确保在对手处失真。一个模型被认为是一个对手不仅拦截从发射机到接收机的通信,但也可能有边信息。具体地说,对手可以因果或非因果访问与源序列或接收机的重建序列相关的信号。主要的贡献是通信速率,秘密密钥率,失真在对手,失真在合法的接收机之间的最佳折衷的表征。结果表明,在对手的因果边信息起着关键作用,在这种权衡。它还表明,标准化的含糊度的基础上的保密措施是一个特殊的情况下的框架。
2014-10-10 cs.CR cs.IT math.IT
Information Nonanticipative Rate Distortion Function and Its Applications
University of Cyprus(塞浦路斯大学);Texas A&M University at Qatar(卡塔尔德州农工大学)
本文探讨了非前瞻性率失真函数在零延迟联合源信道编码设计及非因果和因果码性能界限计算中的应用,通过二元对称马尔可夫源和多维部分观测高斯-马尔可夫源两个例子进行分析。
2015-11-18 cs.IT cs.SY eess.SY
Source-Channel Secrecy with Causal Disclosure
研究了通信系统中的不完全保密问题。而不是使用模棱两可的保密措施,窃听者在产生源序列的估计所招致的失真进行检查。该通信系统由一个源和一个广播(窃听)信道,和无损再现的源序列在合法的接收器是必需的。该模型的一个关键方面是允许窃听者的行为取决于系统的过去行为。通过分别研究信源和信道编码操作的性能,然后将它们以数字方式连接在一起,获得可扩展性结果。虽然这里解决的问题已经解决时,保密资源是共享的秘密密钥,它被发现,取代秘密密钥的窃听通道带来了新的见解和挑战:弱保密的概念提供了尽可能多的失真,在窃听者作为强保密,公开信息自由是有害的。
2012-10-07 cs.IT math.IT
Applications of Information Nonanticipative Rate Distortion Function
本文的目的是进一步研究信息非预期率失真函数(NRDF)的各种应用,通过讨论两个工作的例子,二进制对称马尔可夫源与参数$p$(BSMS($p$))与汉明距离失真,和多维部分观察高斯马尔可夫源。对于BSMS($p$),我们给出了NRDF的解,并利用它计算了因果码相对于非因果码的速率损失。对于多维高斯-马尔可夫信源,我们给出了NRDF的解,我们通过并行高斯信道向量上的联合信源信道匹配来展示其操作意义,并且我们计算了因果码和零延迟码相对于非因果码的RL。
2014-04-29 cs.IT math.IT math.OC
Lossy Source Coding with Reconstruction Privacy
我们考虑的问题,有损信源编码与边信息的隐私约束下,在解码器的重建序列应保持一定程度的秘密,从另一个终端,如窃听者,发送者,或帮助。我们感兴趣的是在一个特定的终端重建隐私约束如何影响率失真权衡。在这项工作中,我们允许解码器使用随机映射,并给出内部和外部边界的率失真模糊区域的不同情况下,边信息是非因果关系和因果关系在解码器。在每个重构符号仅依赖于源描述和当前边信息符号的特殊情况下,提供了完整的率失真模糊区域。一个二进制的例子说明了一个新的权衡,由于新的隐私约束,并从使用随机解码器的增益。
2014-06-24 cs.IT math.IT
On Real-Time and Causal Secure Source Coding
研究了两个带保密约束的信源编码问题。在第一个问题中,我们考虑无记忆信源的实时的完全安全传输。我们表明,虽然经典的可变速率编码是不是一个选项,因为码字的长度泄漏源上的信息,关键率可以低至平均霍夫曼码字长度的源。在第二个问题中,我们考虑因果信源编码的保真度标准和边信息的解码器和窃听器。我们表明,当窃听者有退化的边信息,它是最佳的,首先使用因果率失真码,然后用一个密钥加密其输出。
2012-05-15 cs.IT math.IT
Sequential Lossy Compression With Causal Conditional Perception
EURECOM(欧洲通信研究所)
本文提出因果条件感知下的序列有损压缩框架,针对马尔可夫和高斯-马尔可夫源建立率失真感知函数界,并证明高斯最优性及闭式解。
2026-09-09 cs.IT eess.SP math.IT
An Achievable Rate-Distortion Region for Joint State and Message Communication over Multiple Access Channels
本文推导了状态相关离散无记忆多址接入信道在具有广义反馈和因果边信息下的可达率失真区域,采用马尔可夫编码和后向-前向两阶段解码方案,并展示了其在单站上行系统和多模态传感器网络等集成感知与通信应用中的建模能力。
2024-09-26 cs.IT math.IT
Rate Distortion Approach to Joint Communication and Sensing With Markov States: Open Loop Case
本文研究联合通信与感知框架,证明贝叶斯滤波为最优感知策略,并在开环编码下分析通信速率与状态失真的权衡,通过波束指向模型揭示波束切换与多波束策略的相对性能。
2025-05-01 cs.IT math.IT
The source coding game with a cheating switcher
University of California at Berkeley(加州大学伯克利分校)
出于主动视觉视频流的有损压缩,我们考虑的问题,找到一个任意变化的源(AVS)组成的有限数量的子源与已知的分布的率失真函数。Berger的论文“The信源编码Game”(\emph{IEEE Trans. Inform. Theory},1971)在只允许对手严格因果访问子信源实现的条件下解决了这个问题。我们考虑的情况下,当对手有机会获得子源实现非因果关系。使用类型覆盖引理,这个新的率失真函数被确定为是最大的IID率失真函数在一组源分布可达到的对手。然后,我们扩展的结果,允许部分或嘈杂的观测子源实现。我们进一步探索的模型,试图找到率失真函数时,对手实际上是有帮助的。最后给出了有限字母表信源的IID率失真函数的一致连续性的界。该界限用于给出需要被采样以在一定精度内计算AVS的率失真函数的足够数量的分布。该界也被用来给一个未知的IID有限字母表源的率失真函数的估计的收敛速度。
2007-12-18 cs.CV cs.IT math.IT
Pilot-Symbol-Assisted Communications with Noncausal and Causal Wiener Filters
本文研究了时间选择性平坦衰落信道中的导频辅助传输。假设在接收机处采用非因果和因果维纳滤波器来借助于由发射机周期性地发送的训练符号来执行信道估计。对于这两个滤波器,估计误差的方差从信道的多普勒功率谱获得。随后,可实现的速率表达式提供。通过最大化可实现的速率表达式来联合优化训练周期以及数据和训练功率分配。通过将衰落建模为高斯-马尔可夫过程,得到了数值结果。因果和非因果滤波方法的可实现的速率进行了比较。对于特定的参数范围内考虑的文件中,所产生的性能损失,通过使用因果过滤器,而不是一个非因果过滤器被证明是小的。分析了由于快衰落引起的信道多普勒频谱欠采样版本中出现的混叠的影响。最后,能量每比特的要求进行了调查,在存在的非因果和因果维纳滤波器。
2008-12-08 cs.IT math.IT
Three Laws of Multivariable Feedback Systems, Extended Spectral Flatness (Extended Wiener Entropy), 'Uncertainty Principles' in Variance Minimization, and Performance Limitations in Minimum Variance Estimation/Filtering
本文推导了多输入多输出反馈系统的三大定律,分别涉及熵域、频域和时域,并提出了新的概念如扩展频谱平坦度等,探讨了最小方差控制中的不确定性原理及最小方差估计滤波的性能限制。
2014-12-19 cs.IT cs.SY eess.SY
Mutual Information, Relative Entropy, and Estimation in the Poisson Channel
令$X$是非负随机变量,并令给定$X$的随机变量$Y$的条件分布对于参数$γ\geq 0$为${Poisson}(γ\cdot X)$。我们确定了一个自然损失函数,使得:1)$X$和$Y$之间的互信息关于$γ$的导数等于基于$Y$估计$X$时的\emph{minimum}平均损失,而不管$X$的分布如何。2)当$X \sim P$是基于$Y$由失配估计器估计的,该失配估计器将使具有$X \sim Q$的预期损失最小化时,超额平均损失的$γ$的所有值上的积分等于$P$和$Q$之间的相对熵。对于连续时间设置,其中$X^T = \{X_t, 0 \leq t \leq T \}$是非负随机过程,并且给定$X^T$,$Y^T=\{Y_t, 0\le t\le T\}$的条件定律是具有强度函数$γ\cdot X^T$的非齐次泊松过程的条件定律,在相同的损失函数下:1)当PDMATHBNB等于\emph{non-causal}滤波中的最小平均损失的期望值时,PDMATHBNA滤波中的最小平均损失这是利用参数$γ$在0和$γ_0$之间均匀分布的信道实现的平滑。连接这两个量的是$X^T$和$Y^T$之间的互信息。2)因果过滤和非因果过滤中的平均损失之间的这种关系在所采用的过滤器不匹配的情况下也成立,即,假设$X^T$上的一个定律是优化的,而这个定律不是真的。在这种情况下,桥接两个量的是$Y^T$的…
2010-12-31 cs.IT math.IT
Minimax Filtering via Relations between Information and Estimation
研究了极大极小准则下连续时间因果估计问题。令$X^T = \{X_t,0\leq t\leq T\}$由来自由$θ\in Λ$索引的一类可能定律的概率定律$P_θ$支配,并且$Y^T$是可用于估计器的$X^T$的噪声破坏观测。我们刻画了最坏情况下最小化后悔的估计量,其中后悔是估计量的因果估计损失与最优估计量的因果估计损失之间的差异。本文的主要贡献之一是刻画了极大极小估计量,表明它实际上是一个贝叶斯估计量。然后,我们与极小极大遗憾的信道容量时,信道是高斯或泊松。在这种情况下,我们更明确地刻画了极小极大后悔和极小极大估计。如果我们进一步假设不确定性集合由确定性信号组成,则最坏情况下的遗憾恰好等于相应的信道容量,即在信号的不确定性集合上的所有可能分布中跨信道可获得的最大互信息。相应的极小极大估计量是贝叶斯估计量,假设容量实现先验。利用这种关系,我们还表明,能力实现先验与最不利的输入相吻合。此外,我们表明,这种极大极小估计不仅最小化最坏情况下的遗憾,但也基本上最小化遗憾的“大多数”的其他来源的不确定性。我们提出了一对夫妇的例子,通过一个近似的相关容量实现分布的极小极大滤波器的建设。
2014-07-08 cs.IT math.IT
Closure-Preserving Rate-Distortion for Reversible Logging
Koguan School of Law, China Institute for Smart Justice(致公法学院,中国智慧司法研究院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院)
针对可逆日志记录,提出一种基于闭包保持保真度的语义率-失真理论,通过将日志分解为不可约核心与冗余部分,实现核心率-失真降低,并应用于可逆因果网和可逆素数事件结构。
2026-06-23 cs.IT math.IT
Optimal Causal Rate-Constrained Sampling for a Class of Continuous Markov Processes
考虑以下通信场景。编码器观察一个随机过程,并在每秒传输的预期比特数的约束下,因果地决定何时传输以及传输什么。解码器使用接收到的码字来实时的因果地估计该过程。编码器和解码器在时间上是同步的。对于一类满足正则性条件的连续Markov过程,在速率约束下,找到了使端到端估计均方误差最小的最优编码和解码策略.我们表明,最佳的编码策略传输一个$1$位码字的过程中的创新,一旦通过两个阈值之一。最佳解码器从1位码字和码字生成时间戳中无噪声地恢复最后一个样本,并使用它来决定当前过程的运行估计,直到下一个码字到达。特别是,我们显示的最佳因果码的Ornstein-Uhlenbeck过程,并计算其失真率函数。此外,我们表明,最佳因果码也最小化的连续时间控制系统的均方成本由一个连续的马尔可夫过程和控制的附加控制信号。
2021-09-20 cs.IT math.IT
Zero-Delay Rate Distortion via Filtering for Vector-Valued Gaussian Sources
KTH Royal Institute of Technology(皇家理工学院);Aalborg University(奥尔堡大学);University of Cyprus(塞浦路斯大学)
本文研究了向量高斯-马尔可夫源在零延迟源编码中的问题,通过非anticipative率失真函数(NRDF)作为下界,提出了一种新的反馈实现方案,并通过晶格量化与减法噪声实现预测编码,从而为零延迟向量高斯率失真函数提供了一个上界。
2018-09-30 cs.IT cs.SY eess.SY
Lower Bound of Networked Control with Multiple Sensors and One Controller And The Application to Tracking Gaussian-Markov Source
University of Texas at Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学)
研究多编码器单解码器网络控制系统的因果率失真函数这一长期未决问题,建立新的有向信息下界,证明线性编码器和解码器对优化下界的最优性,简化分析并给出相关半定规划公式。
2026-08-28 cs.IT cs.SY eess.SY
Optimal Estimation via Nonanticipative Rate Distortion Function and Applications to Time-Varying Gauss-Markov Processes
本文利用非预期率失真理论提出了{有限时域}因果滤波器。我们应用{开发}理论{设计最优滤波器}时变多维高斯-马尔可夫过程,均方误差保真度约束。我们表明,这样的过滤器是等效的最佳的\texttt{\{encoder, channel, decoder\}},这确保了误差满足{a}保真度约束的设计。此外,我们得到了条件互信息下时变多维Gauss-Markov过程的任何估计的均方误差的一个普遍下界。与经典的卡尔曼滤波器,开发的过滤器的特点是由一个反向注水算法,它确保{that}的保真度约束得到满足。理论结果表明,通过例证。
2017-02-10 cs.IT math.DS math.IT
A Rate-Distortion Framework for Explaining Neural Network Decisions
Technische Universität Berlin(柏林工业大学);University of Tromsø(特罗姆瑟大学)
我们正式解释神经网络的决定作为一个明确的优化问题,在率失真框架的普遍想法。如果在随机化剩余特征时预期的分类器得分保持几乎恒定,则一组输入特征被认为与分类决策相关。我们讨论的计算复杂性,找到小的相关功能集,并表明该问题是完整的$\mathsf{NP}^\mathsf{PP}$,一类重要的计算问题,经常出现在AI任务。此外,我们表明,它甚至仍然是$\mathsf{NP}$ -很难只近似的最优解,在任何非平凡的近似因子。最后,我们考虑了一个连续的问题松弛,并开发了一个启发式的解决策略,基于假设的密度过滤深度ReLU神经网络。我们提出了两个图像分类数据集的数值实验,我们优于建立的方法,特别是稀疏的解释神经网络的决定。
2019-05-27 cs.CC cs.IT cs.LG