Approximate Gradient Coding via Sparse Random Graphs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
分布式算法经常受到落伍者效应的困扰，系统中最慢的计算节点决定了整体运行时间。最近提出了编码理论技术，通过算法冗余来减轻掉队者。编码计算和梯度编码中的先前工作主要集中在期望输出的精确恢复上。然而，在对噪声鲁棒的应用中，稍微不精确的解决方案是可以接受的，例如通过基于梯度的算法进行模型训练。在这项工作中，我们提出了计算简单的梯度代码的基础上稀疏图，保证快速和近似准确的分布式计算。我们证明，牺牲少量的准确性可以显着增加算法的鲁棒性，掉队。
2017-11-17 cs.DC cs.IT cs.LG
Aspects of Polar-Coded Modulation
我们考虑联合设计的极化编码和高阶调制方案不断增加的频谱效率。详细描述了极化码构造和多级编码方法之间的密切联系。不同的调制方案之间的关系，如比特交织编码调制（BICM）和多级编码（MLC）的情况下，极化编码调制，以及应用的标记规则和冻结通道的选择的影响进行了论证。
2012-11-29 cs.IT math.IT
Gradient Coding via the Stochastic Block Model
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
梯度下降及其许多变体，包括小批量随机梯度下降，形成了现代大规模机器学习的算法基础。由于现代数据的大小和规模，梯度计算通常分布在多个计算节点上。不幸的是，这样的分布式实现可能面临由离散节点引起的显著延迟，即，比平均速度慢得多的节点。梯度编码是一种新的技术，通过算法冗余来减轻落伍者的影响。虽然有效，但先前提出的梯度码构造起来可能计算昂贵，不准确或容易受到对抗性掉队者的影响。在这项工作中，我们提出了随机分组码（SBC），一种基于随机分组模型的梯度码。我们表明，SBCs是有效的，准确的，并且在某些设置下，对抗性的掉队者选择变得像在多个社区中检测社区结构一样困难，块随机图模型。
2018-05-25 cs.DC cs.IT cs.LG
Correspondence and Independence of Numerical Evaluations of Algorithmic Information Measures
我们表明，实值近似Kolmogorov-Chaitin（K_m）使用的算法编码定理计算的输出频率的一个大的一组小的确定性图灵机与多达5个状态（和2个符号），是在协议所使用的指令数的图灵机生产s，这是符合严格的整数值程序大小的复杂性。尽管如此，K_m被证明是一个更细粒度的测量和一个潜在的替代方法的无损压缩算法的小实体，压缩失败。我们还表明，K_m和所使用的指令数与Bennett的逻辑深度LD（s）没有任何相关性，而不是理论所预测的。理论和数值计算之间的协议表明，尽管这些理论措施的不可判定性，近似是稳定的和有意义的，即使是小程序和短字符串。我们还宣布了第一个测试版的在线数学复杂度计算器（OACC），基于理论概念的组合，作为编码定理方法的数值实现。
2013-02-13 cs.CC cs.FL cs.IT
Extreme Flow Decomposition for Multi-Source Multicast with Intra-Session Network Coding
网络编码（NC），当结合多径路由，使线性规划（LP）制定的多源组播会话内网络编码（MISNC）问题。然而，由于变量或约束的巨大规模，使用常规方法仍然很难求解。在本文中，我们试图解决这个问题的吞吐量最大化从算法的角度来看。我们提出了一种新的配方的基础上的外部流分解技术，这有利于近似和在线算法的设计和分析。对于离线的情况下，我们开发了一个完整的多项式时间近似方案（FPTAS），可以找到一个$(1+ω)$的近似解决方案，任何指定的$ω>0$。对于在线的情况下，我们开发了一个在线的原始-对偶算法，证明$O(1)$ -竞争和违反链路容量的一个因素的$O(\log m)$，其中$m$是链接数。所提出的算法共享一个优雅的原始-对偶形式，从而具有简单，高效和可扩展性的固有优势。为了更好地理解外部流分解方法的优点，我们在扩展的蝴蝶网络上设计了精细的数值例子。我们验证了算法参数的影响，并提出的FPTAS和在线算法之间的一个有趣的比较。结果表明，在线算法具有令人满意的性能，同时保持可接受的整体链路利用率相比，FPTAS。
2020-12-25 cs.IT cs.NI math.IT
Primitive idempotents in central simple algebras over $\mathbb{F}_q(t)$ with an application to coding theory
考虑了计算有限域上有理函数域上中心单代数的本原幂等元的算法问题。代数由一组结构常数给出。该问题归结为计算一个与中心单代数等价的除代数Brauer。一旦计算出Hasse不变量，这个除代数就被构造成一个循环代数。本文给出了斜常循环卷积码的一个应用。
2020-06-22 cs.IT math.IT math.NT
Algorithmic Computability of the Capacity of Gaussian Channels with Colored Noise
本文从图灵机角度研究带限加性有色高斯噪声信道的容量可计算性，证明存在谱密度可计算但容量不可计算的信道，且无法找到其容量的渐近紧上界可计算序列。
2023-06-01 cs.IT math.IT
Algorithmically probable mutations reproduce aspects of evolution such as convergence rate, genetic memory, and modularity
自然选择解释了生命如何从更原始的形式进化了数百万年。然而，当基于随机（均匀分布）突变时，这种情况发生的速度有时会违背正式的解释。在这里，我们调查的应用程序的基础上自然，但算法分布的突变（没有重组）在各种例子中，特别是二进制矩阵，以比较进化收敛速度的简单性偏差。合成和小的生物实例的结果表明，当突变不是统计上均匀的，而是\textit{algorithmic uniform}时，速率加快。我们表明，算法分布可以进化模块化和遗传记忆的结构保存时，他们第一次出现，有时会导致加速生产的多样性，但也种群灭绝，可能解释自然发生的现象，如多样性爆炸（如寒武纪）和大规模灭绝（如三叠纪末），其原因是目前的一个原因进行辩论。这里介绍的自然方法似乎是一个更好的近似生物进化模型完全基于随机均匀突变，它也接近一个正式版本的开放式进化的基础上以前的正式结果。这些结果验证了计算可能是进化同样重要的驱动力的方向的一些建议。我们还表明，在优化问题，如遗传算法，诱导的方法，有可能加速人工进化算法的收敛。
2018-06-20 cs.IT cs.NE math.IT
A New Noncoherent Decoder for Wireless Network Coding
本文研究了无线网络编码在典型双向中继信道中的解码问题，在双向中继信道中，两个中继节点通过一个公共中继交换消息，并接收两个消息的混合。Katti \textit{et al.}在SIGCOMM'07中很好地解释了无线网络编码的最新工作之一。在这项工作中，我们分析了他们的解码器的问题时，最小频移键控（MSK）作为调制格式，并提出了一种新的非相干解码器中存在的两个干扰信号。
2010-12-29 cs.IT math.IT
Service Rate Region: A New Aspect of Coded Distributed System Design
擦除编码是一种有效的方法，可以有效地减少分布式系统中由于节点速度慢或分散而引起的延迟。这项工作表明，数据对象的纠删编码可以灵活地处理请求速率的偏差。编码可以帮助提高\emph{service rate region}，也就是说，增加系统可以处理的数据访问请求的总量。本文的目的是假设的服务率区域作为一个重要的考虑因素，在设计的擦除编码的分布式系统。我们强调几个开放的问题，可以分为两个广泛的线程：1）表征服务率区域的一个给定的代码，并找到最佳的请求分配，和2）设计一个给定的服务率区域的底层擦除码。作为沿着第一线程的贡献，我们的特点率区域的最大距离可分离，局部可修复，和单纯形码。我们证明了混合码的有效性，结合复制和纠删编码的代码设计。我们还发现多集批处理代码和最大化服务率区域的问题之间的基本连接。
2021-06-27 cs.DM cs.IT cs.PF
Algorithmic Aspects of Energy-Delay Tradeoff in Multihop Cooperative Wireless Networks
研究了时延受限的协作多跳无线网络中的能量有效传输问题。协作多跳方案的组合性质使得很难设计有效的多项式时间算法来决定哪些节点应该参与协作，以及它们应该何时以及以什么功率发送。在这项工作中，我们在无记忆网络中解决了这个问题，有或没有延迟约束，即，服务质量保证。我们分析了广泛的设置，包括单播，组播和广播，和两个主要的合作方法，即：能量积累（EA）和互信息积累（MIA）。我们提供了一个广义的算法制定的问题，包括所有这些情况下。我们调查的EA和MIA在我们的广义配方的相似性和差异。我们证明了广播和多播问题，在一般情况下，不仅NP困难，而且O（log（n））不可逼近。我们把这些问题分为三个部分：排序，调度和功率控制，并提出了一种新的算法，给定一个排序，可以最优地解决联合功率分配和调度问题在多项式时间内同时进行。我们进一步表明，经验表明，这种算法结合使用的Dijkstra的最短路径算法产生接近最佳的性能在典型的设置中的顺序推导。对于单播的情况下，我们证明，虽然问题仍然NP难与MIA，它可以解决最佳的，在多项式时间内使用EA。我们进一步使用我们的算法研究数值延迟和功率效率之间的权衡在合作广播和比较EA与MIA的性能以及我们的合作算法的性能与智能非合作算法在广播设置。
2011-12-29 cs.DS cs.IT math.IT
Some Computational Aspects of Essential Properties of Evolution and Life
虽然进化启发了启发式优化的算法方法，但在使用计算概念来促进我们对生物现象的显著方面的理解方面却做得很少。我们认为，在合理的假设下，可以得出有趣的结论，是相关的行为进化。我们将集中在生命的两个重要特征-鲁棒性和健身-这，我们将认为，是有关算法的概率和热力学计算，学科，可能能够模拟生物体的关键特征，并可用于制定新的算法的演化计算。
2012-06-02 cs.CC cs.IT math.IT
Lecture Notes on Algorithmic Information Theory
本讲义基于2023年研究生课程，打破学科界限，系统介绍算法信息论，涵盖从可计算性理论到前缀复杂度及形式系统信息论极限等核心主题。
2025-04-22 cs.IT cs.LO math.IT
Symmetry and Algorithmic Complexity of Polyominoes and Polyhedral Graphs
我们引入了算法对称性的定义，能够捕捉几何对称性的基本方面。我们回顾，研究和应用一种方法来近似算法的复杂性（也称为Kolmogorov-Chaitin复杂性）的图形和网络的基础上的概念的概率（AP）。AP是一个概念（和方法），能够递归枚举所有的可计算（因果）性质的统计性质之外。我们探索算法的复杂性-理论和数值-与几何属性主要是对称性和拓扑结构从（算法）信息理论的角度来看。我们表明，近似算法的复杂性，通过无损压缩和基于概率的方法可以表征性质的多项式，多面体，规则和准规则多面体以及多面体网络，从而证明其剖析能力。
2018-02-24 cs.CC cs.CG cs.DM
Wiretap Channels with Causal State Information: Strong Secrecy
在强保密准则下，研究了具有因果信道状态信息的窃听信道的编码问题。这个问题包括两个方面：一个是由于天真的窃听信道编码，另一个是由于一次一密密码的基础上的秘密密钥协议的Alice和Bob之间使用的信道状态信息。这两个方面是密切相关的，并从可达到的高保密率的角度进行了详细的研究。研究了Alice、Bob和Eve之间具有不同方向信道状态信息（称为多路信道状态信息）的一般窃听信道，并将上述系统作为特例。我们提供了一个统一的观点，窃听信道编码与因果多路信道状态信息。
2019-07-28 cs.IT math.IT
