Coding for Optimized Writing Rate in DNA Storage
描述了一种用于在DNA序列中编码信息的方法。该方法是基于精度分辨率框架,并旨在与最近提出的终止子自由模板独立的DNA合成方法。所建议的方法优化了每合成时间单位的信息比特量,即写入速率。此外,这里研究的编码方案考虑了DNA序列的多个拷贝的存在,这些拷贝是独立扭曲的。最后设计了适用于不同游程分布的量化器。
2020-05-13 cs.IT math.IT
Achieving the Capacity of a DNA Storage Channel with Linear Coding Schemes
由于DNA合成和测序技术的冗余性质,DNA存储系统的基本模型是多抽取“洗牌取样”通道。在该模型中,在信道输出处观察到每个序列的噪声副本的随机数。最近的工作特点的能力,这样的DNA存储通道在不同的噪声和测序模型,依赖于复杂的典型性为基础的方法的可重复性。在这里,我们考虑在二进制擦除通道的噪声损坏的设置中的多绘制DNA存储通道。我们表明,在这种情况下,通过线性编码方案的能力。这导致了一个相当简单的推导出的能力表达的多绘制DNA存储通道比现有的结果在文献中。
2021-12-02 cs.IT math.IT
Coding for Strand Breaks in Composite DNA
针对传统DNA存储错误模型不适用于复合DNA的问题,将链断裂信道模型扩展到复合DNA场景,提出基于标记码的单链断裂纠正编码方案,并推广RLL码推导其冗余度界。
2025-10-28 cs.IT math.IT
The Art of DNA Strings: Sixteen Years of DNA Coding Theory
用DNA计算的想法是由汤姆·海德在1987年提出的,然而在1994年的一篇开创性论文中,阿德曼进行了DNA计算的实际成功实验。DNA计算的核心是DNA杂交,但它也是产生误差的根源。因此,DNA计算的成功与否取决于差错控制技术。经典的编码理论技术为当前的信息通信技术提供了基础。因此,人们自然会期望编码理论将成为DNA计算范例的基础学科。对于成功的DNA计算实验,我们通常设计足够不相似的DNA串。这导致了一个大的DNA串满足一定的组合和热力学约束的建设。在过去的16年里,许多方法,如组合,代数,计算已被用来构建这样的DNA串。在这项工作中,我们调查DNA编码理论的这一有趣的领域,提供该领域的关键思想和目前已知的结果。
2016-07-01 cs.ET cs.IT math.IT
High Information Density and Low Coverage Data Storage in DNA with Efficient Channel Coding Schemes
本研究提出一种集成高效信道编码方案的DNA数据存储架构,通过内外编码结合纠错码与约束码,在实验中实现1.731和1.815的信息密度,以4.5和6.0的低覆盖度无错恢复数据,达到现有标准DNA存储的最高净信息密度和最低覆盖度。
2024-11-11 cs.IT math.IT
Coding over Sets for DNA Storage
本文研究了用于人工合成脱氧核糖核酸(DNA)数据存储的纠错码。我们研究了一个存储模型,其中数据由一组无序的$M$序列表示,每个序列的长度为$L$。该模型中的错误是整个序列的丢失和序列内的点错误,例如替换、插入和缺失。我们提出了代码的建设,可以纠正这些错误与有效的编码器和解码器。通过推导这些代码的基数上界使用球包装参数,我们表明,我们的许多代码接近最佳。
2018-05-09 cs.IT math.IT
Coding for Ordered Composite DNA Sequences
针对DNA存储信息容量提升需求,提出新型复合DNA信道模型,研究二进制下替换与单删除错误的复合序列重构,定义两类纠错码并给出界,还构造了单删除场景的系统码,探讨了信道容量开放问题。
2025-10-30 cs.IT math.IT
Sequence-Subset Distance and Coding for Error Control in DNA-based Data Storage
基于DNA的数据存储(简称DNA存储)过程可以在数学上建模为通信信道,称为DNA存储信道,其输入和输出是无序序列的集合。为了设计DNA存储通道的纠错码,引入了一种新的度量标准--序列子集距离,该度量标准将海明距离推广为任意两组无序向量之间定义的距离函数,有助于建立一个统一的框架来设计DNA存储通道的纠错码。我们进一步介绍了一个家庭的纠错码,称为\emph{sequence-subset codes},DNA存储,并表明这种代码的纠错能力是完全由它们的最小距离。我们得到了序列子集码大小的上界,包括一个特殊情况下的紧界,Singleton类界和Plotkin类界。我们还提出了一些建设,包括一个特殊情况下,这意味着这些代码的大小的下限的最佳建设。
2020-06-10 cs.IT math.IT
An End-to-End Coding Scheme for DNA-Based Data Storage With Nanopore-Sequenced Reads
针对DNA存储中纳米孔测序读段的链相关IDS错误等问题,提出基于索引的级联编码方案与低复杂度最大后验概率解码器,经仿真验证性能优于现有方案。
2024-06-18 cs.IT math.IT
Salami Slicing Trellis for Synchronization Errors in DNA Coding
National Taiwan University(国立台湾大学)
针对DNA存储中同时存在替换、插入和删除错误的问题,提出萨拉米切片网格与跨链极化码结合的决策反馈译码方案,逼近信道容量。
2026-06-27 cs.IT math.IT
Constrained Coding for Composite DNA: Channel Capacity and Efficient Constructions
针对复合DNA存储测序易出错的问题,提出高效约束编码技术施加生物学约束,计算信道容量、构建编解码器并优化复合字母选择,部分参数下仅需一个冗余符号。
2025-01-18 cs.IT math.IT
Coding Over Coupon Collector Channels for Combinatorial Motif-Based DNA Storage
本文针对基于预合成 DNA 基序组合的存储方式,分析 HelixWorks 数据并建立有/无干扰信道模型,提出利用全部输出信息、逼近基本极限且降低解码复杂度的编码方案。
2024-12-04 cs.IT math.IT
A Tutorial on Coding Methods for DNA-based Molecular Communications and Storage
本文提供DNA存储及其在分子通信中应用的教程,涵盖MCS基础、传统编码方案的应用及数值结果,并展望未来研究方向。
2023-11-13 cs.ET cs.IT math.IT
Coding over Sets for DNA Storage
本文研究了用于人工合成脱氧核糖核酸(DNA)数据存储的纠错码。我们研究了一个存储模型,其中数据集由一组无序的$M$序列表示,每个序列的长度为$L$。该模型内的错误是整个序列的丢失和序列内的点错误,例如插入、缺失和替换。我们推导出Gilbert-Varshamov下界和球包装上界的可实现的基数的纠错码在这个存储模型。我们进一步提出了显式的代码结构,可以纠正这种可以有效编码和解码的存储系统中的错误。比较这些代码的上限的大小,我们发现,许多建设接近最佳。
2020-02-12 cs.IT math.IT
Error Correction for DNA Storage
该研究针对DNA存储因读写物理限制带来的全新编码理论挑战,介绍了删除/插入纠错码、切片信道编码、重复纠错码等相关编码问题。
2023-10-03 cs.IT math.IT
Covering All Bases: The Next Inning in DNA Sequencing Efficiency
针对DNA存储实际场景中的覆盖深度问题,研究探索适配的最优纠错码配对方案以最小化覆盖深度,通过理论分析与仿真探究文件恢复所需样本的期望与分布,为优化DNA存储系统编码方案提供洞见。
2024-01-31 cs.IT math.IT
Concatenated Code Design for Constrained DNA Data Storage with Asymmetric Errors
DNA数据存储最近因其持久的保存和极高的信息密度(每克比特数)特性而引起了广泛关注。在这项工作中,我们提出了一种混合编码策略,包括广义约束码来解决同聚物(游程)限制和基于原型图的低密度奇偶校验(LDPC)码来纠正不对称核苷酸水平(即,A/T/C/G)替换错误。分析了两种测序技术,即Nanopore测序仪和Illumina测序仪及其等效通道模型和容量。提出了一种编码架构,以潜在地消除由约束解码中的错误传播引起的灾难性错误,同时实现高编码潜力。我们还显示了对数似然比(LLR)的置信传播解码与这种编码架构的计算方法。仿真结果和理论分析表明,该编码方案具有良好的出错率(BER)性能和较高的编码潜力($\sim1.98$比特/核苷酸)。
2021-12-17 cs.IT math.IT q-bio.OT
DNA-Based Data Storage Systems: A Review of Implementations and Code Constructions
该综述聚焦新兴的分子数据存储领域,梳理系统实现方法与编码构造,明确通信与编码理论的新问题并探讨相关研究成果,为DNA数据存储领域的研究提供参考。
2023-10-07 cs.ET cs.IT math.IT
Restriction enzymes use a 24 dimensional coding space to recognize 6 base long DNA sequences
限制酶识别并结合入侵噬菌体DNA上的特定序列。就像锁中的钥匙一样,这些蛋白质需要许多接触才能指定正确的DNA序列。使用信息论,我们开发了一个方程,定义了独立的接触,这是绑定的维数。我们表明,EcoRI,它结合到序列GAATTC,功能在24个维度。信息论将信息表示为高维空间中的球体。更好的球体包装会带来更好的通信系统。已知的超球的密集堆积发生在24维的Leech晶格上。我们认为,单一的蛋白质EcoRI分子采用水蛭晶格在其操作。优化球体堆积的密度解释了为什么6个碱基的限制性内切酶如此普遍。
2019-10-30 cs.IT math.IT q-bio.QM
Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding
现代数据压缩主要基于两种熵编码方法:霍夫曼编码(HC)和算术/距离编码(AC)。前者要快得多,但近似概率为2的幂,通常导致相对较低的压缩率。后者使用几乎精确的概率-很容易接近理论压缩率极限(香农熵),但代价是更大的计算成本。非对称数字系统(ANS)是一种精确熵编码的新方法,它允许结束速度和速率之间的这种权衡:最近的实现[1]提供了比256大小字母表的HC快大约$50\%$的解码,压缩率类似于AC提供的压缩率。这个优点是由于比AC更简单:使用单个自然数作为状态,而不是两个来表示范围。除了简化重正化,它还允许将给定概率分布的整个行为放入一个相对较小的表中:定义熵编码自动机。对于256大小的字母表,这样的表的存储器成本是几个字节。在选择特定表时有很大的自由度-为此目的使用用加密密钥初始化的伪随机数生成器允许同时加密数据。本文还介绍和讨论了这种新的熵编码方法的许多其他变体,这些变体可以为标准AC、大字母范围编码或近似的准算术编码提供直接的替代方案。
2014-01-06 cs.IT math.IT
The Optimal Compression Rate of Variable-to-Fixed Length Source Coding with a Non-Vanishing Excess-Distortion Probability
我们考虑可变到固定长度的有损信源编码(VFSC)问题。可变到固定信源编码的平均长度的最佳压缩率,允许过度失真$\varepsilon$的非零概率,被示出为等于$(1-\varepsilon)R(D)$,其中$R(D)$是源的率失真函数。与Koga和Yamamoto以及Kostina、Polyanskiy和Verdú关于固定到可变长度信源编码的相关结果相比,我们的结果证明了一个有趣的特征,即可变到固定长度信源编码具有与固定到可变长度信源编码相同的一阶压缩率。
2018-03-19 cs.IT math.IT
The Secure Storage Capacity of a DNA Wiretap Channel Model
在本文中,我们提出了一种策略,使基于DNA的数据存储信息理论上是安全的,通过使用窃听信道编码。这促使我们扩展Shomorony和Heckel(2021)的混洗采样信道模型,以包括窃听器。我们的主要结果是我们的DNA窃听通道模型,这是数据可以存储在一个池的DNA分子,以便可靠地检索由授权方(鲍勃)的最大速率的安全存储容量的表征,同时确保未经授权的一方(夏娃)从她的观察几乎没有得到任何信息。此外,我们的可扩展性证明表明,基于索引的窃听信道编码方案是最佳的。
2022-11-24 cs.IT math.IT
Outer Channel of DNA-Based Data Storage: Capacity and Efficient Coding Schemes
本文研究DNA数据存储外信道的容量与编码方案,推导了外信道容量并证明随机替换错误与擦除错误危害相当,提出独立解码和基于字符串可靠性的联合解码方案,仿真表明联合解码显著降低帧错误率并优于现有方法。
2025-09-22 cs.IT math.IT
Deep DNA Storage: Scalable and Robust DNA Storage via Coding Theory and Deep Learning
Technion - Israel Institute of Technology(以色列理工学院)
针对DNA存储信息检索中可扩展性与准确性的权衡瓶颈,提出结合模拟训练DNN、TP基ECC和安全裕度的模块化流水线,在3.1MB数据上实现速度最高3200倍提升、40%准确率提升及高噪下1.6比特/碱基编码率,为商业化DNA存储提供可行路径。
2024-03-11 cs.AI cs.IT math.IT
DNA Linear Block Codes: Generation, Error-detection and Error-correction of DNA Codeword
本文提出基于DNA线性分组码和DNAX操作的码字生成方法,利用生成矩阵与奇偶校验矩阵实现DNA序列加解密,并能检测和纠正生物信道传输错误,推动了DNA密码学发展。
2023-08-04 cs.IT math.IT q-bio.BM
Forward asymmetric numeral systems coding for natural language text compression
Taras Shevchenko National University of Kyiv(基辅塔拉斯·舍甫琴科国立大学)
本文提出结合非对称数字系统编码的建模与自适应编码方法,以实现高效的数据处理速度和压缩比,并解决自适应ANS的实现问题。
2026-05-20 cs.IT math.IT
Universal Tree Source Coding Using Grammar-Based Compression
我们应用所谓的树直线程序的问题的无损压缩的二叉树。我们得到的最大逐点冗余(或最坏情况下的冗余),提高以前的界限张,杨,Kieffer使用有向无环图。利用这一点,我们获得通用代码的新类的结构化树源。
2017-01-21 cs.IT math.IT
Finite Blocklength Performance Bound for the DNA Storage Channel
本文提出了DNA存储信道的有限块长性能界(DT界),用于评估级联编码方案,并基于EXIT图优化LDPC外码,在2000符号内实现了88%至96%的归一化速率。
2023-08-04 cs.IT math.IT
Index-Based Concatenated Codes for the Multi-Draw DNA Storage Channel
针对DNA存储中的IDS错误,提出基于索引的级联编码方案,结合外码、索引码和内同步码,并设计失配联合解码器,通过模拟验证其性能。
2023-06-21 cs.IT math.IT
Lossy Compression of Exponential and Laplacian Sources using Expansion Coding
本文提出了一种通用的信源编码过扩展方法,它使压缩模拟(连续值信源)的问题简化为一组更简单的问题,即压缩离散信源。具体而言,重点是指数和拉普拉斯源的有损压缩,其随后在被量化之前使用有限字母表扩展。由于这种源的可分解性,所得到的随机变量后扩展是独立的和离散的。因此,每个扩展级别对应于独立的离散信源编码问题,并且原始问题被简化为在具有总失真约束的这些并行信源上进行编码。优化问题的任何可行解都是原始连续值源压缩问题的可实现率失真对。虽然找到这个优化问题的解决方案,在每一个失真是困难的,我们表明,我们的扩展编码方案提出了一个很好的解决方案,在低distrotion制度。此外,通过采用为离散信源编码设计的低复杂度码,总编码复杂度在实践中可以是易处理的。
2013-08-10 cs.IT math.IT
Marker-Delimited Codes for Short-Blocklength, High-Rate Coding over Multi-Read Edit Channels
Côte d’Azur University(蔚蓝海岸大学);CNRS(法国国家科学研究中心);I3S(尼斯索菲亚安蒂波利斯信息、系统与智能实验室)
针对DNA存储多读取编辑信道的短块长度高码率场景,提出结合标记分隔码与LDPC码的级联编码方案,提升了纠错效率。
2026-09-01 cs.IT math.IT
Hybrid Approaches to Image Coding: A Review
如今,数字世界最关注的是存储空间和速度。随着对更好地利用带宽的需求的增长,有效的图像数据压缩技术已经成为图像数据传输和存储的重要因素。迄今为止,已经开发了不同的图像压缩方法,如经典的预测编码、流行的变换编码和矢量量化。几个第二代编码方案或基于分段的方案也越来越流行。基于混合编码的实际有效的压缩系统结合了不同的传统图像编码方法的优点,多年来也已经开发出来。在本文中,不同的混合方法的图像压缩进行了讨论。在这种情况下,图像的混合编码涉及将两种或更多种传统方法相结合,以增强各个方法并实现具有更高压缩比的更好质量的重建图像。本文还回顾了近年来有关混合图像编码技术的文献。尝试突出神经小波方法,以提高编码效率。
2012-09-12 cs.IT math.IT
Iterative DNA Coding Scheme With GC Balance and Run-Length Constraints Using a Greedy Algorithm
在本文中,我们提出了一种新的迭代编码算法的DNA存储,以满足GC平衡和运行长度的限制,使用贪心算法。已知游程长度大于3且GC平衡比远离50%的DNA链容易出错。所提出的编码算法以高信息密度存储数据,具有最多$m$的游程长度的高灵活性以及任意$m$和$α$的$0.5\pmα$之间的GC平衡。更重要的是,我们提出了一种新的映射方法,以减少平均比特错误相比,随机生成的映射方法,使用贪心算法。该算法通过迭代编码实现,包括三个主要步骤:随机化,M-ary映射和验证。在$m=3$和$α=0.05$的情况下,所提出的算法具有1.8523比特/nt的信息密度。此外,所提出的算法是鲁棒的错误传播,因为由一个nt错误引起的平均比特错误是2.3455比特,这是减少了$20.5\%$,相比随机映射。
2021-08-02 cs.IT eess.SP math.IT
Constrained Optimal Querying: Huffman Coding and Beyond
众所周知,霍夫曼编码在某些决策问题中是有用的,这些决策问题涉及最小化(自由选择的)查询的平均数量以确定未知的随机变量。然而,在查询更受约束的问题中,原始的霍夫曼编码不再起作用。在本文中,我们提出了一个通用的模型来描述这些问题和两个编码方案:一个是基于霍夫曼,另一个称为GBSC(贪婪二进制分离编码)。我们证明了GBSC的最优性,通过归纳二进制决策树,告诉我们,GBSC是至少一样好的香农编码。然后,我们比较了基于这两个代码的两个算法,通过测试他们与两个问题:DNA检测和1-player战舰,并发现这两个都是体面的近似算法,与基于霍夫曼的算法给出了一个预期的长度的1.1倍,真正的最优DNA检测问题,和GBSC产生的平均查询次数的1.4倍,理论上的最优1-player战舰。
2022-10-08 cs.IT math.IT
Data Compression with Relative Entropy Coding
University of Cambridge(剑桥大学)
本文研究了相对熵编码,探讨其在数据压缩中的应用,提出新的理论极限和算法,并展示其在图像、音频、视频和蛋白质数据压缩中的高效性能。
2026-03-24 cs.IT math.IT
Achievable Rates of Concatenated Codes in DNA Storage under Substitution Errors
在本文中,我们研究了级联编码方案在脱氧核糖核酸(DNA)存储信道上的可达速率。我们的通道模型结合了基于DNA的数据存储的主要功能。首先,信息存储在许多短的DNA链上。第二,串以无序的方式存储在存储介质内,并且每个串被复制多次。第三,以不可控的方式访问数据,即,从介质中抽取随机股并接收,可能有错误。作为我们的结果之一,我们表明,有一个显着的差距之间的信道容量和可实现的速率的标准级联码,其中一个链对应于一个内部块。这实际上是令人惊讶的,因为对于其它信道,例如$q$元对称信道,已知级联码可以实现该容量。我们进一步提出了一个修改后的级联编码方案,通过将几个链组合成一个内部块,它允许缩小差距,并实现接近容量的速率。
2020-04-30 cs.IT math.IT
Protecting the Future of Information: LOCO Coding With Error Detection for DNA Data Storage
针对DNA存储中长同聚物与低GC含量导致的错误问题,提出可平衡、低开销且容量可达的D-LOCO码,并设计码字连接方案以支持单替换错误检测。
2024-05-10 cs.IT eess.SP math.IT
Concatenated Codes for Short-Molecule DNA Storage with Sequencing Channels of Positive Zero-Undetected-Error Capacity
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Technion(以色列理工学院);University of Cambridge(剑桥大学)
本文研究了在存在噪声测序的DNA存储系统中可可靠存储的信息量,其中每个码字由短DNA分子组成。通过分析级联编码方案,外码用于处理随机采样,内码用于处理随机测序噪声。假设测序通道对称,并选择内码方案由线性分组码和零未检测误差解码器组成。作为副产品,所得最优最大似然解码器本身易于分析,能够推导出可可靠存储信息位数规模的可达界限。此外,我们证明了在零未检测误差解码下,随机线性分组码的平均误码概率随着块长呈指数衰减,只要其编码速率不超过某个临界值,该临界值是零未检测误差容量的下界。
2026-05-17 cs.IT math.IT
Time-irreversibility tests for random-length time series: the matching-time approach applied to DNA
在这项工作中,我们实现了所谓的匹配时间估计估计的熵率以及熵产生率的符号序列。这些估计是基于系统的递归特性,这已被证明是适当的,特别是当序列具有较大的相关性或记忆测试不可逆性。基于匹配时间的极限定理,我们得到了一个极大似然估计的熵率假设我们有一组适度短的符号时间序列的有限随机持续时间。我们表明,所提出的估计有几个属性,使其足以估计熵率和熵产生率(或测试不可逆性)时,样本序列具有不同的长度,如DNA的编码序列。我们测试我们的方法在一些控制的例子马尔可夫链。我们还实现了我们的估计在基因组序列中,人类DNA的不可逆性编码序列的程度显着大于相应的非编码序列。
2021-07-05 cs.IT math.IT physics.data-an
Row-Centric Lossless Compression of Markov Images
出于最近推出的缩减割集编码(RCC)是否提供了比传统的基于上下文的条件编码与二维马尔可夫结构的源的速率复杂度性能的好处的问题,本文比较了几个行为中心的编码策略,不同的条件的量,以及是否使用模型或经验表中的行块的编码。结论是,至少对于表现出低阶相关性的源,单侧基于模型的条件编码对于给定的复杂度约束优于RCC方法,并且常规的基于上下文的条件编码几乎与单侧基于模型的编码一样好。
2017-02-26 cs.IT math.IT
Error Exponents for DNA Storage Codes with a Variable Number of Reads
本文研究DNA存储码在可变读取次数下的错误指数,证明相比固定读取次数,可变读取能显著降低错误概率,并给出可达性与匹配逆命题。
2025-04-24 cs.IT math.IT
Network Compression: Memory-Assisted Universal Coding of Sources with Correlated Parameters
在本文中,我们提出了{ \em分布式网络压缩通过内存}。我们考虑两个空间分离的源相关的未知源参数。我们希望研究来自源之一的长度为$n$的序列的通用压缩,假设解码器可以访问(即,存储)来自另一个源的长度为$m$的序列。在这种设置中,相关性不是由来自两个源的两个输出的逐符号依赖性引起的(如Slepian-Wolf设置中那样)。相反,这两个序列是相关的,因为它们源自具有\emph{unknown}相关参数的两个源。手头的压缩问题的有限长度性质需要考虑几乎无损信源编码的概念,其中编码引起的错误概率$p_e(n)$随着序列长度$n$增长到无穷大而消失。我们得到的几乎无损码的冗余时,解码器可以访问的随机存储器的长度$m$序列长度$n$和允许的错误概率$p_e(n)$的函数。我们的研究结果表明,通过内存的分布式网络压缩有可能显着改善传统的端到端的压缩时,足够大的内存从以前的通信可供解码器。
2012-10-08 cs.IT math.IT
Asymmetrical two-level scalar quantizer with extended Huffman coding for compression of Laplacian source
本文提出了一种新的扩展霍夫曼编码的两级标量量化器模型。它被设计为使平均比特率尽可能接近源熵,前提是信号量化噪声比(SQNR)值从最佳SQNR值减小不超过1dB。假设对称拉普拉斯概率密度函数的表示水平的不对称性,得到表示水平的不相等概率,即,为进一步实现无损压缩技术提供了适当的基础。在本文中,我们关注的扩展霍夫曼编码技术,提供了最短的码字长度的两个或两个以上的符号块。对于建议的量化器与扩展霍夫曼编码的平均比特率的源熵的收敛检查的情况下,2至5个符号块。结果表明,更高的SQNR是由建议的非对称量化器与扩展霍夫曼编码相比,对称量化器与扩展霍夫曼编码具有相同的平均比特率。
2012-12-20 cs.IT math.IT
Toward Textual Transform Coding
受人类相关压缩研究、变换信息处理方法及语言类AI兴起启发,研究者提出文本变换编码,兼具传统变换编码关键特性,可实现极低比特率压缩并提升传统比特率下重建的人类满意度。
2023-05-03 cs.IT math.IT
Optimized Arithmetic Coding for Efficient Data Compression in the Resource-Constrained Internet of Things(IoT)
本文提出面向资源受限IoT环境的优化Arithmetic Coding算法,结合迭代优化、PCA降维与基数缩减技术,在保持数据完整性的同时显著降低计算开销,实现814:1压缩比与101毫秒单图压缩速度。
2025-08-12 cs.IT math.IT
Improved compression of network coding vectors using erasure decoding and list decoding
实际的基于随机网络编码的组播方案在每个分组中包括记录源和终端之间的转换的报头。报头引入了在某些场景中可能很重要的开销。在以前的工作中,错误控制码的奇偶检验矩阵以及错误解码被用来减少这种开销。在这项工作中,我们提出了新的数据包格式,允许我们使用擦除解码和列表解码。当分组中组合的源的数量不太小时,这两种方案与基于错误解码的方案相比具有较小的开销。
2010-06-01 cs.IT math.IT
Information Analysis of DNA Sequences
区分DNA序列的编码区(外显子)和非编码区(内含子)的信息内容是基因组学的核心问题之一。据估计,内含子占DNA的95%,由于它们似乎不参与氨基酸的转录过程,因此被称为“垃圾DNA”。“虽然人们认为基因组中的非编码区在细胞生长和进化中没有作用,但这些区域携带有用信息的证明往往会推翻这一信念。在本文中,我们认为熵作为一种信息的度量,通过修改熵的表达式,以考虑到这些序列的不同长度。外显子的长度通常比内含子短得多,因此熵值的比较需要标准化。采用长度校正策略,使用随机生成的核子碱基串,该碱基串由与所讨论的外显子相同大小的字母表构建。我们的分析表明,内含子携带的信息几乎与外显子一样多,反驳了它们不携带任何信息的观点。本文的熵的研究结果可能会用于进一步研究其他具有挑战性的工作,如遗传密码的对称性模型的分析。
2010-10-15 cs.CE cs.IT math.IT
Evaluation of Huffman and Arithmetic Algorithms for Multimedia Compression Standards
压缩是一种在不过度降低多媒体数据质量的情况下减少数据量的技术。压缩多媒体数据的转换和存储比原始未压缩多媒体数据快得多且更有效。存在用于多媒体数据压缩的各种技术和标准,特别是用于图像压缩的技术和标准,诸如JPEG和JPEG 2000标准。这些标准包括不同的功能,如颜色空间转换和熵编码。算术编码和霍夫曼编码通常用于熵编码阶段。在本文中,我们试图回答以下问题。从压缩比、性能和实现的角度来看,哪种熵编码(算术编码或霍夫曼编码)更适合于其他编码?我们已经实现并测试了霍夫曼和算术算法。实验结果表明,算术编码的压缩比优于霍夫曼编码,而霍夫曼编码的性能优于算术编码。另外,霍夫曼编码的实现比算术编码容易得多。
2011-08-31 cs.IT cs.MM math.IT
A statistical-mechanical view on source coding: physical compression and data compression
我们在无记忆信息源的有损数据压缩(源编码)的经典信息理论问题与连接粒子链的特定模型的统计力学行为(例如,聚合物)受到收缩力的作用。与这种收缩有关的自由能差与模拟数据压缩模型中的率失真函数成比例,并且收缩力与该函数的导数成比例。除了这个类比本身可能很有趣的事实之外,它还可以提供关于有损数据压缩的最佳方案的行为的物理观点(也许还可以提供关于某些物理系统模型的信息论观点)。此外,它触发的有损压缩性能的系统与内存的推导,使用分析工具和统计力学的见解。
2010-11-15 cond-mat.stat-mech cs.IT math.IT
DNA data storage, sequencing data-carrying DNA
Imperial College London(伦敦帝国学院)
DNA是一个领先的候选人作为下一个档案存储介质,由于其密度,耐用性和可持续性。为了读取(和写入)数据,DNA存储利用了几十年来开发的技术,用于对生命科学中自然存在的DNA进行测序。为了对以前看不见的生物DNA实现更高的准确性,测序依赖于扩展和训练被称为碱基检测器的深度机器学习模型。模型复杂性的这种增长需要大量的资源,包括计算和数据集。它还消除了用于DNA的紧凑型读头作为存储介质的可能性。我们认为,我们需要脱离盲目使用来自生命科学的测序模型来存储DNA数据。差别是惊人的:对于生命科学应用,我们不能控制DNA,然而,在DNA数据存储的情况下,我们控制如何写入它,以及特定的写入头。更具体地说,携带数据的DNA可以被调制并嵌入比对标记和纠错码,以保证更高的保真度并执行机器学习模型执行的一些工作。在本文中,我们研究了深度模型大小和纠错码之间的准确性权衡。我们表明,从一个模型大小为107 MB,从模型压缩的准确性降低,可以通过使用简单的纠错码的DNA序列进行补偿。在我们的实验中,我们表明,在模型的大小的大幅减少不会招致不当的惩罚所使用的纠错码,因此铺平了道路,便携式数据携带的DNA读头。最重要的是,我们表明,通过联合使用模型压缩和纠错码,我们实现了更高的读取精度比没有压缩和纠错码。
2022-05-11 cs.ET cs.IT cs.LG
SPIDER-WEB generates coding algorithms with superior error tolerance and real-time information retrieval capacity
DNA被认为是一种很有前途的存储数字信息的介质。编码算法是基于DNA的数据存储工作流程中必不可少的一步,负责实现比特到碱基的转码、纠错等功能。在以往的研究中,这些功能通常是通过引入多种算法来实现的。在这里,我们报告了一个基于图的架构,命名为SPIDER-WEB,通过自动生成定制算法提供一体化编码解决方案。SPIDERWEB能够纠正DNA序列中最多4%的编辑错误,包括替换和插入/缺失(indel),只有5.5%的冗余符号。由于纠正和解码过程不需要DNA序列预处理,因此SPIDER-WEB提供实时的【形】信息检索功能,比单分子测序技术的速度快305.08倍。我们的检索过程可以提高2个数量级的速度相比,传统的兆字节级的数据,并可以扩展到适应艾字节级的数据。因此,SPIDER-WEB具有提高大规模数据存储应用的实用性的潜力。
2023-03-30 cs.ET cs.IT math.CO
Reference Sequence Construction for Relative Compression of Genomes
相对压缩,其中一组相似的字符串相对于参考字符串被压缩,是压缩包含多个相似序列的DNA数据集的非常有效的方法。相对压缩执行速度快,还支持对底层数据的快速随机访问。相对压缩的主要困难在于选择适当的参考序列。在本文中,我们探索使用的字典的重复产生的同志,重新配对和DNA-x算法作为参考序列的相对压缩。我们表明,这种技术可以更好地压缩,并支持随机访问。该技术还允许使用相对压缩来压缩更一般的重复数据集。
2011-06-20 cs.CE cs.IT math.IT
Coding and Compression of Three Dimensional Meshes by Planes
本文提出了一种新的三维空间模型的几何表示方法,并给出了一种新的三维网格压缩算法。在我们的方法中,我们表示一个3D凸多面体的平面,只包含它的面。这允许不考虑问题的拓扑方面(顶点和边之间的连接信息),因为通过平面,我们唯一地构造多面体。由于忽略了拓扑数据的事实,这种表示提供了高度的压缩。另外,基于平面的表示提供了几何数据的压缩,因为多面体的大多数面不是三角形,而是具有多于三个顶点的多边形。
2013-08-12 cs.CG cs.IT math.IT
Compression with Flows via Local Bits-Back Coding
UC Berkeley(加州大学伯克利分校)
基于似然的生成模型是无损压缩的基础,因为它保证了长度接近负对数似然的码的存在。然而,无法保证存在实现这些长度的计算高效代码,并且编码算法必须针对特定类型的生成模型进行手工定制以确保计算效率。这种编码算法对于自回归模型和变分自编码器是已知的,但对于一般类型的流模型不是已知的。为了填补这一空白,我们引入了本地位回编码,一种新的压缩技术流模型。我们提出了有效的算法,实例化我们的技术,许多流行类型的流,我们证明了我们的算法密切实现理论codelastness的国家的最先进的流模型的高维数据。
2020-01-06 cs.IT cs.LG math.IT