EidosDoc: Implicit Structure Encoding for Cost-Effective Semi-Structured Document QA
HKUST(GZ)（香港科技大学（广州））
提出EidosDoc系统，通过隐式结构编码、混合检索和动态证据扩展，在四个基准上实现最先进准确率，同时成本降低50倍、延迟降低4倍。
2026-09-24 cs.AI cs.IR
HiPath: Hierarchical Vision-Language Alignment for Structured Pathology Report Prediction
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院）；Department of Bioengineering and Imperial-X, Imperial College London（帝国理工学院伦敦校区生物工程系）；Department of Pathology, Xiangtan Maternal and Child Health Hospital（湘潭 maternal and child health hospital pathology department）；Department of Pathology, The First People’s Hospital of Xiangtan City（湘潭市第一人民医院病理科）
提出HiPath框架，通过分层补丁聚合器、对比学习和槽位掩码诊断预测，在冻结UNI2和Qwen3骨干上实现结构化病理报告预测，准确率达68.9%，安全率97.3%。
2026-06-24 cs.AI cs.CV cs.LG
Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling
Heriot-Watt University（赫瑞瓦特大学）；Alana AI
本文比较了基于 Mamba 与 Transformer 的视觉语言模型，发现 Mamba 在图像描述、问答和阅读理解上更优，而 Transformer 在视觉定位及上下文多模态检索上更强，并分析了视觉编码与检索机制对性能差距的影响。
2024-10-01 cs.AI cs.CV cs.LG
Joint Encoding of KV-Cache Blocks for Scalable LLM Serving
Distributed and Parallel Software Lab（分布式并行软件实验室）；Huawei Technologies（华为技术）
通过联合编码KV缓存块，实现高并发LLM服务，提升吞吐量并减少内存消耗。
2026-01-06 cs.AI cs.LG
Evaluation and Hardening of LLM System Instructions Against Extraction via Encoding Attacks
Keysight Technologies
本文提出自动化框架评估LLM系统指令在对抗编码攻击时的保密性，通过四个模型和46条指令测试发现结构化序列化攻击成功率高，提出基于Chain-of-Thought的缓解策略。
2026-08-13 cs.AI cs.CR
Structural Deep Encoding for Table Question Answering
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（巴黎索邦大学计算机科学与智能系统研究所）；LERIA（安热大学信息学研究实验室）
本文针对表格问答中展平表格结构导致信息丢失与可扩展性挑战的问题，全面分析了表格编码技术，并提出新型稀疏注意力掩码设计，在提升计算效率的同时保持结构完整性，显著改善了整体性能。
2025-03-03 cs.AI cs.CL
G2T-LLM: Graph-to-Tree Text Encoding for Molecule Generation with Fine-Tuned Large Language Models
Iowa State University（爱荷华州立大学）
本文提出G2T-LLM方法，通过图到树文本编码将分子图转换为JSON/XML等层次化格式，并利用监督微调的大语言模型实现基于自然语言提示的分子生成，在多个基准数据集上达到与最先进方法相当的性能。
2024-10-03 cs.AI cs.LG q-bio.QM
ETC: Encoding Long and Structured Inputs in Transformers
Google Research（谷歌研究院）
Transformer模型在许多自然语言处理（NLP）任务中推进了最先进的技术水平。在本文中，我们提出了一种新的Transformer架构，扩展的Transformer构造（ETC），解决了标准Transformer架构的两个关键挑战，即缩放输入长度和编码结构化输入。为了将注意力扩展到更长的输入，我们在全局令牌和常规输入令牌之间引入了一种新的全局-局部注意力机制。我们还表明，将全局-局部注意力与相对位置编码和对比预测编码（CPC）预训练目标相结合，可以使ETC对结构化输入进行编码。我们在四个需要长和/或结构化输入的自然语言数据集上实现了最先进的结果。
2020-10-27 cs.LG stat.ML
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Institute（法兰克福癌症研究所）
许多真实世界的系统不仅由来自单个源的数据描述，而且还通过多个数据视图来描述。例如，在基因组医学中，患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具，用于解开数据视图内和跨数据视图的变化。然而，它们的可解释性是繁琐的，因为它需要领域专家对每个因素进行直接检查和解释。在这里，我们提出了MuVI，一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合，从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型（i）在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法，（ii）以特征集的形式稳健地集成了噪声领域的专业知识，（iii）促进了因素的可识别性，（iv）推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
Talking About the Assumption in the Room
University of Toronto（多伦多大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文借助非形式逻辑的论证概念，并访谈22名ML从业者，揭示假设在构建、处理与记录上的混淆来源，进而提出改进实践的建议。
2025-02-18 cs.HC cs.LG
Structured Unitary Tensor Network Representations for Circuit-Efficient Quantum Data Encoding
RIKEN Center for Advanced Intelligence Project（RIKEN先进人工智能研究中心）；Tokyo University of Agriculture（东京农业大学）
本文提出TNQE框架，通过结构化酉张量网络表示实现电路高效的量子数据编码，能构建浅层、资源高效的量子电路，适用于高分辨率图像和真实量子硬件。
2026-10-23 cs.LG quant-ph
Encoding Binary Events from Continuous Time Series in Rooted Trees using Contrastive Learning
Technical University of Denmark（丹麦技术大学）
针对本地网络根树拓扑结构推断问题，提出一种对比学习方法，从连续时间序列数据中学习二元事件编码器，初步结果表明该方法具有学习有价值编码器的潜力。
2024-01-02 cs.AI cs.LG cs.SI
Greener GRASS: Enhancing GNNs with Encoding, Rewiring, and Attention
本文提出 GRASS 架构，协同结合 RRWP/D-RRWP 编码、随机正则图重连边和加性图注意力，以增强结构捕获与长程传播，并在多个基准上达到 SOTA，ZINC 的 MAE 降低 20.3%。
2025-03-14 cs.AI cs.LG cs.NE
Hey Pentti, We Did (More of) It!: A Vector-Symbolic Lisp With Residue Arithmetic
ANIMUS Lab, Carleton University（ANIMUS实验室，卡尔顿大学）
该研究使用频域全息简化表示（FHRRs）和剩余超维计算（RHC）扩展了Lisp 1.5的向量符号架构（VSA）编码，提升神经网络状态表达能力并支持可解释的结构化表示，为更通用智能体的开发提供了新思路。
2025-11-11 cs.AI cs.LG cs.PL
Tokenization Tradeoffs in Structured EHR Foundation Models
Child Health Evaluative Sciences（儿童健康评估科学）；The Hospital for Sick Children（圣迈克尔医院）；University Health Network（大学健康网络）；Department of Medicine（医学部）；Division of Computational Medicine, Department of Medicine（计算医学科，医学部）；Stanford University（斯坦福大学）
本文研究了结构化电子健康记录基础模型中分词设计对性能和效率的影响，通过实验发现联合事件编码和时间位置编码在多个临床预测任务中表现更优，且计算效率更高。
2026-03-03 cs.CL cs.LG
Multimodal Training to Unimodal Deployment: Leveraging Unstructured Data During Training to Optimize Structured Data Only Deployment
Department of Biostatistics and Bioinformatics, Duke University School of Medicine（生物统计学与生物信息学系，杜克大学医学中心）；Department of Pediatrics, Duke University School of Medicine（儿科学系，杜克大学医学中心）；Duke Center for Autism and Brain Development, Duke University School of Medicine（杜克大学自主与脑发展中心，杜克大学医学中心）；Department of Psychiatry and Behavioral Sciences, Durham, NC, USA（精神病学与行为科学系，新伯尔尼，NC，美国）
本文提出一种多模态学习框架，利用训练中的无结构EHR数据提升模型对结构化数据的识别能力，通过对比学习和知识蒸馏损失联合训练，实现仅结构化数据部署的高效分类模型。
2026-03-23 cs.LG
Bridging Graph Position Encodings for Transformers with Weighted Graph-Walking Automata
University of Notre Dame（圣母大学）
本文提出基于加权图行走自动机的新图位置编码GAPE，在机器翻译和图结构任务上验证其性能并证明其能泛化多种现有PE方案，同时对图Transformer中多种PE进行了独立于边特征的理论与实验比较。
2023-04-09 cs.LG
Quantum Kernels for Parity-Structured Classification: A Hybrid Pipeline
Texas A\&M University, Department of Mathematics College Station, TX, USA ORCID: 0000-0001-7448-5723
本文研究量子核在奇偶复杂度下的优势，通过混合流程揭示奇偶结构，发现高复杂度下量子核性能显著优于经典方法。
2026-05-07 cs.LG quant-ph
NativeTernary: A Self-Delimiting Binary Encoding with Unary Run-Length Hierarchy Markers for Ternary Neural Network Weights, Structured Data, and General Computing Infrastructure
Indian Institute of Technology Bombay（印度理工学院孟买分校）；IIM Udaipur（印度管理学院乌代浦尔分校）
NativeTernary 提出了一种自限二进制编码，用于三进制神经网络权重和结构化数据，相比 GGUF 在存储效率和性能上有显著提升。
2026-04-08 cs.LG eess.SP
RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings
Seoul National University（首尔国立大学）；Independent（独立）；Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）；Columbia University（哥伦比亚大学）
RelFlexformer引入了基于任意可积分调制函数f的通用3D相对位置编码方法，实现O(L log L)复杂度的高效注意力计算，适用于非结构化异质场景中的点云建模。
2026-05-11 cs.LG
Simple Path Structural Encoding for Graph Transformers
University of Trento（特伦托大学）
针对图Transformer中随机游走结构编码（RWSE）难以区分不同局部图模式的局限，本文提出简单路径结构编码（SPSE），利用简单路径计数进行边编码并设计高效近似算法，在多个基准上显著提升了图结构表示能力与判别性能。
2025-05-30 cs.AI cs.LG
Dissipative SymODEN: Encoding Hamiltonian Dynamics with Dissipation and Control into Deep Learning
Princeton University（普林斯顿大学）；Siemens Corporation, Corporate Technology（西门子公司企业技术部）
在这项工作中，我们介绍了耗散SymODEN，一个深度学习架构，它可以从观察到的状态轨迹中推断出具有耗散的物理系统的动力学。为了在减少网络规模的同时提高预测精度，耗散SymODEN将具有能量耗散和外部输入的端口-哈密顿动力学编码到其计算图的设计中，并以结构化的方式学习动力学。通过揭示系统的关键方面，如惯性，耗散和势能，学习模型为基于能量的控制器铺平了道路。
2020-04-30 cs.LG cs.SY eess.SY
SAFE Quantum Machine Learning with Variational Quantum Classifiers
National University of Singapore（新加坡国立大学）；University of Pavia（帕维亚大学）
本文提出一种基于幅度编码的变分量子分类器，结合归一化幅度嵌入与有界量子可观测量，构建了结构化且平滑的假设空间，通过SAFE-AI指标评估模型可靠性，实验证明其在预测性能和噪声鲁棒性方面优于经典基线。
2026-05-15 cs.LG stat.ML
Generalized Laplacian Positional Encoding for Graph Representation Learning
Ludwig-Maximilian University of Munich（慕尼黑大学）；MILA（蒙特利尔学习算法研究所）；New Jersey Institute of Technology（新泽西理工学院）；TU Wien（维也纳工业大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Vienna（维也纳大学）；NVIDIA Research（英伟达研究院）
图神经网络（GNN）是处理图结构数据的主要工具。不幸的是，最常用的GNN，称为消息传递神经网络（MPNN），受到几个基本限制。为了克服这些限制，最近的工作已经适应了位置编码的想法，以图形数据。本文从最近成功的基于拉普拉斯的位置编码的启发，并定义了一个新的家庭的位置编码计划的图。我们通过将定义拉普拉斯嵌入的优化问题推广到更一般的相异性函数而不是原始公式中使用的2-范数来实现这一点。然后通过考虑p范数来实例化这个位置编码族。我们讨论了一种计算这些位置编码方案的方法，在PyTorch中实现它，并演示了由此产生的位置编码如何捕获图的不同属性。此外，我们证明了这种新的家庭的位置编码可以提高MPNN的表达能力。最后，我们给出了初步的实验结果。
2022-11-10 cs.LG
Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding
KAIST（韩国科学技术院）；AITRICS
大多数现有的集合编码算法都是在隐含的假设下操作的，即所有的集合元素都是可访问的，并且在训练和推理期间有足够的计算和内存资源将集合加载到内存中。然而，当集合太大以至于不可能将所有集合元素加载到内存中时，或者当数据到达流时，这两个假设都失败了。为了解决大规模集合编码中的实际挑战，置换不变性和等变性的一般集合函数约束是不够的。我们引入了一个新的属性称为小批量一致性（MBC），需要大规模的小批量集编码。此外，我们提出了一个可扩展的和有效的注意力为基础的集编码机制，是服从迷你批处理的集，并能够更新集表示数据到达。所提出的方法坚持所需的对称性的不变性和等变性，以及保持MBC的任何分区的输入集。我们进行了广泛的实验，并表明我们的方法是计算效率高，结果在丰富的集合编码表示集结构化数据。
2021-10-26 cs.LG
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析是将自然语言（NL）话语转换为形式意义表示（MR）的任务，其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的，因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE，变分自动编码模型的半监督语义解析，学习既从有限数量的并行数据，并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明，使用额外的未标记数据，StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Quantum Models with Multi-Stage Training for Compositional Concept Generalization
University College London（伦敦大学学院）；University of Amsterdam（阿姆斯特丹大学）
该研究针对多模态学习的组合概念泛化挑战，提出带多阶段训练的量子模型，在CLEVR数据集上验证其可提升分布外关系泛化能力且参数远少于经典基准。
2026-08-18 cs.LG
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University（南京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Squirrel AI Learning（松鼠AI智适应教育）
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能，例如神经机器翻译，语义解析和数学单词问题解决。然而，这些模型要么只考虑输入对象作为序列，而忽略了重要的结构信息的编码，或他们简单地处理输出对象作为序列输出，而不是结构对象的解码。在本文中，我们提出了一种新的图到树神经网络，即Graph 2 Tree组成的图编码器和分层树解码器，编码增强的图结构的输入和解码的树结构的输出。特别是，我们研究了我们的模型解决两个问题，神经语义解析和数学单词问题。我们广泛的实验表明，我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Talk like a Graph: Encoding Graphs for Large Language Models
Google Research（谷歌研究院）
本研究首次全面研究面向大语言模型的图文本编码方法，发现编码方式、任务类型、图结构均影响推理性能，据此选择合适编码器可使图推理性能提升4.8%至61.8%。
2023-10-06 cs.LG
HyPE-GT: where Graph Transformers meet Hyperbolic Positional Encodings
Indian Statistical Institute（印度统计研究所）
HyPE-GT框架在双曲空间生成可学习位置编码，既增强图变换器对图层次关系的捕捉能力，又减轻深度GNN的过平滑问题，经多类基准实验验证了其有效性。
2026-08-19 cs.LG
Neural Entity Summarization with Joint Encoding and Weak Supervision
在大规模的知识图谱中，一个实体往往由大量的三重结构事实描述。许多应用程序需要实体描述的简化版本，称为实体摘要。实体摘要的现有解决方案主要是无监督的。在本文中，我们提出了一种监督方法NEST，该方法基于我们新的神经模型，对KG中的图形结构和文本进行联合编码，并生成高质量的多样化摘要。由于获取手动标记的摘要进行训练的成本很高，因此我们的监督很弱，因为我们用程序化标记的数据进行训练，这些数据可能包含噪声，但没有手动工作。评估结果表明，我们的方法显着优于国家的最先进的两个公共基准。
2020-05-10 cs.CL cs.IR cs.LG
MovieSTAGE: Scene, Transition, and Global Encoding for Movie-fMRI ADHD Classification
Hanyang University（汉阳大学）；Hankuk University of Foreign Studies（韩国外国语大学）
MovieSTAGE通过结合场景内超图FC、场景间转换差异和整部电影FC，在CMI-HBN队列的ADHD分类中取得最高平均性能，验证了事件对齐表征的增量价值。
2026-10-08 cs.LG q-bio.NC
Size-Transferability of Graph Transformers with Convolutional Positional Encodings
Department of Electrical and Systems Engineering（电气与系统工程系）；University of Pennsylvania（宾夕法尼亚大学）；University of California San Diego（圣地亚哥大学）
通过图神经网络位置编码建立图Transformer与流形神经网络的联系，证明其在小图上训练后可泛化到大图，并在标准基准和实际地形最短路径估计任务中验证可扩展性。
2026-10-16 cs.LG
SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data
KAIST（韩国科学技术院）
集结构数据（如点云）的生成式建模需要在各种尺度上对局部和全局结构进行推理。然而，采用多尺度框架的普通顺序数据集结构化的数据是不平凡的，因为它应该是不变的，其元素的排列。在本文中，我们提出了SetVAE，一个分层的变分自编码器的集合。出于最近在集合编码的进展，我们建立SetVAE后，注意模块，第一次分区的集合和项目的分区回到原来的基数。利用这个模块，我们的分层VAE在多个尺度上学习潜在变量，捕获集合元素的粗到细依赖性，同时实现排列不变性。我们评估我们的模型上的点云生成任务，并实现具有竞争力的性能与现有技术的模型容量大大减小。我们定性地证明了我们的模型推广到看不见的集合大小，并在没有监督的情况下学习有趣的子集关系。我们的实现可以在https://github.com/jw9730/setvae上获得。
2021-03-29 cs.CV cs.LG
MC-INR: Efficient Encoding of Multivariate Scientific Simulation Data using Meta-Learning and Clustered Implicit Neural Representations
Korea University（韩国大学）；University of Notre Dame（诺特大学）
MC-INR通过结合元学习和聚类技术，高效编码多变量科学模拟数据，提升复杂结构的表示能力与编码性能。
2025-07-03 cs.CV cs.LG
Salient Temporal Encoding for Dynamic Scene Graph Generation
Carnegie Mellon University（卡内基梅隆大学）
针对动态场景图生成中时序连接冗余无意义的问题，提出仅在时序相关对象对间构建显式边的显著时序编码方法，提升了场景图检测及下游动作识别任务的性能。
2025-03-15 cs.CV cs.LG
3D Field Data Reduction with Adaptive Sample-Based Gaussian-Encoded Reconstruction
University of California, Davis（加州大学戴维斯分校）；Argonne National Laboratory（阿贡国家实验室）
提出统一固定预算的基于采样的高斯编码框架，以更少原语实现更高重建精度（PSNR提升4.8dB，原语减少44倍），并利用时间热启动提升时变数据编码效率。
2026-09-16 cs.CE cs.CV cs.GR
