Efficient Multi-Model Fusion with Adversarial Complementary Representation Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
针对多模型融合中学习表示存在冗余的问题,提出对抗互补表示学习(ACoRL)框架,使各组件模型学习最大程度不同的互补表示,实验证明其比传统MMF更高效地提升了跨任务的性能与鲁棒性。
2024-04-24 cs.AI cs.LG cs.SD
Multi-modal Relational Item Representation Learning for Inferring Substitutable and Complementary Items
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
针对用户行为数据噪声与稀疏问题,提出含多模态学习、自监督行为去噪及分层聚合的MMSC框架,结合LLM数据增强,在替代/互补推荐及冷启动场景性能显著提升。
2025-07-31 cs.AI cs.IR
EMR-based medical knowledge representation and inference via Markov random fields and distributed representation learning
Harbin Institute of Technology(哈尔滨工业大学)
目的:电子病历(EMR)包含了大量的医学知识,可用于临床决策支持(CDS)。我们的目标是一个通用的系统,可以提取和表示这些知识包含在电子病历支持三个CDS任务:测试建议,初步诊断,治疗计划的建议,与一个病人的给定条件。研究方法:我们从病历中提取了4种医疗实体,构建了一个基于电子病历的医疗知识网络(EMKN),其中节点是实体,边反映了它们在同一条病历中的共现性。从EMKN中提取三个二部子图(二图)来支持每个任务。双图的一部分是给定的条件(例如,症状),另一个是要推断的状况(例如,疾病)。每个二图被视为一个马尔可夫随机场,以支持推理。提出了三种惰性能量函数和一种基于参数的能量函数,以及两种基于知识表示学习的能量函数,能够提供医学实体的分布式表示。性能评估采用了三种措施。结果:在初始诊断任务中,80.11%的测试记录从前10名候选人中至少识别出一种正确的疾病。试验和治疗推荐结果分别为87.88%和92.55%。这些结果共同表明,所提出的系统优于基线方法。医学实体的分布式表示确实反映了关于知识水平的相似性关系。结论:EMKN与MRF相结合是一种有效的医学知识表示与推理方法。然而,不同的任务需要单独设计它们的能量函数。
2017-09-20 cs.AI
Finding Alignments Between Interpretable Causal Variables and Distributed Neural Representations
Stanford University(斯坦福大学)
本文提出分布式对齐搜索(DAS),用梯度下降替代暴力搜索,并允许神经元在分布式表示中承担多重角色,从而更有效地发现训练神经网络中的概念结构。
2024-02-21 cs.AI
Complementary Roles of Radiomics and Foundation Representations in Renal Cell Carcinoma Classification: A Comparative Study of 2D and 3D CT Encodings
Research Ireland Centre for Research Training in Machine Learning(爱尔兰研究机器学习研究中心);University College Dublin(都柏林大学学院)
本研究比较放射组学与2D/3D MedVAE基础表示及其融合方法,用于肾细胞癌CT亚型分类,发现3D门控融合(AUC 82.7%)最佳,证明放射组学与基础表示互补有效。
2026-09-23 cs.AI cs.CV
Properties of Sparse Distributed Representations and their Application to Hierarchical Temporal Memory
Numenta
经验证据表明,新皮层的每个区域都使用稀疏的活动模式来表示信息。本文探讨了稀疏分布表征(SDR),层次时间记忆(HTM)系统和新皮层的主要信息表示策略。我们得到了一些属性,是缩放,鲁棒性和泛化的核心。我们使用的理论,以提供实际的指导方针,并说明了权力的特别提款权的基础,HTM。我们的目标是帮助创建一个统一的数学和实用的框架SDR,因为它涉及到皮质功能。
2015-03-25 cs.AI q-bio.NC
Beyond Gene Reconstruction: Learning Cell Representations through Complementary Transcriptomic Views
该研究针对基因重构预训练模型未直接优化全细胞表示的问题,提出含三种适配的互补转录组视图对比预训练框架,在细胞类型注释和基因调控网络推断任务中表现出竞争力。
2026-08-04 cs.AI cs.LG q-bio.GN
Twice Upon a Time: Complementary Representations for Time-Series Reasoning
Ben-Gurion University(本-古里安大学);Google(谷歌公司)
本文提出互补表示设计原则,构建基于Qwen3-VL-8B的双视图时间序列模型,在TSRBench等基准上大幅提升时间序列推理性能,验证互补表示的有效性。
2026-10-16 cs.AI cs.CL cs.LG
Grid and Road Expressions Are Complementary for Trajectory Representation Learning
University of Electronic Science and Technology of China(电子科技大学);Aalborg University(奥尔堡大学)
本文提出多模态轨迹表示学习方法GREEN,联合网格与道路轨迹表达,通过对比学习、掩码重建和交叉注意力融合互补信息,在多个下游任务上显著优于现有方法。
2024-11-22 cs.AI cs.LG
Complementary Feature Domains: Information Preservation Does Not Imply Predictive-Contribution Preservation
Morgan State University(摩根州立大学)
本文提出互补特征域理论,证明信息保持不等于预测贡献保持,通过贡献缺陷量化重编码影响,并借助ECG实验验证了可逆变换改变预测准确性的机制。
2026-10-07 cs.AI cs.LG
Fully Distributed, Flexible Compositional Visual Representations via Soft Tensor Products
针对解耦表示依赖符号拼接、与深度学习分布式基础冲突的问题,提出软张量积表示及其自编码器,以分布式灵活方式编码组合结构,在视觉任务中实现最先进解耦性能并提升样本效率。
2025-01-23 cs.AI cs.LG
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明,语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明,联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
KGNN: Distributed Framework for Graph Neural Knowledge Representation
Ant Financial Services Group(蚂蚁金融服务集团);Beijing University of Posts and Telecommunications(北京邮电大学)
知识表示学习已被普遍采用以将知识图谱(KG)并入各种在线服务中。现有的知识表示学习方法虽然取得了很大的性能提升,但它们忽略了知识的高阶结构和丰富的属性信息,导致在语义丰富的知识生成器上性能不佳。此外,它们不能以归纳的方式进行预测,并且不能扩展到大型工业图。为了解决这些问题,我们开发了一个新的框架称为KGNN充分利用知识数据的表示学习在分布式学习系统。KGNN配备了基于GNN的编码器和知识感知解码器,旨在以细粒度的方式共同探索高阶结构和属性信息,并分别保留KG中的关系模式。在链接预测和三元组分类任务的三个数据集上进行的大量实验证明了KGNN框架的有效性和可扩展性。
2022-05-17 cs.AI cs.LG
Distributed representation of multi-sense words: A loss-driven approach
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
Word2Vec的Skip Gram模型是目前最先进的估计单词分布式表示的方法。但是,它假设每个单词有一个向量,这不太适合表示具有多个含义的单词。这项工作提出了Lebron,一个新的模型,用于估计单词的分布表示。Lebanon依赖于这样一种想法,即如果一个词带有多个含义,那么对每个含义使用不同的表示应该会导致与预测其共现词相关的较低损失,而不是使用单个向量表示所有含义的情况。在识别出多义词之后,Lebron对这些词的出现进行聚类,为每个出现分配一个意义。在上下文单词相似性任务上的实验表明,与竞争的方法相比,Lebron导致更好的性能。
2019-04-14 cs.AI cs.CL
Distributed Neural Representation for Reactive in situ Visualization
University of California, Davis(加利福尼亚大学戴维斯分校);Argonne National Laboratory(阿贡国家实验室);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northern Illinois University(北伊利诺伊大学)
本研究提出一种分布式体积神经表示,消除进程间数据交换,实现最先进压缩性能,并支持高时间频率缓存,集成于Ascent,促进反应式原位可视化在科学问题中的应用。
2024-07-20 cs.AI cs.DC
Semantic-based Distributed Learning for Diverse and Discriminative Representations
Center for Wireless Communications, University of Oulu(奥卢大学无线通信中心)
本文提出一种新型分布式学习框架,通过引入表示方差约束,解决传统方法导致的非结构化嵌入问题,确保表示的多样性和判别性,并在MNIST、CIFAR-10和CIFAR-100上验证了算法的有效性。
2026-04-20 cs.AI cs.LG
Distributed Soft Actor-Critic with Multivariate Reward Representation and Knowledge Distillation
在本文中,我们描述了NeurIPS 2019学习移动-走动挑战基于物理的环境,并提出了我们的解决方案,该竞赛获得了1303.727平均奖励积分,排名第三。我们的方法结合了连续和离散动作空间强化学习的最新进展,例如分布式强化学习中的软演员-评论和循环经验重放。我们分两个阶段训练我们的智能体:在第一阶段移动到某个地方,在第二阶段跟随目标速度场。我们还引入了新的Q函数分裂技术,我们相信这有助于训练代理的任务,允许批评家预训练和重用它来解决更难的问题,并减轻奖励塑造设计工作。
2020-04-10 cs.AI cs.LG
Distributed representation of patients and its use for medical cost prediction
Ohio University(俄亥俄大学);The Research Institute at Nationwide Children’s Hospital(全国儿童医院研究所)
患者的有效表示在医疗保健领域非常重要,并且可以帮助执行许多任务,例如医疗风险预测。许多现有的方法,如诊断成本组(DCG),依赖于专家知识,从医疗数据,这是资源消耗和不可扩展的病人表示。无监督机器学习算法是自动化表示学习过程的一个很好的选择。然而,很少有研究集中在病人层面的表示学习直接从医疗索赔。在本文中,我们提出了一种新的患者向量学习架构,学习高质量,固定长度的患者表示索赔数据。我们进行了几个实验来测试我们学习的表示的质量,实证结果表明,我们学习的患者向量优于通过其他方法(包括流行的商业模型)学习的向量。最后,我们提供了潜在的临床解释,用于在预测任务上使用我们的表示,因为可解释性在医疗保健领域至关重要
2019-09-13 cs.AI cs.LG
Adversarial Attacks to Latent Representations of Distributed Neural Networks in Split Computing
Institute for the Wireless Internet of Things at Northeastern University(东北大学无线物联网研究所);Air Force Research Laboratory(空军研究实验室)
该研究针对分布式DNN对抗攻击韧性研究空白,从信息论角度证明潜在维度、拆分点与鲁棒性的权衡关系,并通过多架构、多方法、多攻击的ImageNet-1K实验验证,为鲁棒分布式DNN设计提供新视角。
2025-10-01 cs.AI cs.LG
MolFusion: Multimodal Fusion Learning for Molecular Representations via Multi-granularity Views
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算学部)
MolFusion提出多粒度融合方法,通过分子级和原子级对齐,有效利用SMILES与分子图的互补信息,提升药物性质预测性能。
2024-06-26 cs.AI cs.LG physics.chem-ph
The Geometry of Distributed Representations for Better Alignment, Attenuated Bias, and Improved Interpretability
The University of Utah(犹他大学)
单词、文本、图像、知识图谱和其他结构化数据的高维表示通常用于机器学习和数据采掘的不同范例中。这些表示具有不同程度的可解释性,有效的分布式表示是以特征到维度映射的损失为代价的。这意味着在这些嵌入空间中捕获概念的方式存在混淆。它的影响可以在许多表征和任务中看到,其中一个特别有问题的是在语言表征中,从底层数据中学习到的社会偏见在未知的维度和子空间中被捕获和遮蔽。结果,无效的关联(例如不同的种族及其与好与坏的两极概念的关联)被表征制造和传播,导致在使用它们的不同任务中产生不公平的结果。这项工作解决了这些问题有关的透明度和可解释性,这种表示。一个主要的焦点是检测,量化和减轻社会偏见协会的语言表示。
2020-11-25 cs.AI cs.CG cs.CL
graph2vec: Learning Distributed Representations of Graphs
Nanyang Technological University(南洋理工大学)
图结构数据的表示学习的最近工作主要集中在学习图的子结构,如节点和子图的分布式表示。然而,许多图分析任务,如图分类和聚类,需要将整个图表示为固定长度的特征向量。虽然上述方法自然无法学习这种表示,但图核仍然是获得它们的最有效方法。然而,这些图形内核使用手工制作的特征(例如,最短路径、graphlets等)并且因此受到诸如泛化性差的问题的阻碍。为了解决这一限制,在这项工作中,我们提出了一个名为graph2vec的神经嵌入框架来学习任意大小的图的数据驱动的分布式表示。graph2vec的嵌入是以无监督的方式学习的,并且与任务无关。因此,它们可以用于任何下游任务,如图分类,聚类,甚至播种监督表示学习方法。我们在几个基准和大型真实世界数据集上的实验表明,graph2vec在子结构表示学习方法的分类和聚类精度方面取得了显着的改进,并且与最先进的图内核相比具有竞争力。
2017-07-17 cs.AI cs.CL cs.CR
Coordinated Heterogeneous Distributed Perception based on Latent Space Representation
Bielefeld University(比勒费尔德大学);Queensland University of Technology(昆士兰科技大学)
我们研究了一种基于多模态深度生成模型的潜在空间的分布式感知增强方法。我们的贡献提供了以下好处的见解:由于由变分自动编码器(VAE)训练的信息的共享潜在表示,检测可以在配备有单峰传感器的机器人之间有效地交换。由于VAE的生成特性,传感器融合可以异步应用。深度Q网络(DQN)经过训练,通过将机器人协调到感兴趣点(POI)来最大限度地减少潜在空间中的不确定性,其中它们的传感器模态可以提供有关POI的有益信息。此外,我们表明,不确定性的降低可以被定义为训练DQN的直接奖励信号。
2018-09-12 cs.AI cs.LG cs.RO
Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision
Korea Advanced Institute of Science and Technology(韩国科学技术院);INEEJI
针对现有概念揭示方法依赖人工监督的问题,提出一种无监督方法,通过选择核心神经元构建松弛决策区域以发现概念的分布式表示,可识别未标记子类、检测误分类原因并揭示不同层的表示差异。
2024-03-05 cs.AI cs.CV cs.LG
Selecting and combining complementary feature representations and classifiers for hate speech detection
École de Technologie Supérieure, University of Quebec(魁北克大学高等技术学院);Universidade Federal de Pernambuco(伯南布哥联邦大学)
仇恨言论是社交网络中的一个主要问题,因为每天都会产生大量的数据。最近的工作证明了机器学习(ML)在处理区分仇恨帖子与讽刺或攻击性语言所需的细微差别方面的有用性。已经提出了许多用于仇恨言论检测的ML解决方案,通过改变从文本中提取特征的方式或所采用的分类算法。然而,大多数工作只考虑一种类型的特征提取和分类算法。这项工作认为,需要多种特征提取技术和不同的分类模型的组合。我们提出了一个框架来分析多个特征提取和分类技术之间的关系,以了解它们如何相互补充。该框架是用来选择一个子集的互补技术,组成一个强大的多分类器系统(MCS)的仇恨言论检测。考虑四个仇恨语音分类数据集的实验研究表明,所提出的框架是一个很有前途的方法,分析和设计高性能的MCS,这项任务。使用所提出的框架获得的MCS系统显着优于所有模型的组合和同质和异构的选择算法,证明了具有适当的选择方案的重要性。源代码、图表和数据集分割可以在GitHub存储库中找到:https://github.com/Menelau/Hate-Speech-MCS。
2022-01-18 cs.AI cs.CL cs.SI
OutfitTransformer: Learning Outfit Representations for Fashion Recommendation
Purdue University(普渡大学);Amazon(亚马逊)
学习一个有效的服装级表示是至关重要的预测在一套衣服的项目的兼容性,并检索部分装备的互补项目。我们提出了一个框架,OutfitTransformer,使用建议的特定任务的令牌,并利用自我注意力机制学习有效的服装级表示编码的兼容性关系,在整个服装中的所有项目之间的兼容性预测和互补项目检索任务。对于兼容性预测,我们设计了一个服装令牌来捕获全局服装表示,并使用分类损失训练框架。对于补充项目检索,我们设计了一个目标项目令牌,另外考虑到目标项目规范(以类别或文本描述的形式)。我们训练我们的框架使用建议的一套明智的装备排名损失,以产生一个目标项目嵌入给定的装备,和目标项目规范作为输入。生成的目标物品嵌入然后用于检索与服装的其余部分匹配的兼容物品。此外,我们采用预训练方法和课程学习策略来提高检索性能。由于我们的框架在服装级别学习,因此它允许我们学习单个嵌入,从而比成对方法更有效地捕获服装中多个项目之间的高阶关系。实验表明,我们的方法优于国家的最先进的方法上的兼容性预测,填空,互补项目检索任务。我们进一步验证我们的检索结果的质量与用户研究。
2022-04-15 cs.AI cs.CV cs.IR
Effective Distributed Representations for Academic Expert Search
University of Amsterdam(阿姆斯特丹大学);Zeta Alpha Vector(泽塔阿尔法向量公司)
专家搜索旨在根据用户的查询查找专家并对其进行排名。在学术界,检索专家是浏览大量学术知识的有效方法。在这里,我们研究如何不同的分布式表示的学术论文(即嵌入)影响学术专家检索。我们使用Microsoft Academic Graph数据集,并对以文档为中心的投票模型的不同配置进行了实验。特别是,我们探讨了使用上下文嵌入对搜索性能的影响。我们还介绍了通过改造纳入引用信息的论文嵌入的结果。此外,实验进行了使用不同的技术分配作者的权重的基础上,作者顺序。我们观察到,使用上下文嵌入由一个Transformer模型训练句子相似性任务产生最有效的文件表示为中心的专家检索。然而,改造论文嵌入和使用精心设计的作者贡献加权策略并没有提高检索性能。
2020-10-16 cs.AI cs.CL cs.IR