Heterogeneous Relational Kernel Learning
Booz Allen Hamilton(博思艾伦咨询公司);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
最近的工作已经开发了贝叶斯方法,用于自动统计分析和描述单个时间序列以及同质的时间序列数据集。我们扩展了以前的工作,为异构时间序列创建一个可解释的内核嵌入。我们的方法增加了几乎没有计算成本相比,以前的结果,利用以前丢弃的中间结果。我们展示了我们的方法的实际效用,利用学习嵌入聚类,模式发现和异常检测。这些应用超出了先前的关系核学习方法的能力。
2019-08-24 cs.LG stat.ML
CSNE: Conditional Signed Network Embedding
Ghent University(根特大学)
签名网络是一种数学结构,可以编码实体之间的积极和消极关系,例如朋友/敌人或信任/不信任。最近,几篇论文研究了这些网络的有用的低维表示(嵌入)的构建,用于预测缺失的关系或符号。现有的符号预测嵌入方法通常在其优化函数中强制不同的状态或平衡理论概念。然而,这些理论往往是不准确或不完整的,这对方法的性能产生了负面影响。在这种情况下,我们引入了条件签名网络嵌入(CSNE)。我们的概率方法将网络中符号的结构信息与细粒度细节分开建模。结构信息以先验的形式表示,而嵌入本身用于捕获细粒度信息。然后,这些组件以严格的方式集成。CSNE的准确性取决于存在足够强大的结构先验建模签署的网络,目前在文献中不可用。因此,作为第二个主要贡献,我们发现是非常有价值的,在其本身的权利,我们还介绍了一种新的方法来构建先验的最大熵(MaxEnt)原则的基础上。这些先验可以模拟节点的\emph{polarity}(它们的链接为正的程度)以及有符号的\emph{triangle counts}(网络中结构平衡程度的度量)。在各种真实网络上的实验证实了CSNE在符号预测任务上的表现优于最先进的技术。此外,MaxEnt先验本身虽然不如完全CSNE准确,但在非常有限的计算成本下实现了与最先进技术竞争的准确性,从而在资源受限的情况下提供了出色的运行时间-准确性权衡。
2020-05-25 cs.LG cs.SI stat.ML
Interpretable Embeddings From Molecular Simulations Using Gaussian Mixture Variational Autoencoders
Max Planck Institute for Polymer Research(马克斯·普朗克聚合物研究所);Koc University(科奇大学)
从分子模拟产生的大量数据中提取洞察力需要识别少量的集体变量,其相应的低维自由能景观保留了底层系统的基本特征。数据驱动技术提供了一个系统的路线来构建这一景观,而不需要对相关驱动力进行广泛的先验直觉。特别是,自动编码器是降维的强大工具,因为它们自然会造成信息瓶颈,从而实现基本特征的低维嵌入。虽然变分自编码器通过假设单峰高斯先验来确保嵌入的连续性,但这与通常由有意义的集体变量的识别产生的多流域自由能景观不一致。在这项工作中,我们采用高斯混合变分自动编码器(GMVAE),鼓励嵌入内的亚稳态的分离,将这种物理直觉到先验。GMVAE在一个统一的框架内执行降维和聚类,并且能够根据对数据进行分类所需的高斯数来识别输入数据的固有维度。我们说明了我们的方法上的两个玩具模型,丙氨酸二肽,和一个具有挑战性的无序肽系综,证明了增强的聚类效果的GMVAE之前相比,标准的VAE。由此产生的嵌入似乎是有前途的表示,用于构建马尔可夫状态模型,突出的可转移性的降维从静力平衡性能的动态。
2019-12-22 cs.LG physics.chem-ph stat.ML
Prior Knowledge Driven Label Embedding for Slot Filling in Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
自然语言理解(NLU)中的传统槽填充为每个单词预测一个独热向量。这种形式的标签表示缺乏语义相关性建模,这导致严重的数据稀疏问题,特别是在将NLU模型适应新领域时。为了解决这个问题,本文提出了一种新的标签嵌入的插槽填充框架。这里,使用先验知识为每个时隙构造分布式标签嵌入。三种编码方法进行了研究,将不同种类的先验知识插槽:原子概念,插槽描述,插槽范例。所提出的标签嵌入倾向于共享文本模式,并重用具有不同槽标签的数据。这使得它对于具有有限数据的自适应NLU非常有用。此外,由于标签嵌入独立于NLU模型,因此它与几乎所有基于深度学习的槽填充模型兼容。在三个数据集上对所提出的方法进行了评估。单域和领域自适应任务的实验表明,标签嵌入实现了显着的性能改善,传统的一个热标签表示,以及先进的zero-shot方法。
2020-03-22 cs.CL cs.LG
Exploring Embedding Priors in Prompt-Tuning for Improved Interpretability and Control
New York University(纽约大学)
本文研究了提示调优中嵌入坍缩现象对模型性能的影响,提出嵌入先验以提升可解释性和可控性,并发现不同激活区域的嵌入能有效提升任务表现。
2026-03-09 cs.CL cs.LG
Sample Complexity Bounds for 1-bit Compressive Sensing and Binary Stable Embeddings with Generative Priors
National University of Singapore(新加坡国立大学);Indian Institute of Technology (IIT) Kanpur(印度理工学院坎普尔分校)
标准1比特压缩感知的目标是从二进制值测量中准确地恢复未知稀疏向量,每个测量指示向量的线性函数的符号。受压缩感知与生成模型的最新进展的启发,其中生成建模假设取代了通常的稀疏性假设,我们研究了1位压缩感知与生成模型的问题。我们首先考虑无噪声的1位测量,并提供样本复杂度界下近似恢复i.i.d.~高斯测量和Lipschitz连续生成先验,以及一个近匹配算法独立的下限。此外,我们证明了二进制$ε$ -稳定的嵌入属性,其特征在于重建测量误差和噪声的鲁棒性,也适用于1位压缩感知与Lipschitz连续生成模型,具有足够多的高斯测量。此外,我们将我们的研究结果应用到神经网络生成模型,并提供了一个概念验证的数值实验,证明了基于稀疏性的方法的显着改进。
2020-06-22 cs.IT cs.LG math.IT
Robust Inference-Time Steering of Protein Diffusion Models via Embedding Optimization
Flatiron Institute(Flatiron研究所)
本文提出EmbedOpt框架,通过优化嵌入空间使蛋白质结构先验与实验约束对齐,在稀疏距离约束和冷冻电镜图匹配中表现更优,且对超参数更鲁棒。
2026-05-14 cs.LG
Prior Distribution and Model Confidence
Independent Researcher(独立研究者)
本文提出嵌入密度方法,通过测量测试样本与训练分布的距离来提升图像分类模型的置信度和准确率,并验证了其在多种架构上的有效性。
2026-01-26 cs.LG
Prior-Informed Flow Matching for Graph Reconstruction
Rice University(里士大学)
提出先验信息流匹配(PIFM),一种结合嵌入先验与连续时间流匹配的条件流模型,用于从部分观测中重建图,在多个数据集上优于经典嵌入和生成基线。
2026-06-19 cs.LG
Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning
University of Antwerp(安特卫普大学);imec(比利时微电子研究中心)
强化学习(RL)算法通常从白板开始,没有任何环境的先验知识,也没有任何先验技能。然而,这通常导致低样本效率,需要与环境的大量相互作用。在终身学习环境中尤其如此,在这种环境中,代理需要不断扩展其能力。在本文中,我们研究了预训练的任务无关的语言模型如何使目标条件RL代理更具样本效率。我们通过促进不同相关任务之间的迁移学习来做到这一点。我们实验证明我们的方法对一组对象导航任务。
2020-07-10 cs.AI cs.LG stat.ML
Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
通过对比嵌入链分析,揭示LVLMs中视觉信息整合的关键层及影响响应生成的强度量化方法。
2026-02-10 cs.AI cs.LG
Plug-and-Play split Gibbs sampler: embedding deep generative priors in Bayesian inference
IRIT/INP-ENSEEIHT(图卢兹信息学研究所/国立图卢兹综合理工学院-ENSEEIHT);University of Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);University of Lille(里尔大学)
提出一种结合变量分裂与深度生成先验的随机 PnP-SGS 后验采样算法,无需显式先验即可提供贝叶斯估计及置信区间,并在图像处理任务中验证有效性。
2023-04-21 cs.CV cs.LG stat.ML
Alleviating Cold-start Problem in CTR Prediction with A Variational Embedding Learning Framework
Business Growth BU, JD.com(京东商业增长业务单元)
我们提出了一个通用的变分嵌入学习框架(VELF),以减轻严重的冷启动问题的CTR预测。VELF通过两种方式来缓解由数据稀疏性引起的过拟合来解决冷启动问题:学习概率嵌入,并结合可训练和正则化的先验知识,这些先验知识利用了冷启动用户和广告的丰富边信息。这两种技术自然地集成到变分推理框架中,形成端到端的训练过程。在基准数据集上的大量实证测试充分证明了我们提出的VELF的优势。此外,扩展的实验证实,我们的参数化和正则化的先验提供了更多的泛化能力比传统的固定先验。
2022-01-17 cs.IR cs.LG
Embedding Words as Distributions with a Bayesian Skip-gram Model
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
我们介绍了一种方法,用于嵌入单词的概率密度在低维空间。而不是假设一个词嵌入是固定的整个文本集合,在标准的词嵌入方法,在我们的贝叶斯模型中,我们从一个词特定的先验密度为每个给定的词的出现。直觉上,对于每个单词,先验密度编码了其潜在“含义”的分布。这些先验密度在概念上类似于高斯嵌入。有趣的是,与高斯嵌入不同,我们还可以获得上下文特定的密度:它们编码了给定上下文的单词意义的不确定性,并对应于我们模型中的后验分布。上下文相关的密度有许多潜在的应用:例如,我们表明,它们可以直接用于词汇替换任务。我们描述了一种有效的估计方法的基础上变分自编码框架。我们还证明了我们的嵌入在标准基准测试中取得了有竞争力的结果。
2018-06-10 cs.AI cs.CL cs.LG
Improved Representation of Asymmetrical Distances with Interval Quasimetric Embeddings
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出Interval Quasimetric Embedding(IQE),通过满足拟度量模型的四个理想性质,解决了先前方法的不足,在三个拟度量学习实验中展现出更强的逼近与泛化能力,提升了性能与效率。
2024-01-05 cs.LG
On Incorporating Semantic Prior Knowledge in Deep Learning Through Embedding-Space Constraints
Australian Institute of Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
人类掌握的关于问题的知识通常远远超出一组训练数据和输出标签。虽然深度学习的成功主要依赖于监督训练,但仅从端到端注释无法有效地推断重要属性,例如因果关系或特定于域的不变性。我们提出了一种通用的技术来补充监督训练与先验知识表示为训练实例之间的关系。我们说明的视觉问答任务的方法,利用各种辅助注释,包括问题之间的等价关系和逻辑蕴涵。使用这些注释的现有方法,包括辅助损失和数据增强,不能保证将这些关系严格包含到模型中,因为它们需要针对端到端目标进行仔细的平衡。我们的方法使用这些关系来塑造模型的嵌入空间,并将它们视为对其学习表示的严格约束。在VQA的上下文中,这种方法带来了显着的改进,在准确性和鲁棒性,特别是在将约束作为一个软正则化的常见做法。我们还表明,将这种类型的先验知识与我们的方法相结合,带来了一致的改进,独立于所使用的监督数据量。它展示了额外训练信号的价值,否则很难单独从端到端注释中提取。
2019-11-17 cs.CV cs.LG
Bayesian Low-rank Matrix Completion with Dual-graph Embedding: Prior Analysis and Tuning-free Inference
The University of Hong Kong(香港大学);Zhejiang University(浙江大学)
最近,通过双图正则化的镜头,基于低秩矩阵完成的无监督学习重新引起了人们的兴趣,它显著提高了多学科机器学习任务的性能,例如推荐系统,基因型填充和图像修补。虽然双图正则化贡献了成功的主要部分,但通常涉及计算成本高的超参数调整。为了克服这一缺陷,提高矩阵完备化的性能,提出了一种新的贝叶斯学习算法,该算法能够自动学习与对偶图正则化相关的超参数,同时保证矩阵完备化的低秩性.值得注意的是,一个新的先验设计,以促进低秩矩阵和编码的双图信息的同时,这是更具有挑战性的单图。一个非平凡的条件共轭之间的建议先验和似然函数,然后探索,从而得到一个有效的算法下变分推理框架。使用合成和真实世界的数据集进行的大量实验证明了所提出的学习算法在各种数据分析任务中的最新性能。
2022-09-05 cs.LG math.PR
InfoSEM: A Deep Generative Model with Informative Priors for Gene Regulatory Network Inference
Johnson and Johnson Innovative Medicine(强生创新制药)
本文提出无监督生成模型InfoSEM,以文本基因嵌入作为信息性先验进行GRN推断,并可融合GT标签,同时构建更贴近真实应用的生物学基准,实验显示其性能显著优于现有模型。
2025-06-08 cs.LG q-bio.QM stat.ML
Physics-Informed Kernel Embeddings: Integrating Prior System Knowledge with Data-Driven Control
University of New Mexico(新墨西哥大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
数据驱动的控制算法使用系统动态的观测来构造用于控制目的的隐式模型。然而,在实践中,数据驱动的技术往往需要过多的样本量,这可能是不可行的,在现实世界的情况下,只有有限的观察系统。此外,纯数据驱动的方法往往忽略有用的先验知识,如系统动态的近似模型。我们提出了一种方法,将这样的先验知识到数据驱动的控制算法,使用内核嵌入,非参数机器学习技术的基础上的理论再生核希尔伯特空间。我们提出的方法结合了先验知识的系统动力学作为一个偏置项的内核学习问题。我们将有偏学习问题表述为具有由动态告知的正则化项的最小二乘问题,其具有可有效计算的封闭形式的解。通过数值实验,我们经验性地证明了我们的方法在纯数据驱动的基线上提高了样本效率和样本外泛化。我们展示了我们的方法的应用程序,通过目标跟踪问题与非完整动力学控制,弹簧质量阻尼器和F-16飞机状态预测任务。
2023-01-09 cs.LG cs.SY eess.SY
Semi-overcomplete convolutional auto-encoder embedding as shape priors for deep vessel segmentation
LaTIM UMR 1101, Inserm(法国国家健康与医学研究院LaTIM UMR 1101研究所);University of Western Brittany(西布列塔尼大学);University Hospital of Brest(布雷斯特大学医院);University Hospital of Poitiers(普瓦捷大学医院);ICube UMR 7357, CNRS(法国国家科学研究中心ICube UMR 7357研究所);IMT Atlantique(大西洋电信学院)
本文提出一种将半过完备卷积自编码器(S-OCAE)嵌入作为形状先验整合到深度分割中的新方法,通过过完备分支投影数据至高维以更好表征微小血管结构,在DRIVE和3D-IRCADb数据集上的血管提取实验证明了其优于传统U-Net及CAE先验方法。
2024-09-19 cs.CV cs.LG eess.IV
Topologically Regularized Data Embeddings
Ghent University(根特大学);VIB Inflammation Research Center(VIB炎症研究中心)
针对现有无监督表示学习方法无法在低维嵌入中保留已知拓扑先验的问题,提出基于代数拓扑的拓扑正则化通用方法,通过联合优化嵌入损失与拓扑损失得到兼具局部邻近性与目标拓扑结构的嵌入,并验证了其效率、鲁棒性与通用性。
2023-11-07 cs.LG
Embedding Compression for Teacher-to-Student Knowledge Transfer
Georgia Institute of Technology(佐治亚理工学院)
针对教师嵌入包含目标任务无关知识的问题,提出带有可训练教师变换的嵌入压缩模块以获取紧凑教师嵌入,实验证明该方法提升了分类性能及学生模型的泛化能力。
2024-02-09 cs.LG
Robust Visual Representation Learning with Multi-modal Prior Knowledge for Image Classification Under Distribution Shift
Corporate Research, Robert Bosch GmbH(罗伯特·博世公司企业研究部);University of Stuttgart(斯图加特大学);Stanford University(斯坦福大学);University of Southampton(南安普顿大学)
针对深度神经网络在分布偏移下泛化能力不足的问题,提出知识引导视觉表示学习(KGV)方法,整合知识图谱和合成图像模态知识,通过新的KGE对齐方式实现正则化学习,在多任务中提升准确性和数据效率。
2025-02-12 cs.CV cs.LG
Features-based embedding or Feature-grounding
本文研究如何在深度学习模型中重现基于知识的结构化思维,提出一种构建特征锚定嵌入的方法,将可操作字典的可共享表示与可解释的领域特定概念特征相对齐。
2025-06-11 cs.LG
AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks
Department of Computer Science, Stanford University(斯坦福大学计算机科学系)
AutoML在为由特定数据集和评估指标定义的给定机器学习任务找到有效的神经架构方面取得了显着的成功。然而,大多数现有的AutoML技术从零开始独立地考虑每个任务,这需要探索许多架构,导致高计算成本。在这里,我们提出了AutoTransfer,一个AutoML解决方案,通过将先前的架构设计知识转移到感兴趣的新任务来提高搜索效率。我们的关键创新包括一个任务模型库,它可以捕获不同GNN架构和任务的模型性能,以及一个计算效率高的任务嵌入,可以准确地测量不同任务之间的相似性。基于任务模型库和任务嵌入,我们估计的设计先验的理想模型的新的任务,通过聚合的相似性加权和的前K设计分布的任务,是类似的感兴趣的任务。计算的设计先验可以与任何AutoML搜索算法一起使用。我们在图机器学习领域的六个数据集上评估AutoTransfer。实验表明,(i)我们提出的任务嵌入可以有效地计算,并且具有相似嵌入的任务具有相似的最佳性能架构;(ii)AutoTransfer显著提高了传输设计先验的搜索效率,将探索架构的数量减少了一个数量级。最后,我们发布了GNN-Bank-101,这是一个包含120,000个任务模型组合的详细GNN训练信息的大规模数据集,以促进和激励未来的研究。
2023-03-14 cs.LG
Visual Question Answering with Prior Class Semantics
The University of Adelaide(阿德莱德大学)
我们提出了一种新的机制,嵌入先验知识的视觉问答模型。任务的开集性质与训练固定分类器的普遍方法不一致。我们将展示如何利用有关候选答案的语义的额外信息。我们扩展的答案预测过程中的一个回归目标的语义空间,在其中,我们项目的候选人的答案使用先验知识来自词嵌入。我们对GQA数据集的学习表示进行了广泛的研究,揭示了答案空间中嵌入之间的关系中捕获了重要的语义信息。我们的方法在一系列问题类型上提高了一致性和准确性。在训练过程中看不到的新答案的实验表明,该方法具有开集预测的潜力。
2020-05-04 cs.CV cs.LG
Embedding World Knowledge into Tabular Models: Towards Best Practices for Embedding Pipeline Design
本文通过系统评估256种管道配置,探讨了如何设计有效的LLM嵌入管道,发现嵌入方式和模型选择对预测性能有显著影响,梯度提升树表现优异。
2026-03-18 cs.LG
Embedding Symbolic Temporal Knowledge into Deep Sequential Models
National University of Singapore(新加坡国立大学)
序列和时间序列经常出现在机器人任务中,例如,活动识别和模仿学习。近年来,深度神经网络(DNN)已经成为一种有效的数据驱动方法,用于在给定足够的训练数据和计算资源的情况下处理序列。然而,当数据有限时,更简单的模型(如基于逻辑/规则的方法)工作得非常好,特别是当相关的先验知识应用于其构建时。然而,与DNN不同的是,这些“结构化”模型可能难以扩展,并且不能很好地处理原始的非结构化数据。在这项工作中,我们试图学习灵活的DNN,但在可用时利用先验时间知识。我们的方法是嵌入表示为线性时序逻辑(LTL)的符号知识,并使用这些嵌入来指导深度模型的训练。具体来说,我们通过图神经网络构造基于语义的LTL公式自动机的嵌入。实验表明,这些学习嵌入可以导致下游机器人任务,如顺序动作识别和模仿学习的改进。
2021-01-28 cs.AI cs.LG cs.RO
Effective Use of Variational Embedding Capacity in Expressive End-to-End Speech Synthesis
Google Research(谷歌研究院)
最近的工作已经探索了序列到序列的表达性语音合成(支持韵律和风格的控制和转移)的潜在变量模型,但还没有提出一个连贯的框架来理解竞争方法之间的权衡。在本文中,我们提出了嵌入容量(嵌入包含的信息量的数据)作为一个统一的方法来分析语音的潜变量模型的行为,比较现有的启发式(非变分)的方法,变分方法,能够明确限制容量上界的代表性互信息。在我们提出的模型(Capacitron)中,我们表明,通过将条件依赖性添加到变分后验中,使其与真实后验的形式相匹配,相同的模型可用于高精度韵律传输,文本不可知风格传输和生成自然的先验样本。对于多说话人模型,Capacitron能够在说话人之间的韵律传输过程中以及从潜在先验中提取样本时保持目标说话人身份。最后,我们介绍了一种方法,用于在两组潜伏期中分层分解嵌入容量,允许指定一部分潜伏变异性,其余变异性从学习到的先验中采样。音频示例可在网络上获取。
2019-10-25 cs.CL cs.LG cs.SD
Learning the Basis: A Kolmogorov-Arnold Network Approach Embedding Green's Function Priors
Key Laboratory of Universal Wireless Communication, Ministry of Education, School of Information and Communication Engineering, Beijing University of Posts and Telecommunications(信息与通信工程学院,北京邮电大学,教育部无线通信重点实验室);Department of Informatics and Telecommunications, National and Kapodistrian University of Athens(信息与电信学院,希腊国家与卡波迪斯蒂亚纳大学);telecommunication company in Stockholm, Sweden(瑞典斯德哥尔摩的一家电信公司);School of Computing, Engineering and Mathematical Sciences, La Trobe University(计算、工程与数学科学学院,拉特罗布大学)
本文提出PhyKAN,一种基于Kolmogorov-Arnold网络的可学习基础方法,通过嵌入Green函数先验,实现高精度电磁建模。
2026-01-06 cs.AI cs.LG
On Fast Johnson-Lindenstrauss Embeddings of Compact Submanifolds of $\mathbb{R}^N$ with Boundary
Michigan State University(密歇根州立大学)
设$\mathcal{M}$是$\mathbb{R}^N$的一个光滑的$d$维子流形,其边界满足欧几里德(弦)度量,选择$m \leq N$ .在本文中,我们考虑的概率,随机矩阵$A \in \mathbb{R}^{m \times N}$将作为一个双Lipschitz函数$A: \mathcal{M} \rightarrow \mathbb{R}^m$与双Lipschitz常数接近1的三种不同类型的分布的$m \times N$矩阵$A$,包括两个其实现保证有快速矩阵向量乘法。在这样做时,我们推广了这种类型的子流形的$\mathbb{R}^N$允许存在的边界,同时也保留,并在某些情况下,提高,以前的下界可实现的嵌入尺寸$m$,人们可以期望小失真的概率很高。特别是,最近的模态嵌入构造张量数据的动机,在这里,我们提出了一类新的高度结构化的矩阵上的分布,优于先前的结构化矩阵分布嵌入足够低维子流形的$\mathbb{R}^N$(与$d \lesssim \sqrt{N}$)相对于可实现的嵌入维数,计算效率的实现。因此,我们能够提出,例如,一个一般的新类的约翰逊-林登施特劳斯嵌入矩阵的$\mathcal{O}(\log^c N)$维子流形的$\mathbb{R}^N$享受$\mathcal{O}(N \log (\log N))$时间矩阵向量乘法。
2022-05-21 cs.IT cs.LG cs.NA
Simple Rule Injection for ComplEx Embeddings
University of Florida(佛罗里达大学);New York University(纽约大学)
本文提出InjEx机制,通过简单约束将多种Horn规则注入ComplEx嵌入,理论证明其可行性,并在知识图谱补全和少样本补全任务上验证其优于基线模型。
2023-08-07 cs.AI cs.CL cs.LG
Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings
University of Mannheim(曼海姆大学)
知识图谱嵌入(KGE)模型是一种有效的多关系数据表示和推理方法。然而,之前的研究表明,KGE模型对超参数设置很敏感,并且合适的选择取决于数据集。在本文中,我们探讨了超参数优化(HPO)非常大的知识图谱,其中的成本评估个人超参数配置是过度的。先前的研究通常通过使用各种化学方法来避免这种成本;例如,通过在子图上训练或通过使用更少的时期。我们系统地讨论和评估这种近似和其他低成本近似技术的质量和成本节约。基于我们的研究结果,我们介绍了GraSH,一个有效的多保真度HPO算法的大规模KGE,结合了图形和历元减少技术,并运行在多轮的不断增加的并行性。我们进行了一项实验研究,发现GraSH以较低的成本(总共三次完整的训练运行)在大型图上获得了最先进的结果。
2022-07-11 cs.AI cs.LG
Fast Online Adaptation in Robotics through Meta-Learning Embeddings of Simulated Priors
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
Meta学习算法可以通过为动态模型找到初始参数集来加速基于基于模型的强化学习(MBRL)算法,使得模型可以被训练成仅用几个数据点来匹配系统的实际动态。然而,在现实世界中,机器人可能会遇到从电机故障到发现自己处于岩石地形的任何情况,其中机器人的动力学可能彼此显著不同。在本文中,首先,我们表明,当元训练情况(先验情况)具有如此多样的动态时,使用单个元训练参数集作为起点仍然需要从真实系统中进行大量观察,以学习有用的动态模型。其次,我们提出了一种名为FAMLE的算法,它通过元训练几个初始起始点(即,初始参数)用于训练模型,并允许机器人选择最合适的起始点,以仅用几个梯度步长使模型适应当前情况。我们比较了FAMLE与MBRL,MBRL与MAML的元训练模型,以及用于各种模拟和真实机器人任务的无模型策略搜索算法PPO,并表明FAMLE允许机器人在比基线明显更少的时间步长内适应新的损伤。
2021-01-06 cs.AI cs.LG cs.RO
E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出E-Gen,一种基于e-graph的大规模数学表达式数据集生成方案,并利用等价生成与对比学习训练嵌入模型,在多个数学语言处理任务上超越先前方法和大语言模型。
2025-03-09 cs.CL cs.LG cs.SC
Language Models as Knowledge Embeddings
Fudan University(复旦大学);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
提出LMKE,利用语言模型和对比学习框架推导知识嵌入,解决了现有方法在长尾实体表示及负采样成本上的局限,并在链接预测和三元组分类基准上取得最优性能。
2023-06-29 cs.AI cs.CL cs.LG
Training-Free Diffusion Priors for Text-to-Image Generation via Optimization-based Visual Inversion
University of Florence(佛罗伦萨大学)
本研究提出无需训练的基于优化的视觉反向方法,用于文本到图像生成,通过约束优化提升图像质量,挑战传统先验的必要性。
2025-12-27 cs.AI cs.CL cs.CV
TopicNet: Semantic Graph-Guided Topic Discovery
National Laboratory of Radar Signal Processing, Xidian University(西安电子科技大学雷达信号处理全国重点实验室);McCombs School of Business, The University of Texas at Austin(德克萨斯大学奥斯汀分校麦库姆斯商学院)
现有的深度层次主题模型能够以无监督的方式从文本语料库中提取语义上有意义的主题,并自动将它们组织成主题层次。然而,目前还不清楚如何纳入先验信念,如知识图谱,以指导学习的主题层次结构。为了解决这个问题,我们引入了TopicNet作为一个深度层次的主题模型,可以注入先验结构知识作为一个归纳偏差来影响学习。TopicNet将每个主题表示为高斯分布的嵌入向量,将所有层的主题投影到共享的嵌入空间中,并探索高斯嵌入向量之间的对称和非对称相似性,以合并先前的语义层次。利用自编码变分推理网络,通过随机梯度下降最小化证据下限和正则化项来优化模型参数。在广泛使用的基准测试上的实验表明,TopicNet在发现更深层次的可解释主题和挖掘更好的文档表示方面优于相关的深度主题模型。
2021-10-27 cs.IR cs.LG
Recurrent Skipping Networks for Entity Alignment
Nanjing University(南京大学)
我们考虑学习知识图谱(KG)嵌入实体对齐(EA)的问题。目前的方法主要采用三层学习的嵌入模型,缺乏捕捉知识库中存在的长期依赖关系的能力。因此,基于嵌入的EA方法严重依赖于先前(已知)比对的量,因为先前比对中的身份信息不能有效地从一个KG传播到另一个KG。在本文中,我们提出了RSN4EA(用于EA的循环跳跃网络),它利用有偏随机游走采样来生成跨KG的长路径,并使用一种新的循环跳跃网络(RSN)对路径进行建模。RSN将传统的递归神经网络(RNN)与残差学习相结合,只需增加少量参数,就可以大大提高收敛速度和性能。我们评估了RSN4EA的一系列数据集构建从现实世界的KG。我们的实验结果表明,它优于一些国家的最先进的嵌入式EA方法,也取得了相当的性能KG完成。
2018-11-06 cs.CL cs.LG
Decoupling High and Low Frequencies for Faithful Image Generation with Fine Details
University of Mannheim(曼海姆大学);Autodesk AI Lab(Autodesk人工智能实验室);MPI for Informatics(信息研究所)
该研究针对潜在生成模型难以恢复图像高频细节的问题,提出DeBaT解耦频带分词器,将其集成到潜在扩散模型后,可生成更锐利、更真实的图像样本。
2026-08-21 cs.CV cs.LG
FedHypeVAE: Federated Learning with Hypernetwork Generated Conditional VAEs for Differentially Private Embedding Sharing
Indian Institute of Technology Bombay(印度理工学院班加罗尔)
FedHypeVAE通过超网络生成条件VAE实现联邦学习中差分隐私的嵌入共享,兼顾个性化、隐私保护与分布对齐。
2026-01-02 cs.AI cs.CV cs.LG