Pairwise Learning for Neural Link Prediction
WeChat Pay, Tencent(腾讯微信支付);WeChat Search, Tencent(腾讯微信搜索)
在本文中,我们的目标是提供一个有效的成对学习神经链接预测(PLNLP)框架。该框架将链接预测视为成对的学习排序问题,并且由四个主要组件组成,即,邻域编码器、链接预测器、负采样器和目标函数。该框架是灵活的,任何通用的图神经卷积或链接预测特定的神经结构可以被用作邻域编码器。对于链接预测器,我们设计了不同的评分函数,可以根据不同类型的图进行选择。在负采样器中,我们提供了几种采样策略,这些策略是针对具体问题的。至于目标函数,我们建议使用一个有效的排名损失,近似最大化的标准排名指标AUC。我们在Open Graph Benchmark的4个链接属性预测数据集上评估了所提出的PLNLP框架,包括ogbl-ddi,ogbl-collab,ogbl-ppa和ogbl-ciation 2。PLNLP在ogbl-ddi和ogbl-collab上实现了top 1性能,在ogbl-ciation 2上仅使用基本神经架构实现了top 2性能。性能证明了PLNLP的有效性。
2022-01-21 cs.AI cs.LG cs.SI
Heuristic-Informed Mixture of Experts for Link Prediction in Multilayer Networks
University of Calabria(卡拉布里亚大学)
本文提出首个专为多层链路预测设计的混合专家框架MoE-ML-LP,基于多层启发式综合多专家决策,在多项指标上显著超越基线方法,并支持新专家的无缝集成。
2025-01-29 cs.LG cs.SI physics.soc-ph
iLENS: Interpretable LLM-Guided Mixture-of-Experts for Neuroimaging Survival Analysis
University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
针对阿尔茨海默病前驱期转化预测问题,提出iLENS框架,基于专家混合模型,利用大语言模型合成信息指导专家路由,具备竞争力的预测性能,能为决策提供透明且基于生物学的原理。
2026-07-13 cs.AI cs.LG
Multi-level Mixture of Experts for Multimodal Entity Linking
School of Computer;Information Technology Shanxi University Taiyuan China;School of Computer Science;Informatics Cardiff University Cardiff UK;ILCC, School of Informatics University of Edinburgh Edinburgh UK;Information Technology Shanxi University;Informatics Cardiff University;ILCC, School of Informatics University of Edinburgh
针对多模态实体链接中的指称歧义和模态动态选择问题,提出多层级混合专家模型MMoE,通过描述增强、特征提取及层级内外混合专家机制动态选择特征,取得了优于现有技术的性能。
2025-06-03 cs.AI cs.CL cs.CV
SPACE: Your Genomic Profile Predictor is a Powerful DNA Foundation Model
Renmin University of China(中国人民大学)
本文提出SPACE模型,利用专家混合架构进行多物种多基因组谱的监督预测训练,证明监督基因组谱预测优于纯序列预训练,并在多种任务上取得最先进性能。
2025-06-02 cs.LG q-bio.GN
Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors
University of Southern California(南加州大学)
本研究提出混合三级框架HYMELL,结合分析建模与机器学习,在NVIDIA H100 GPU上对LLaMA 3 8B的预填充、解码阶段误差均低于5%,可实现LLM推理延迟与能耗的精准估计及能效优化。
2026-08-10 cs.AI cs.LG
Universality of Bayesian mixture predictors
这是有限值时间序列的序贯概率预测问题。数据由所有单向无穷序列的空间上的未知概率分布生成。已知这个测度属于一个给定的集合C,但后者是完全任意的(不可数无限,没有任何结构)。性能是用渐近平均对数损失来衡量的。在这项工作中,它表明,极小极大渐近性能总是可以达到的,它是通过一个凸组合的可数许多措施,从集合C(贝叶斯混合)。这是以前只知道的情况下,最佳可实现的渐近误差是0。这也对比了以前的结果表明,在不可实现的情况下,所有贝叶斯混合可能是次优的,而有一个预测,达到最佳性能。
2016-11-01 cs.IT cs.LG math.IT
Uncertainty-Aware Driver Trajectory Prediction at Urban Intersections
Toyota Research Institute(丰田研究院);Computer Science and Artificial Intelligence Lab, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
预测驾驶员车辆的运动对于先进的驾驶系统至关重要,可以检测驾驶员和自动化系统之间共享控制的潜在风险。在本文中,我们提出了一种变分神经网络方法,预测未来的驾驶员轨迹分布的车辆基于多个传感器。我们的预测器生成未来轨迹的条件变分分布,以及不同时间范围的置信度估计。我们的方法允许我们处理固有的不确定情况,并从每个输入中推理信息增益,以及将我们的模型与其他预测因子结合起来,创建专家的混合专家模型。我们展示了如何用基于物理的预测器来增强变分预测器,并根据其置信度估计,提高整体系统性能。由此产生的组合模型知道与其预测相关的不确定性,这可以帮助车辆自主做出更有信心的决策。该模型在多个地点收集的真实城市驾驶数据上进行了验证。该验证表明,我们的方法将基于物理模型的预测误差提高了25%,同时成功识别了82%准确率的不确定情况。
2019-03-06 cs.AI cs.CV cs.LG
A non-asymptotic approach for model selection via penalization in high-dimensional mixture of experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);La Trobe University(乐卓博大学);University of Queensland(昆士兰大学)
专家混合(MoE)是一类流行的统计和机器学习模型,多年来由于其灵活性和效率而受到关注。在这项工作中,我们考虑高斯门控本地化MoE(GLoME)和块对角协方差本地化MoE(BLoME)回归模型,以呈现非线性关系的异质数据与潜在的隐藏的图形结构的高维预测之间的相互作用。这些模型提出了困难的统计估计和模型选择问题,无论是从计算和理论的角度。在惩罚极大似然估计的框架下,研究了由混合分量数、高斯均值专家复杂度协方差阵的隐块对角结构组成的GLoME或BLoME模型集合中的模型选择问题.特别是,我们建立了非渐近的风险界,采取的形式弱预言不等式,提供的下界的处罚举行。我们的模型的良好的经验行为,然后证明在合成和真实的数据集。
2022-09-04 cs.AI cs.LG math.ST
Universal Link Predictor By In-Context Learning on Graphs
University of Notre Dame(圣母大学);Michigan State University(密歇根州立大学)
提出通用链接预测器UniLP,结合启发式方法的泛化能力与参数化模型的学习能力,通过上下文学习动态适应未见过的图,避免负迁移,性能媲美甚至超越微调模型。
2024-02-15 cs.LG
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
TFMLinker: Universal Link Predictor by Graph In-Context Learning with Tabular Foundation Models
Nankai University(南开大学);Tsinghua University(清华大学);Beihang University(北航)
TFMLinker通过表格基础模型的上下文学习能力,在不同图上进行通用链接预测,无需数据集特定微调。
2026-02-09 cs.LG
Do Temporal Link Predictors Need Learned Memory? A Smoothed-Count Baseline with a Handful of Parameters
Julius-Maximilians-Universität Würzburg(尤利乌斯-马克西米利安-维尔茨堡大学)
提出一种基于统计语言建模的平滑计数时间链接预测器,无需学习节点表示,仅用9-13个参数即在多个基准数据集上取得领先性能,为神经预测器提供简单强基线。
2026-09-29 cs.AI cs.LG
Embedding Cardinality Constraints in Neural Link Predictors
Data Science Institute, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所);University College London(伦敦大学学院)
神经链接预测器学习知识图谱中实体和关系的分布式表示。它们在链接预测和知识库完成任务中非常强大,这主要是由于学习到的表示捕获了数据中重要的统计依赖关系。最近的工作在该领域的重点是设计新的评分功能或将额外的信息纳入学习过程中,以改善表示。然而,这些表示大多是从观察到的实体之间的链接中学习的,忽略了与图中的关系相关的常识或模式知识。关系数据拓扑的一个基本方面是基数信息,它限制了最小和最大频率之间关系的预测数量。在本文中,我们提出了一种新的正则化方法,将关系基数约束纳入任何现有的神经链接预测器,而不会影响其效率或可扩展性。我们的正则化项旨在对具有高概率的预测数量施加边界,因此,构建嵌入空间以尊重常识基数假设,从而获得更好的表示。在Freebase、WordNet和YAGO上的实验结果表明,在给定适当的先验知识的情况下,该方法对下游链接预测任务的预测精度有积极的影响.
2018-12-16 cs.AI cs.LG
Temporal Smoothness Regularisers for Neural Link Predictors
University of California, Los Angeles(加州大学洛杉矶分校);Cornell University(康奈尔大学)
本文提出了一种基于时间平滑正则化器的神经链接预测方法,在三个数据集上实现了更准确的结果。
2024-11-05 cs.LG
Universal time-series forecasting with mixture predictors
Antsiranana, 2019(安蒂斯里亚纳,2019)
本书研究序列概率预测中的混合预测器,证明其在一般概率设置下的普适性并指出局限,面向研究生和研究人员,理论性强。
2025-04-19 cs.AI cs.IT cs.LG
Classification Using Link Prediction
Amirkabir University of Technology(阿米尔卡比尔理工大学)
图中的链接预测是检测在不久的将来会形成的丢失链接的问题。使用数据的图形表示,我们可以将分类问题转化为链接预测问题,其目的是找到未标记数据(未标记节点)与其类之间的缺失链接。据我们所知,尽管许多算法使用数据的图形表示进行分类,但没有一个算法使用链接预测作为其分类过程的核心。在这项工作中,我们提出了一种新的算法,称为CULP(分类使用链接预测),它使用一种新的结构,即标签嵌入图或LEG和链接预测找到类的未标记的数据。不同的链接预测器以及兼容性得分-我们提出的一种新的链接预测器,专门为我们的设置设计-已经被使用,并显示出对不同数据集进行分类的有希望的结果。本文进一步改进了CULP设计一个扩展名为CULM,它使用多数表决(因此在首字母缩略词中的M)的过程与权重成比例的预测的置信度,以使用多个链接预测器的预测能力,并利用低层次的数据特征。大量的实验结果表明,CULP和CULM都具有很高的准确性,并与最先进的图分类器和一般分类器竞争。
2018-10-01 cs.LG stat.ML
Fairness Constraints in High-Dimensional Generalized Linear Models
Department of Statistics and Data Science, Cornell University(统计与数据科学系,康奈尔大学);Department of Statistics(统计系);Data Science, Cornell University(数据科学,康奈尔大学)
本文提出通过辅助特征推断敏感属性并将其融入模型训练,以缓解历史数据偏见,提升算法决策的公平性。
2026-07-24 cs.LG stat.ML
Transformers can optimally learn regression mixture models
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
本研究证明Transformer能学习回归混合模型的最优预测器,通过构造生成过程并实验验证其低误差、样本高效及鲁棒性,且理论上证明最优过程可由Transformer实现。
2023-11-14 cs.LG stat.ML
On semi-supervised estimation using exponential tilt mixture models
Rutgers University(罗格斯大学);New York University(纽约大学)
本研究针对半监督二元分类,提出基于指数倾斜混合模型的非参数似然估计方法,推导其渐近性质,证明在随机与分层抽样下比监督逻辑回归更高效,并统一了与半参数效率理论的关系,模拟验证了理论结果。
2023-11-14 cs.LG stat.ML
Towards Understanding Link Predictor Generalizability Under Distribution Shifts
Michigan State University(密歇根州立大学)
针对链接预测任务中分布偏移研究不足的问题,本文提出利用结构特性引入受控分布偏移的LPShift划分策略,并通过16种变体上的实验揭示了图结构对模型泛化性能的显著影响。
2025-07-16 cs.AI cs.LG
Discriminative Link Prediction using Local Links, Node Features and Community Structure
IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Bombay(印度理工学院孟买分校)
链接预测(LP)算法被给出一个图,并且必须对每个节点、作为新链接的候选的其他节点进行排名。LP强烈受到社交搜索和推荐应用的推动。LP技术通常专注于全局属性(图电导,命中或通勤时间,Katz得分)或局部属性(Adamic-Adar和许多变体,或节点特征向量),但很少结合这些信号。此外,这两个极端都没有利用社区中间层的链接密度。在本文中,我们描述了一个歧视LP算法,利用两个新的信号。首先,一个共同的聚类算法提供社区级的链接密度估计,这是用来限定观察到的链接与惊喜值。第二,在要预测的链接的直接邻域中的链接不被解释在表面值,而是通过节点特征相似性的局部模型。这些信号被组合成一个判别链接预测器。我们使用文献中标准的五个不同数据集来评估新的预测因子。与标准LP方法(包括Adamic-Adar和随机游走)相比,我们报告了显着的准确性提升。除了新的预测器之外,另一个贡献是用于对LP算法进行基准测试和报告的严格协议,它揭示了这里研究的所有预测器的优势和劣势区域,并将新提案确定为最稳健的。
2013-10-17 cs.LG cs.SI physics.soc-ph
Adapting Neural Link Predictors for Data-Efficient Complex Query Answering
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学);Elsevier(爱思唯尔);University of Copenhagen(哥本哈根大学);University of Edinburgh(爱丁堡大学)
本文提出参数高效的自适应模型 CQD$^{\mathcal{A}}$,通过重新校准冻结的神经链接预测器分数来高效回答复杂查询,仅增加0.03%参数,在显著减少训练数据的同时提升推理准确性并支持原子否定查询。
2023-07-11 cs.AI cs.LG cs.LO
Complex Query Answering with Neural Link Predictors
University College London(伦敦大学学院);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学);Elsevier(爱思唯尔)
神经链接预测器对于识别大规模知识图谱中的缺失边缘非常有用。然而,仍然不清楚如何使用这些模型来回答在许多领域中出现的更复杂的查询,例如使用逻辑合取词($\land$)、析取词($\lor$)和存在量词($\exists$)的查询,同时考虑缺失的边。在这项工作中,我们提出了一个框架,有效地回答复杂的查询不完整的知识图谱。我们将每个查询转换为端到端的可微分目标,其中每个原子的真值由预先训练的神经链接预测器计算。然后,我们分析两个解决方案的优化问题,包括基于梯度和组合搜索。在我们的实验中,所提出的方法比最先进的方法(在数百万个生成的查询上训练的黑盒神经模型)产生更准确的结果,而不需要在大量不同的复杂查询集上进行训练。使用数量级较少的训练数据,我们在包含事实信息的不同知识图谱中获得了从8%到40%的相对改进。最后,我们证明,这是可能的解释我们的模型的结果,在中间的解决方案确定为每个复杂的查询原子。我们所有的源代码和数据集都可以在https://github.com/uclnlp/cqd上获得。
2021-03-18 cs.AI cs.LG cs.LO
A Rigorous Link Between Self-Organizing Maps and Gaussian Mixture Models
University of Applied Sciences Fulda(富尔达应用科技大学)
本文提出了一种自组织映射与高斯混合模型之间关系的数学处理方法。我们表明,基于能量的SOM模型可以被解释为执行梯度下降,最大限度地减少近似的GMM对数似然,这是特别有效的高数据维数。邻域半径的类似SOM的减小可以理解为退火过程,确保梯度下降不会陷入不期望的局部最小值。这种联系允许将SOM视为生成概率模型,为使用SOM提供正式的理由,例如,来检测异常值或进行采样。
2020-09-24 cs.LG stat.ML
Enhancing Molecular Property Prediction via Mixture of Collaborative Experts
Shanghai University of Finance and Economics(上海财经大学)
提出GNN-MoCE架构,以协作专家混合作为多任务预测器,并通过专家特定投影和专家特定损失提升多样性与决策平衡,在24个MPP数据集上取得更优性能。
2023-12-06 cs.LG cs.MA q-bio.QM
Your Temporal Link Predictor Is Blind to Who Is Active: A Missing Factor That Transfers Across Models
Harvard University(哈佛大学);Wuhan University(武汉大学);University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
本研究揭示时序链接预测忽略源节点活跃性这一关键因素,提出轻量级SNAM模型,仅用不到20个参数即可跨模型提升性能,在多个数据集上取得领先。
2026-10-06 cs.LG cs.SI
Dynamic Link Prediction for New Nodes in Temporal Graph Networks
Tongji University(同济大学);EIT Institute for Advanced Study(EIT高等研究院);Naval Medical University(海军军医大学)
针对时间图网络中新节点动态链接预测的少样本问题,提出基于元学习的新模型,利用跨度记忆编码器和预测器,通过跨度与节点适应学习隐式信息,在三个公开数据集上超越现有方法。
2023-10-15 cs.LG
Not All Negatives Are Worth Attending to: Meta-Bootstrapping Negative Sampling Framework for Link Prediction
Ant Group(蚂蚁集团)
针对动态负采样链接预测器存在的难易样本迁移问题,提出含元学习师生GNN、结构增强数据生成器等的MeBNS通用框架,在六个基准数据集上取得显著性能提升。
2023-12-12 cs.LG
Mixture-of-Rookies: Saving DNN Computations by Predicting ReLU Outputs
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
深度神经网络(DNN)被广泛应用于许多应用领域。然而,它们需要大量的计算和内存访问来提供出色的准确性。在本文中,我们提出了一种预测每个ReLu激活的神经元的输出是零还是正数的方案,以便跳过那些可能输出零的神经元的计算。我们的预测器,命名为混合的Roxel,结合了两个廉价的组件。第一个组件利用了二值化(1位)和全精度(8位)点积之间的高度线性相关性,而第二个组件将倾向于同时输出零的神经元聚集在一起。我们提出了一种新的聚类方案的角度分析的基础上,作为两个向量的点积的符号取决于它们之间的角度的余弦。我们在最先进的DNN加速器上实现了我们的混合零输出预测器。实验结果表明,我们的方案引入了5.3%的小面积开销,同时实现了1.2倍的加速比,并为一组不同的DNN平均降低了16.5%的能耗。
2022-02-10 cs.AR cs.LG cs.NE
Plain Transformers are Surprisingly Powerful Link Predictors
Department of Computer Science and Engineering, Michigan State University, East Lansing, MI, USA.(计算机科学与工程系,密歇根州立大学,东兰辛,MI,美国。);Department of Computer Science(计算机科学系);Engineering, Michigan State University, East Lansing, MI, USA.(工程,密歇根州立大学,东兰辛,MI,美国。)
提出PENCIL,一种仅编码器的普通Transformer,通过采样局部子图的注意力机制替代手工先验,在保持标准Transformer可扩展性的同时,隐式泛化多种启发式方法,实现高效且参数经济的链接预测。
2026-09-29 cs.AI cs.LG
Stacking Models for Nearly Optimal Link Prediction in Complex Networks
University of Colorado(科罗拉多大学);University of Southern California(南加利福尼亚大学);Harvard University(哈佛大学);Temple University(天普大学);Santa Fe Institute(圣塔菲研究所)
大多数真实世界的网络都是不完全观察到的。能够准确预测哪些链路缺失的算法可以大大加快网络数据的收集速度,提高网络模型的有效性。现在存在许多算法来预测缺失的链接,给定一个部分观察到的网络,但它仍然是未知的是否存在一个单一的最佳预测,如何链接可预测性不同的方法和网络从不同的领域,以及如何接近最优性目前的方法。我们回答这些问题,系统地评估203个单独的链接预测算法,代表三个流行的家庭的方法,适用于一个大型语料库的548个结构不同的网络从六个科学领域。我们首先表明,个别算法表现出广泛的多样性的预测误差,这样,没有一个预测或家庭是最好的,或最坏的,在所有现实的输入。然后,我们通过元学习来利用这种多样性,构建一系列“堆叠”模型,将预测器组合到一个算法中。应用于广泛的合成网络,我们可以分析计算最佳性能,这些堆叠模型实现了最佳或接近最佳的准确性水平。应用于现实世界的网络,堆叠模型也是优越的,但它们的准确性因领域而异,这表明链接预测在社交网络中可能比在生物或技术网络中更容易。这些结果表明,链接预测的最新技术来自于组合各个算法,从而实现接近最佳的预测。最后,我们简要讨论了进一步改进这些结果的局限性和机会。
2019-09-17 cs.LG cs.SI physics.data-an
Rethinking Complex Queries on Knowledge Graphs with Neural Link Predictors
Tsinghua University(清华大学);HKUST(香港科技大学)
本文重新审视知识图谱复杂查询的查询嵌入方法,系统分析其表述与目标差距及复杂性,提出包含十种新型查询的数据集,并设计神经符号方法FIT,在模糊逻辑支持下实现可证明推理的端到端学习,取得优于现有方法的性能。
2024-10-22 cs.AI cs.DB cs.LG
Are We Wasting Time? A Fast, Accurate Performance Evaluation Framework for Knowledge Graph Link Predictors
KTH Royal Institute of Technology(KTH皇家理工学院);Gavagai;Ericsson(爱立信);Silo AI
针对知识图谱链接预测标准评估计算量大、随机采样评估准确性差的问题,提出基于关系推荐器引导候选选择的评估框架,在保证精度的同时大幅降低计算耗时。
2024-01-25 cs.AI cs.LG
Covariance Prediction via Convex Optimization
我们考虑的问题,预测的协方差为零均值高斯向量的基础上,另一个特征向量。我们描述了具有广义线性模型形式的协方差预测器,即,特征的仿射函数,后跟将向量映射到对称正定矩阵的逆链接函数。对数似然是预测器参数的凹函数,因此拟合预测器涉及凸优化。这样的预测器可以与其他预测器组合,或者递归地应用以提高性能。
2021-01-29 cs.AI cs.LG math.OC
Mechanism Learning: reverse causal inference in the presence of multiple unknown confounding through causally weighted Gaussian mixture models
提出机制学习方法,利用因果加权高斯混合模型(CW-GMMs)对观测数据去混杂,使机器学习模型在多重未知混杂下学习结果到原因的反向因果预测关系,实现无偏因果推断。
2025-11-02 cs.LG math.PR stat.ML
Functional Mixtures-of-Experts
IRT SystemX(IRT SystemX研究所);Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);University of Science, Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学科学大学);University of Queensland(昆士兰大学)
针对函数型异质性数据预测,提出函数混合专家(FME)模型及稀疏可解释变体iFME,采用EM-Lasso算法估计参数,在模拟和真实数据上验证了其捕捉非线性关系与聚类能力。
2023-12-20 cs.LG stat.CO stat.ME
A PAC-Bayesian Link Between Generalisation and Flat Minima
Inria(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(雷恩信息与自动化研究所);University College London(伦敦大学学院)
针对过参数化机器学习模型泛化能力的开放问题,该研究结合PAC-Bayes工具箱与庞加莱、对数索伯列夫不等式,提出含梯度项的新型泛化界,揭示平坦极小值对泛化性能的积极影响。
2025-02-11 cs.LG stat.ML
On model selection for scalable time series forecasting in transport networks
交通文献是密集的短期交通预测,高达1小时的规模,但不太密集的长期交通预测。在城市规模的交通预测方面,交通文献也很少,主要是因为数据可用性低。在这项工作中,我们报告了一项努力,以调查深度学习模型是否可以用于长期的大规模流量预测任务,同时专注于模型的可扩展性。我们调查了一个城市规模的交通数据集,在加利福尼亚州洛杉矶的超级中心,每15分钟收集1098个路段的14周的速度观测。我们研究了各种最先进的机器学习和深度学习预测器,用于基于链接的预测,并研究了这些预测器如何通过聚类和图形卷积方法扩展到更大的区域。我们讨论了将时间和空间特征建模为深度学习预测器可能有助于长期预测,而更简单的,而不是基于深度学习的预测器,对于基于链接的预测和短期预测可以实现非常令人满意的性能。不仅在预测精度与预测范围方面,而且在训练时间和模型大小方面讨论了权衡。
2021-02-18 cs.LG stat.ML
Dirichlet process mixtures of block $g$ priors for model selection and prediction in linear models
Google Inc.(谷歌公司);Department of Statistics, University of Washington(华盛顿大学统计学系)
本文提出块g先验的狄利克雷过程混合用于线性模型中的模型选择和预测,通过允许不同参数块的差异收缩并考虑预测变量的相关结构,实现了模型选择与连续收缩先验的桥梁。
2026-05-12 cs.LG stat.ME
Non-Euclidean Mixture Model for Social Network Embedding
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出非欧几里得混合模型NMM-GNN,将链接生成建模为同质性和社会影响的混合,分别用球面和双曲空间表示,并统一嵌入学习,实验优于基线。
2024-11-07 cs.LG cs.SI
Regularized Estimation and Feature Selection in Mixtures of Generalized Linear Experts
University of Science(胡志明市理工大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);IRT SystemX(法国系统X技术研究所);Dalat University(大叻大学)
针对预测变量众多或相关时广义线性专家混合模型最大似然拟合不稳定的问题,提出正则化最大似然框架,通过ℓ1惩罚和近端牛顿-EM算法实现同步参数估计与特征选择,在模拟和真实数据上有效恢复稀疏支持并提升预测与聚类精度。
2026-09-10 cs.LG stat.AP stat.ME
Accurate Link Prediction for Edge-Incomplete Graphs via PU Learning
Seoul National University(首尔国立大学)
针对边不完整图的链接预测难题,提出基于PU学习的PULL方法,通过潜变量和期望图结构避免过拟合,在五个真实数据集上性能超越基线。
2024-12-12 cs.AI cs.LG cs.SI
Optimality of Universal Bayesian Sequence Prediction for General Loss and Alphabet
各种最优性的通用序列预测的基础上贝叶斯混合一般,特别是Solomonoff的预测方案,将进行研究。如果序列$x_1x_2x_3...$的真实生成分布$μ$已知,则可以用链式规则计算在给定过去观测值$x_1...x_{t-1}$的情况下在时间$t$观测到$x_t$的概率。如果$μ$是未知的,但已知属于可数或连续类$\M$,则可以将预测基于贝叶斯混合$ξ$,该贝叶斯混合$ξ$定义为分布$ν\in\M$的$w_ν$加权和或积分。基于$ξ$的贝叶斯最优通用预测方案的累积期望损失与基于$μ$的贝叶斯最优但不可行的预测方案的损失接近。我们表明,界限是紧的,没有其他预测可以导致显着更小的界限。此外,对于各种性能指标,我们显示$ξ$的帕累托最优性,并给出奥卡姆剃刀参数的选择$w_ν\sim 2^{-K(ν)}$的权重是最优的,其中$K(ν)$是描述$ν$的最短程序的长度。结果被应用于机会游戏,定义为一系列的赌注,观察和奖励。预测方案(和界限)进行比较,流行的预测专家的意见为基础。扩展到无限的字母表,部分,延迟和概率预测,分类,和更积极的系统进行了简要讨论。
2003-11-13 cs.AI cs.LG math.PR
Effects of Locality and Rule Language on Explanations for Knowledge Graph Embeddings
Inria(法国国家信息与自动化研究所);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);Irisa(雷恩信息与自动化系统研究所)
知识图谱(KG)是许多AI相关任务(如推理或问答)的关键工具。这反过来又推动了幼儿园链接预测的研究,即从现有知识中预测缺失关系的任务。基于KG嵌入的解决方案在这方面已经显示出了有希望的结果。不利的一面是,这些方法通常无法解释它们的预测。虽然一些工作已经提出计算基于嵌入的链接预测器的事后规则解释,但这些努力大多采用具有无界原子的规则,例如,·In(x,y)=> residence(x,y),在全局范围内学习,即,整个KG。这些作品都没有考虑到具有有界原子的规则的影响,例如国籍(x,英格兰)=>说话(x,英语),或者从KG的区域学习的影响,即,本地范围。因此,我们研究这些因素对基于规则的解释嵌入为基础的链接预测的质量的影响。我们的研究结果表明,更具体的规则和局部范围可以提高解释的准确性。此外,这些规则可以提供关于用于链接预测的KG嵌入的内部工作的进一步见解。
2023-02-14 cs.AI cs.LG
Toward Calibrated Mixture-of-Experts Under Distribution Shift
Johns Hopkins University(约翰霍普金斯大学)
研究混合专家模型在分布偏移下的校准问题,提出对抗性重加权方法以改善路由聚合的校准误差,提升准确率-校准权衡。
2026-06-19 cs.AI cs.LG
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);UMR CNRS LMNO(法国国家科学研究中心LMNO联合研究单位)
混合专家模型(Mixture of Experts,MoE)是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合,因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题,并提出了一个正则化的极大似然估计的方法,鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE,所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法:期望-优化-最大化(EM/MM)算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案,而无需阈值,并避免矩阵求逆,允许单变量参数更新。实验研究表明,该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Structural Alignment in Link Prediction
Trinity College Dublin, the University of Dublin(三一学院都柏林,都柏林大学)
本文从图结构优先视角重新分析知识图谱与链接预测,提出结构对齐假设,证明该视角有助于理解知识图谱学习并支持跨知识图谱迁移学习。
2025-05-08 cs.AI cs.LG
SimplexUQ: An Evaluation Framework and Benchmark for Conformal Uncertainty on Simplex-Valued Predictions
University of Pittsburgh(匹兹堡大学);Xiamen University(厦门大学);Duke University(杜克大学)
SimplexUQ 是首个针对单纯形值预测的共形不确定性基准,通过 12 个任务比较现有包装器,揭示全局校准掩盖局部覆盖不均,并强调包装器选择应基于诊断而非通用排名。
2026-10-02 cs.LG stat.AP
Deep Fair Learning: Task-Aware Fair Representations via Joint Distance-Covariance Regularization
University of Alberta(阿尔伯塔大学)
本文提出深度公平学习框架,将非线性充分降维与深度学习结合,通过微调中的新惩罚项实现敏感属性与表示的条件独立,在多种敏感属性类型和数据结构上显著优于现有方法。
2026-10-06 cs.LG stat.ML
MoMA: A Mixture-of-Multimodal-Agents Architecture for Enhancing Clinical Prediction Modelling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Northwestern University(西北大学)
本文提出多模态智能体混合(MoMA)架构,利用多个LLM智能体将非文本模态转为文本摘要并整合,以增强临床预测,在真实数据上优于现有方法。
2025-08-07 cs.AI cs.LG cs.MA
OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs
Purdue University(普渡大学);Ludwig-Maximilians-Universitat München(慕尼黑大学)
这项工作提供了关于图消息传递神经网络(gMPNN)-如图神经网络(GNN)-执行归纳分布外(OOD)链接预测任务的能力的第一个理论研究,其中部署(测试)图的大小大于训练图。我们首先证明了非渐近界,表明基于置换等变(结构)节点嵌入gMPNN的链接预测可以收敛到一个随机猜测的测试图变得更大。然后,我们提出了一个理论上合理的gMPNN输出结构成对(2节点)嵌入,并证明非渐近界显示,随着测试图的增长,这些嵌入收敛到一个连续函数的嵌入,保留其预测链接OOD的能力。随机图上的实验结果与我们的理论结果一致。
2022-10-10 cs.AI cs.LG cs.NA