We introduce Joint Probability Trees (JPT), a novel approach that makes learning of and reasoning about joint probability distributions tractable for practical applications. JPTs support both symbolic and subsymbolic variables in a single hybrid model, and they do not rely on prior knowledge about variable dependencies or families of distributions. JPT representations build on tree structures that partition the problem space into relevant subregions that are elicited from the training data instead of postulating a rigid dependency model prior to learning. Learning and reasoning scale linearly in JPTs, and the tree structure allows white-box reasoning about any posterior probability $P(Q|E)$, such that interpretable explanations can be provided for any inference result. Our experiments showcase the practical applicability of JPTs in high-dimensional heterogeneous probability spaces with millions of training samples, making it a promising alternative to classic probabilistic graphical models.
On Probability Distributions for Trees: Representations, Inference and Learning
Laboratoire d’Informatique Fondamentale de Marseille (L.I.F.)(马赛基础信息实验室);UMR CNRS 6166(法国国家科学研究中心6166联合研究单位);INRIA Futurs(法国国家信息与自动化研究所未来分部);Lille University(里尔大学);ÉNS de Cachan, Brittany extension(卡尚高等师范学院布列塔尼分校)
本文研究树的自由代数上的概率分布。概率分布可以看作是特殊的(形式幂)树序列[Berstel et al 82,Esik et al 03],即从树到半环K的映射。一类被广泛研究的树级数是有理(或可识别)树级数,它可以用代数方法或多重树自动机来定义。我们认为,代数表示是非常方便的模型概率分布的树的自由代数。首先,在字符串的情况下,代数表示允许设计学习算法的概率分布定义的有理树系列的整个类。注意,有理树序列的学习算法对应于加权树自动机的学习算法,其中结构和权重都被学习。其次,代数表示可以很容易地扩展到处理未排名的树(如XML树,其中符号可能有无限数量的子节点)。这两个属性都与应用程序特别相关:非确定性自动机需要推理问题相关(回忆隐马尔可夫模型等价于非确定性字符串自动机);现在Web信息抽取,Web服务和文档处理的应用程序考虑未排名的树。
TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees
Department of Computer Science, National University of Singapore, Republic of Singapore(新加坡国立大学计算机科学系);School of Computer Science, University of Waterloo, Canada(滑铁卢大学计算机科学学院);Vector Institute, Canada(加拿大向量研究所)
Joint Optimization of Tree-based Index and Deep Model for Recommender Systems
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
大型工业推荐系统通常面临着巨大的语料库规模的计算问题。为了在响应时间限制下检索并向用户推荐最相关的项目,采用高效的索引结构是一种有效且实用的解决方案。基于树的深度模型(Tree-based Deep Model,TDM)\cite{zhu2018learning}使用树索引极大地提高了推荐的准确性。通过索引树层次结构中的项并训练满足树中的类最大堆性质的用户节点偏好预测模型,TDM提供了相对于树的对数计算复杂性。语料库的大小,使得在候选检索和推荐中能够使用任意的高级模型。在基于树的推荐方法中,树索引和用户节点偏好预测模型的质量在很大程度上决定了推荐的准确性。我们认为树索引和偏好模型的学习具有相互依赖性。我们的目的,在本文中,是开发一种方法来共同学习的索引结构和用户偏好预测模型。在我们提出的联合优化框架中,索引的学习和用户偏好预测模型在统一的性能指标下进行。此外,我们提出了一种新的层次用户偏好表示利用树索引层次。两个大规模真实数据集的实验结果表明,该方法显著提高了推荐准确率。在线A/B测试结果显示广告平台也证明了该方法在生产环境中的有效性。
Joint Hierarchical Representation Learning of Samples and Features via Informed Tree-Wasserstein Distance
Viterbi Faculty of Electrical and Computer Engineering, Technion(技术学院电子与计算机工程系);Department of Mathematics, Yale University(耶鲁大学数学系);Halicio g ˇ \check{\text{g}} lu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校Halicio g ˇ \check{\text{g}} lu数据科学研究所)
Learning high-dimensional probability distributions using tree tensor networks
Centrale Nantes(南特中央理工学院);Laboratoire de Mathématiques Jean Leray(让·勒雷数学实验室);CNRS(法国国家科学研究中心);Naval Group(海军集团);Airbus Central Research & Technology(空客中央研究与技术中心)