In this paper we propose novel methodologies to construct Support Vector Machine -based classifiers that takes into account that label noises occur in the training sample. We propose different alternatives based on solving Mixed Integer Linear and Non Linear models by incorporating decisions on relabeling some of the observations in the training dataset. The first method incorporates relabeling directly in the SVM model while a second family of methods combines clustering with classification at the same time, giving rise to a model that applies simultaneously similarity measures and SVM. Extensive computational experiments are reported based on a battery of standard datasets taken from UCI Machine Learning repository, showing the effectiveness of the proposed approaches.
Semi-Supervised Data Programming with Subset Selection
IIT Bombay(印度理工学院孟买分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
数据编程的范式,它使用弱监督的形式的规则/标签功能,和半监督学习,它增加了大量的未标记的数据集少量的标记数据,在几个文本分类的情况下,显示出很大的希望。在这项工作中,我们认为,通过不使用任何标记的数据,基于数据编程的方法可以产生次优性能,特别是当标签函数是嘈杂的。这项工作的第一个贡献是引入一个框架,\model,这是一个半监督的数据编程范式,学习\emph{joint model},有效地使用规则/标签功能以及半监督损失函数的特征空间。接下来,我们还研究了\modelss,它在联合半监督数据编程目标和\emph{selects}的基础上进行子集选择,这是一组可以用作\model标记集的示例。\modelss的目标是确保标记的数据可以通过\emph{complement}标记功能,从而受益于数据编程以及适当选择的人类标记数据。我们证明,通过有效地结合半监督,数据编程和子集选择范式,我们显着优于目前的最先进的七个公开可用的数据集。\footnote{The source code is available at \url{https://github.com/ayushbits/Semi-Supervised-LFs-Subset-Selection}}
RWTH Aachen University(亚琛工业大学);Saarland University(萨尔大学);University College London(伦敦大学学院)
我们研究加权规划,指定数学模型的编程范式。更具体地说,我们研究的加权程序就像通常的命令式程序一样,具有两个额外的功能:(1)不确定性分支和(2)加权执行轨迹。权重可以是数字,也可以是其他对象,如字母表中的单词、多项式、形式幂级数或基数。我们认为,加权规划作为一种范式,可以用来指定数学模型超越概率分布(如概率规划)。我们开发了最弱的预条件和最弱的自由预条件风格的演算à la Dijkstra,用于推理加权程序指定的数学模型。我们提出了几个案例研究。例如,我们使用加权规划来模拟滑雪租赁问题-一个优化问题。我们不仅模型的优化问题本身,而且最好的确定性在线算法解决这个问题的加权程序。通过最弱前提式推理,可以在源代码级确定在线算法的竞争比。
A Mathematical Programming Approach to Optimal Classification Forests
Institute of Mathematics (IMAG), Universidad de Granada(格拉纳达大学数学研究所(IMAG));Institute of Mathematics (IMUS), Universidad de Sevilla(塞维利亚大学数学研究所(IMUS));Heinz College of Information Systems and Public Policy, Carnegie Mellon University(卡内基梅隆大学信息系统与公共政策学院)
缺失值的存在使得监督学习更具挑战性。事实上,以前的工作已经表明,即使响应是完整数据的线性函数,最佳预测器也是观察到的条目和缺失指标的复函数。因此,一致性方法的计算或样本复杂性取决于缺失模式的数量,其在维度数量上可以是指数级的。在这项工作中,我们推导出线性假设和各种缺失数据机制,包括随机缺失(MAR)和自屏蔽(Missing Not At Random)下的最佳预测的分析形式。基于Neumann级数近似的最优预测,我们提出了一个新的原则架构,命名为NeuMiss网络。它们的独创性和力量来自于使用一种新型的非线性:乘以缺失指标。我们提供了一个上限NeuMiss网络的贝叶斯风险,并表明他们有良好的预测精度与一些参数和独立的缺失数据模式的数量的计算复杂性。因此,它们可以很好地扩展到具有许多特征的问题,并且对于中等大小的样本仍然具有统计效率。此外,我们表明,相反的程序使用EM或插补,他们是强大的缺失数据机制,包括困难的MNAR设置,如自屏蔽。