A simple data discretizer
Bloomberg L.P.(彭博有限合伙企业);SUNY at Buffalo(纽约州立大学布法罗分校);Birla Institute of Technology, Mesra(比尔拉理工学院梅斯拉分校)
数据离散化是机器学习过程中的一个重要步骤,因为离散属性比连续属性更容易被分类器处理。多年来,执行离散化的几种方法,如布尔推理,等频率分箱,熵已被提出,探索和实现。本文介绍了一种简单的监督离散化方法。MIL的主要目标是最大化分类器的分类精度,最小化连续属性离散化时的信息损失。建议的方法的性能进行了比较与监督离散化算法最小信息损失(MIL),使用最先进的规则归纳算法-J 48(Java实现的C4.5分类器)。所提出的方法,事实上,修改后的版本MIL。实验结果表明,修改后的方法在几种情况下表现得更好,相比原来的MIL算法和最小描述长度原则(MDLP)。
2017-10-13 cs.DB cs.LG stat.ML
An Embedding Learning Framework for Numerical Features in CTR Prediction
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai Jiao Tong University(上海交通大学)
点击率(CTR)预测对于工业推荐系统至关重要,其中大多数深度CTR模型遵循嵌入\特征交互范式。然而,大多数方法都集中在设计网络结构,以更好地捕捉特征的相互作用,而特征嵌入,特别是数值特征,一直被忽视。现有的基于离线专家知识的特征工程方法由于容量小或难以离散化,难以获取有用的知识。在本文中,我们提出了一种新的CTR预测(AutoDis)中数值特征的嵌入学习框架,具有高模型容量,端到端训练和独特的表示属性。AutoDis由三个核心组件组成:元嵌入,自动离散化和聚合。具体来说,我们提出了元嵌入每个数值领域学习全局知识的角度来看,一个可管理的参数数量。然后,可微分自动离散化执行软离散化,并捕获数值特征和元嵌入之间的相关性。最后,通过聚合函数学习独特和信息嵌入。在两个公共数据集和一个工业数据集上进行了综合实验,以验证AutoDis的有效性。此外,AutoDis已被部署到主流广告平台上,在线A/B测试显示,在CTR和eCPM方面,AutoDis分别比基础模型提高了2.1%和2.7%。此外,我们框架的代码在MindSpore(https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/model/autodis)中公开。
2021-05-22 cs.AI cs.IR cs.LG
Interpretable classifiers for tabular data via discretization and feature selection
Tampere University(坦佩雷大学)
本文提出一种通过离散化和特征选择生成短布尔公式的方法,以构建可解释且准确的表格数据分类器,实验证明其准确率与随机森林等方法相当。
2024-09-18 cs.AI cs.LG cs.LO
When, Where, and How: Adaptive Binning for Tabular Self-Supervised Learning
Hanyang University(汉阳大学);Hankuk University of Foreign Studies(韩国外国语大学)
提出自适应分箱方法,通过特征级粗到细课程学习动态优化离散化,结合类别重建与顺序监督,在医疗表格数据上提升自监督学习性能。
2026-06-19 cs.AI cs.LG
Stability and Discretization Error of State Space Model Neural Operators
École polytechnique(巴黎政治经济学院);Université Claude Bernard Lyon 1(里昂1大学);CNRS(法国国家科学研究中心);LAGEPP UMR 5007;Université Lyon 1(里昂1大学);INSA Lyon(里昂国立应用科学学院);LIRIS(里昂图像与信号研究所)
本文研究了状态空间模型神经算子的稳定性与离散化误差,通过理论分析建立了神经算子近似方案的离散误差和稳定性保证,提出了针对SS-NOs和FNOs的新的离散误差定理,并通过实验验证了其在不同分辨率下的鲁棒性。
2026-05-17 cs.AI cs.LG cs.NA
Conditionally Parameterized, Discretization-Aware Neural Networks for Mesh-Based Modeling of Physical Systems
University of Michigan(密歇根大学)
复杂物理系统的模拟通常通过在非结构网格上离散偏微分方程来实现。虽然神经网络最近已被探索用于PDE解决方案的替代和降阶建模,但它们通常忽略输入特征之间的相互作用或层次关系,并将它们作为级联混合物处理。我们推广了条件参数化的思想--使用输入参数的可训练函数来生成神经网络的权重,并以灵活的方式扩展它们来编码关键信息。受离散化数值方法的启发,参数的选择包括物理量和网格拓扑特征。建模的功能和参数之间的函数关系被内置到网络架构。该方法在不同的网络上实现,并应用于前沿科学机器学习任务,包括未建模物理的发现,粗场的超分辨率,以及具有化学反应的非稳态流的模拟。结果表明,条件参数化网络提供了优越的性能相比,他们的传统同行。CP-GNet是一种可以在非常少的数据快照上训练的架构,被提出作为第一个能够独立预测不规则网格上反应流的深度学习模型。
2021-10-25 cs.LG cs.NE physics.comp-ph
Discretization-independent surrogate modeling over complex geometries using hypernetworks and implicit representations
University of Michigan(密歇根大学)
偏微分方程(PDE)的数值解需要昂贵的模拟,限制了它们在设计优化,基于模型的控制和大规模逆问题中的应用。代理建模技术寻求在保持主要解的特征和行为的同时减少计算开销。传统的基于卷积神经网络的代理建模框架需要有损像素化和数据预处理,并且在实际工程应用中通常是无效的。我们提出了替代的基于深度学习的代理模型,用于PDE解决方案的离散化独立的连续表示,可用于复杂,可变几何和网格拓扑结构的域的学习和预测。提出并比较了三种方法:设计变量编码多层感知器(DV-MLP),设计变量超网络(DV-Hnet)和非线性独立对偶系统(NIDS)。每种方法都利用一个主网络,它消耗逐点空间信息来提供连续的表示,允许在域中的任何位置进行预测。输入特征包括最小距离函数评估,以隐式地对问题几何进行编码。定义和区分问题实例的几何设计变量在每种方法中的使用方式不同,表现为额外的主网络输入特征(DV-MLP)或超网络输入(DV-Hnet和NIDS)。该方法适用于预测解决方案周围的复杂的,参数定义的几何形状的非参数定义的网格模型预测获得了许多数量级的速度比全阶模型。测试用例包括具有复杂几何形状和有限训练数据的车辆空气动力学问题,其中设计变量超网络表现最好,尽管参数数量更大,但具有竞争力的最佳模型时间。
2022-05-17 cs.LG physics.comp-ph
Managing Temporal Resolution in Continuous Value Estimation: A Fundamental Trade-off
University of Alberta(阿尔伯塔大学)
本文通过分析LQR系统的蒙特卡洛策略评估,揭示了时间离散化引起的近似误差与统计误差之间的基本权衡,并证明在有限数据下存在最优时间分辨率,可提升策略评估效率。
2024-01-16 cs.LG cs.SY eess.SY
On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees
Texas A&M University(得克萨斯农工大学);HRL Laboratories, LLC.(HRL实验室有限责任公司)
随机特征为大规模核近似和监督学习提供了一个实用的框架。已经表明,使用杠杆分数的随机特征的数据相关采样可以显着减少实现最佳学习边界所需的特征数量。杠杆分数引入了基于无限维积分算子(取决于输入分布)的优化特征分布,这是不切实际的采样。在本文中,专注于经验杠杆分数,我们建立了一个样本外的性能界,揭示了一个有趣的权衡近似内核和另一个内核的特征值衰减的随机特征定义的基础上,数据分布的域。我们的实验验证了经验算法始终优于香草蒙特卡罗采样,并且通过微小的修改,该方法甚至可以与监督数据依赖的内核学习竞争,而无需使用输出(标签)信息。
2019-03-20 cs.AI cs.LG stat.ML
Anisotropic Multi-Scale Graph Convolutional Network for Dense Shape Correspondence
Arizona State University(亚利桑那州立大学)
本文研究了三维密集形状对应,这是计算机视觉和图形学中的一个关键形状分析应用。我们引入了一种新的基于混合几何深度学习的模型,该模型学习几何意义和离散化无关的特征,其中U-Net模型作为主要节点特征提取模块,然后是基于连续谱的图卷积网络。为了创建一组不同的滤波器,我们使用各向异性小波基滤波器,对不同的方向和带通都很敏感。该滤波器组克服了传统图神经网络的过度平滑行为。为了进一步提高模型的性能,我们添加了一个函数,该函数在全连接层之前的最后一层中扰动特征映射,迫使网络学习更多的区分特征。由此产生的对应图显示了基于平均测地误差的基准数据集的最先进的性能和对3D网格离散化的卓越鲁棒性。我们的方法提供了新的见解和实用的解决方案,密集形状对应的研究。
2022-11-11 cs.CV cs.LG
Empirical learning aided by weak domain knowledge in the form of feature importance
American International University Bangladesh(孟加拉美国国际大学)
使用领域知识的标准混合学习者需要更强的知识,这是很难和昂贵的获得。然而,较弱的领域知识可以受益于先验知识,同时具有成本效益。弱知识的形式特征相对重要性(FRI)的介绍和解释。特征相对重要性是由专家提供的特征重要性的实值近似。IANN是一种改进的多层神经网络算法,证明了利用这些知识的优势。IANN是标准神经网络算法的一个非常简单的修改,但获得显着的性能增益。在分子生物学领域的实验结果表明,更高的性能比其他经验学习算法,包括标准的反向传播和支持向量机。IANN的性能甚至可以与使用更强领域知识的理论精化系统KBANN相媲美。这表明特征相对重要性可以以最小的努力显着提高现有经验学习算法的性能。
2010-06-03 cs.AI cs.LG cs.NE