Improving Learning to Optimize Using Parameter Symmetries
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
本文分析并验证了利用参数空间对称性的学习优化算法,理论上证明其局部近似牛顿法,并通过基准测试和动量增强展示了性能提升,凸显了对称性在元优化中的潜力。
2025-04-21 cs.LG
Improving Language Models for Emotion Analysis: Insights from Cognitive Science
University of Bern(伯尔尼大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校);LMF;LISN
本文提出利用认知科学关于情感与沟通的研究来改进用于情感分析的语言模型,介绍了主要情感理论、NLP情感标注方法及认知语用学分析类型,并指出了改进方向,为构建新的标注方案、方法和情感理解基准铺平道路。
2024-08-26 cs.AI cs.CL
Leveraging weights signals -- Predicting and improving generalizability in reinforcement learning
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
本文提出通过分析神经网络内部权重信号,改进PPO算法以提升强化学习代理的泛化能力。
2025-11-25 cs.AI cs.LG
Leveraging Knowledge Bases in LSTMs for Improving Machine Reading
Carnegie Mellon University(卡内基梅隆大学)
本文主要研究如何利用外部知识库(KB)来改进递归神经网络以实现机器阅读。利用知识库中的知识的传统方法将知识编码为离散的指示符特征。这些特征不仅泛化能力差,而且需要特定于任务的特征工程来实现良好的性能。我们提出了KBLSTM,这是一种新型的神经模型,它利用知识库的连续表示来增强机器阅读递归神经网络的学习。为了有效地将背景知识与当前处理的文本中的信息相结合,我们的模型采用了一种带有哨兵的注意力机制来自适应地决定是否关注背景知识以及知识库中的哪些信息是有用的。实验结果表明,我们的模型实现的准确性,超过了以前的国家的最先进的结果,实体提取和事件提取广泛使用的ACE2005数据集。
2019-02-25 cs.AI cs.CL cs.LG
A Model-Based Approach for Improving Reinforcement Learning Efficiency Leveraging Expert Observations
Boston University(波士顿大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出一种基于模型的方法,通过结合最大熵强化学习与行为克隆损失,并自动调整权重,利用专家观测提升深度强化学习的样本效率,实验验证其优于多种基准。
2024-02-29 cs.LG
Improving User Behavior Prediction: Leveraging Annotator Metadata in Supervised Machine Learning Models
Carnegie Mellon University USA(卡内基梅隆大学);NUS Centre for Trusted Internet & Community(国立新加坡大学可信互联网与社区中心);National University of Singapore(国立新加坡大学);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校);Adobe Research India(Adobe印度研究)
针对众包标签质量差导致用户行为预测性能不佳的问题,提出集成标注者元特征的MSWEEM模型,实验证明其在保留数据和替代数据集上分别提升14%和12%,并发现标注者行为与资质对模型准确度至关重要。
2025-05-27 cs.AI cs.LG
Chasing COMET: Leveraging Minimum Bayes Risk Decoding for Self-Improving Machine Translation
Laniqo(拉尼克公司);Faculty of Mathematics and Computer Science, Adam Mickiewicz University(亚当·密茨凯维奇大学数学与计算机科学学院)
本文提出用 COMET 作为 MBR 解码效用指标,并基于模型自身正向翻译微调,实现机器翻译在领域适配和低资源场景下的迭代自我改进。
2024-05-20 cs.AI cs.CL cs.LG
Improving Multi-Label Contrastive Learning by Leveraging Label Distribution
College of Computer Science and Software Engineering, Hohai University(河海大学计算机与软件学院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
本文提出一种利用标签分布改进多标签对比学习的方法,通过标签交集选择正负样本,并引入基于RBF和对比损失的两种方法恢复标签分布,在九个数据集的六项指标上优于现有方法。
2025-01-31 cs.AI cs.CV cs.LG
IDEQ -- Improving Diffusion Models for the Traveling Salesman Problem (TSP) by Leveraging the Structure of the Solution Space
Université de Lille(里尔大学);CNRS(国家科学研究中心);Inria(法国国家信息与自动化技术研究院);UMR 9198-CRIStAL(UMR 9198-CRIStAL研究中心)
提出IDEQ方法,通过利用TSP解空间的约束结构和基于2-opt轨道的均匀分布训练目标,改进扩散模型求解TSP,在合成实例和TSPlib上达到新SOTA,接近LKH3性能。
2026-06-08 cs.AI cs.LG
Leveraging Motion Priors in Videos for Improving Human Segmentation
National Tsing Hua University(国立清华大学);Umbo Computer Vision(Umbo计算机视觉公司)
尽管基于深度学习的语义分割取得了许多进展,但在现实世界中经常会遇到由于分布不匹配而导致的性能下降。最近,一些领域自适应和主动学习方法已经被提出来减轻性能下降。然而,很少注意利用在大多数相机系统中自然捕获的视频中的信息。在这项工作中,我们建议利用“运动先验”的视频,以改善人类分割在弱监督主动学习设置。通过使用视频中的光流来提取运动信息,我们可以提取潜在地对应于人段的候选前景运动段(称为运动先验)。我们建议学习一个基于记忆网络的策略模型,通过强化学习来选择强候选片段(称为强运动先验)。选择的段具有高精度,并直接用于微调模型。在新收集的监控摄像机数据集和公开可用的UrbanStreet数据集中,我们提出的方法提高了跨多个场景和模态的人体分割的性能(即,RGB到红外(IR))。最后但并非最不重要的是,我们的方法是经验上的补充,现有的领域自适应方法,使额外的性能增益是通过结合我们的弱监督主动学习方法与领域自适应方法。
2018-07-30 cs.CV cs.LG
Leveraging Local Structure for Improving Model Explanations: An Information Propagation Approach
Illinois Institute of Technology(伊利诺伊理工学院)
提出IProp方法,利用马尔可夫奖励过程建模像素间解释信息的动态传播,结合结构相似像素联合评估归因分数,兼容现有方法并显著提升多种可解释性指标。
2024-09-24 cs.AI cs.CV cs.LG
Improving Generalization of Deep Neural Networks by Leveraging Margin Distribution
Nanjing University(南京大学)
针对现有DNN泛化分析多基于最小间隔、忽略整体间隔分布信息的问题,本文证明了由全间隔分布统计量主导的泛化上界,提出间隔标准差与期望间隔的比值这一关键复杂度度量,通过凸间隔分布损失优化该比值,实验验证了方法有效性及泛化间隙与该比值的相关性。
2022-03-29 cs.LG stat.ML
Improving Multimodal Classification of Social Media Posts by Leveraging Image-Text Auxiliary Tasks
University of Sheffield(谢菲尔德大学);Bloomberg(彭博公司)
本研究提出在微调多模态模型时联合使用图像-文本对比和图像-文本匹配两个辅助损失,以改进社交媒体帖子的多模态分类,在五个数据集上实现高达2.6个F1分数点的提升。
2024-02-03 cs.CL cs.LG cs.SI
Leveraging user profile attributes for improving pedagogical accuracy of learning pathways
Vellore Institute of Technology(韦洛尔理工学院);Dongseo University(东西大学)
近年来,随着基于Web的学习资源的巨大爆炸,个性化已经成为希望利用Web 2.0的力量的服务成功的关键因素。然而,在学习领域量身定制的内容交付的相关性,意义和影响仍然值得怀疑。除了仅考虑基于交互的特征(如评级)并从中推断学习者偏好之外,如果这些服务将影响学习活动的固有用户简档属性合并,则产生的推荐的质量可以大大提高。认识到有效的指导在非正式教育环境中的关键作用,我们提供了一个原则性的方法,利用多个信息来源,从用户简档本身的推荐任务。我们探讨了影响学习资源选择的因素,并解释了它们以何种方式有助于提高推荐学习对象的教学准确性。通过系统地应用机器学习技术,我们进一步提供了一种技术解决方案,将这些间接映射的学习者特定属性转换为与学习资源的直接映射。这种映射具有标记学习资源的明显优势,使其元数据更具信息性。我们的实证研究的结果描绘的相似性的名义学习属性相对于彼此。我们进一步成功地捕捉到的学习者子集,其偏好是最有可能是学习资源使用的指示。我们的新系统过滤学习者的个人资料属性,发现一个标签,将它们与学习资源。
2014-07-27 cs.CY cs.LG
Improving AEBS Validation Through Objective Intervention Classification Leveraging the Prediction Divergence Principle
Institute of Automotive Engineering(汽车工程研究所);Technical University of Darmstadt(达姆施塔特技术大学)
本文提出基于预测分歧原理的规则化分类方法,用于客观区分AEBS激活中的假阳性与真阳性,并探讨其与人工标注结合以提升验证过程的透明度和一致性。
2025-07-21 cs.LG cs.RO
Improving Source-Free Target Adaptation with Vision Transformers Leveraging Domain Representation Images
本文针对无源目标自适应中的视觉Transformer,提出利用域表示图像(DRIs)通过key元素注入域特定信息,实验表明该方法相比SHOT-B*等基准能提升平均精度并增强域泛化能力。
2023-12-02 cs.AI cs.CV cs.LG
Improving State-of-the-Art in One-Class Classification by Leveraging Unlabeled Data
JetBrains Research(JetBrains研究院)
当处理只有一个标记类的数据的二进制分类时,数据科学家采用两种主要方法,即单类(OC)分类和正未标记(PU)学习。前者只从标记的正数据中学习,而后者也利用未标记的数据来提高整体性能。由于PU学习使用更多的数据,我们可能倾向于认为当未标记的数据可用时,转到算法应该总是来自PU组。然而,我们发现,如果未标记的数据是不可靠的,即包含有限或有偏见的潜在负数据,情况并非总是如此。我们进行了广泛的实验研究的国家的最先进的OC和PU算法在各种情况下,只要未标记的数据的可靠性。此外,我们提出了PU修改的国家的最先进的OC算法,是强大的不可靠的未标记的数据,以及一个指导方针,以类似地修改其他OC算法。我们的主要实际建议是使用国家的最先进的PU算法时,未标记的数据是可靠的,否则使用国家的最先进的OC算法的修改建议。此外,我们概述了程序,以区分可靠和不可靠的未标记数据的情况下,使用统计检验。
2022-03-14 cs.LG
PLUM: Improving Inference Efficiency By Leveraging Repetition-Sparsity Trade-Off
Georgia Institute of Technology(佐治亚理工学院)
本文提出PLUM统一协同设计框架,利用重复-稀疏性权衡优化DNN推理,在保持准确率的同时实现26%加速和2.8倍密度降低。
2025-05-06 cs.AI cs.CV cs.LG
Improving Early Prediction of Type 2 Diabetes Mellitus with ECG-DiaNet: A Multimodal Neural Network Leveraging Electrocardiogram and Clinical Risk Factors
College of Science and Engineering, Hamad Bin Khalifa University(哈马德·本·哈利法大学科学与工程学院)
本文提出多模态深度学习模型ECG-DiaNet,融合心电图特征与临床风险因素,在卡塔尔生物银行数据上显著提升2型糖尿病早期预测性能,支持精准预防。
2025-04-05 cs.AI cs.LG
Improving the forecast accuracy of wind power by leveraging multiple hierarchical structure
Lucas English School of Mathematics and Physics The University of Queensland St Lucia, QLD 4072, Australia(Lucas English 数学与物理学院 昆士兰大学 斯塔 Lucia 分校);Mahdi Abolghasemi School of Mathematics and Physics The University of Queensland St Lucia, QLD 4072, Australia(Mahdi Abolghasemi 数学与物理学院 昆士兰大学 斯塔 Lucia 分校)
本文利用风机的截面与时间层次构建跨时间层次,证明跨时间协调优于单独截面协调,且机器学习预测经协调后在粗时间粒度上精度高,为高频风电预测提供方法指导。
2025-09-19 cs.LG
Leveraging External Factors in Household-Level Electrical Consumption Forecasting using Hypernetworks
SnT, University of Luxembourg(斯通学院,卢森堡大学)
针对外部因素会降低全局电力消耗预测模型性能的问题,提出利用超网络针对每个用户调整模型权重,结合含6000多户卢森堡家庭数据的数据集验证,该方法在保留全局模型优势的同时提升了预测精度。
2025-06-17 cs.AI cs.LG
Improving Radioactive Material Localization by Leveraging Cyber-Security Model Optimizations
物理空间传感器在公共安全应用中的主要用途之一是检测不安全状况(例如,释放有毒气体,机场武器,受污染的食物)。然而,这些应用中的当前检测方法通常成本高、使用缓慢,并且在复杂、变化或新的环境中可能不准确。在本文中,我们探讨如何机器学习方法成功地用于网络领域,如恶意软件检测,可以利用大大提高物理空间检测。我们专注于一个重要的示范应用-放射性材料的检测和定位。我们表明,ML为基础的方法可以显着超过传统的基于表的方法在预测角方向。此外,所开发的模型可以扩展,以包括到放射性物质的距离的近似值(实际使用的参考表没有包括的一个关键尺寸)。使用四个和八个探测器阵列,我们收集伽马射线计数作为一套机器学习模型的特征,以定位放射性物质。我们通过经常用于辐射探测的模拟框架和在实验室环境中使用放射性材料的物理实验,探索了七种独特的场景。我们观察到,我们的方法可以优于标准的基于表格的方法,将角度误差减少37%,并可靠地预测2.4%以内的距离。通过这种方式,我们表明,网络检测的进步为加强公共安全应用及其他领域的检测提供了巨大的机会。
2022-02-21 cs.CR cs.LG
Improving Speech Enhancement Performance by Leveraging Contextual Broad Phonetic Class Information
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Chi Mei Hospital(奇美医院);National Chi Nan University(国立暨南国际大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出利用端到端语音识别模型预测的上下文宽泛音类信息作为额外损失,通过多目标训练提升语音增强性能,实验证明其优于基于音素的方法。
2023-06-18 cs.LG cs.SD eess.AS
$μ$Flow: Leveraging Average Images for Improving Generalisation of Deepfake Faces Detectors
University of Catania(卡塔尼亚大学);University of Nottingham(诺丁汉大学)
提出仅用真实图像训练的单类深度伪造检测器$μ$Flow,通过平均图像放大生成痕迹并利用归一化流对齐特征分布,实现跨生成器类别的高泛化性能。
2026-08-17 cs.CV cs.LG
Recycling Scraps: Improving Private Learning by Leveraging Intermediate Checkpoints
Google(谷歌)
本研究提出利用训练中间检查点聚合的通用框架,在不增加隐私成本的前提下提升差分隐私机器学习的准确率与方差表现,并探索了DP模型预测方差的估计方法。
2024-09-17 cs.CR cs.LG
Improving Generalization for Abstract Reasoning Tasks Using Disentangled Feature Representations
ML6;IDlab, Ghent University - imec(根特大学-imec IDlab)
在这项工作中,我们探讨了无监督的表示学习的泛化特性,利用解开VAE的学习一组关系推理问题,从乌鸦渐进矩阵的一个有用的潜在空间。我们发现,通过使用正确的目标函数进行无监督训练来学习的潜在表示,显着优于纯监督学习训练的相同架构,特别是在泛化方面。
2018-11-12 cs.LG cs.NE stat.ML
Improving day-ahead Solar Irradiance Time Series Forecasting by Leveraging Spatio-Temporal Context
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Université du Québec à Rimouski(魁北克大学里穆斯基分校);NASA Goddard Space Flight Center(美国国家航空航天局戈达德太空飞行中心)
提出一种利用卫星数据挖掘时空上下文的深度学习架构,实现高精度日前太阳辐照度时间序列预测,并提供不确定性度量,在多模态数据集上表现稳健且具备零样本泛化能力。
2023-10-23 cs.LG
Co-Supervised Learning: Improving Weak-to-Strong Generalization with Hierarchical Mixture of Experts
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出协同监督学习,通过多样化专门教师组成的层次化专家混合框架,交替优化学生训练与教师分配并强制一致性约束,从而改进弱到强泛化。
2024-02-23 cs.AI cs.CV cs.LG
Leveraging data-driven weather models for improving numerical weather prediction skill through large-scale spectral nudging
Atmospheric Numerical Prediction Research Section, Environment and Climate Change Canada(环境与气候变化加拿大部大气数值预测研究部);Data Assimilation and Satellite Meteorology Research Section, Environment and Climate Change Canada(环境与气候变化加拿大部数据同化与卫星气象研究部)
本文针对数据驱动天气模型大尺度较准但精细尺度平滑的特点,提出将 GEM 的温度和风场向 GraphCast 大尺度预报谱逼近的 NWP-AI 混合系统,以提升预报技巧并保留完整物理场。
2025-06-11 cs.LG physics.ao-ph
Leveraging Speculative Sampling and KV-Cache Optimizations Together for Generative AI using OpenVINO
本文面向 OpenVINO 上的生成式 AI 推理,结合推测采样、KV caching 与量化等模型优化降低文本生成延迟,并提供 notebook 与示例验证。
2024-04-09 cs.AI cs.LG cs.PF
Leveraging Generative Adversarial Networks for Addressing Data Imbalance in Financial Market Supervision
New York University(纽约大学);University of Southern California(南加州大学);Columbia University(哥伦比亚大学);Rice University(莱斯大学)
本研究提出利用生成对抗网络(GAN)生成合成数据以平衡金融市场数据集,显著提升了模型对市场操纵等少数高风险事件的预测准确性,优于传统采样方法。
2024-12-04 cs.LG q-fin.CP
FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients
Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学)
针对联邦学习(FL)和个性化联邦学习(PFL)中未被全面解决的类别不平衡问题,本文提出FedReMa算法,通过自适应客户端间协同学习及特征提取器与分类器的差异化聚合,提升个性化稳定性与模型性能。
2024-11-26 cs.DC cs.LG
Leveraging Static Models for Link Prediction in Temporal Knowledge Graphs
Utrecht University(乌得勒支大学)
在知识图谱嵌入(KGE)中包含事实的时间范围为改进所得到的嵌入提供了重要的机会,并且因此为下游应用中的提高的性能提供了重要的机会。然而,很少有研究工作集中在这一领域,许多研究报告显示,与没有时间范围训练的模型(静态模型)相比,结果只略有改善。此外,而不是利用现有的静态模型的工作,他们介绍了特定的时间知识图谱的新模型。我们提出了一个新的视角,利用现有的静态嵌入模型的力量,集中精力操纵数据,而不是。我们的方法SpiMe从信号处理领域和图嵌入的早期工作中汲取灵感。我们表明,SpliMe竞争或优于目前的最先进的时间KGE。此外,我们发现目前用于评估静态模型在时间图上的性能的过程中存在的问题,并介绍了两种方法来抵消它们。
2021-06-29 cs.AI cs.CL cs.LG
Improving Adversarial Robustness via Unlabeled Out-of-Domain Data
Harvard University(哈佛大学);Rutgers University(罗格斯大学);Stanford University(斯坦福大学)
通过合并来自多个域的廉价未标记数据的数据增强是改进预测的强大方法,特别是在标记数据有限的情况下。在这项工作中,我们研究了如何通过利用域外未标记数据来增强对抗鲁棒性。我们证明,广泛的类分布和分类器,标准和强大的分类之间存在着一个样本的复杂性差距。我们通过提供上界和下界来量化通过利用来自移动域的未标记样本可以在多大程度上弥补这一差距。此外,我们展示了当未标记数据来自移位域而不是与标记数据相同的域时,我们实现更好的对抗鲁棒性的设置。我们还研究了如何利用域外数据时,一些结构信息,如稀疏性,标记和未标记的域之间共享。在实验中,我们增加了两个对象识别数据集(CIFAR-10和SVHN),易于获得和未标记的域外数据,并证明了该模型对原始域上的$\ell_\infty$对抗攻击的鲁棒性的实质性改善。
2021-02-21 cs.LG stat.ML
Text Detection on Roughly Placed Books by Leveraging a Learning-based Model Trained with Another Domain Data
Kumamoto University(熊本大学)
文本检测使我们能够从图像中提取丰富的信息。在本文中,我们专注于如何产生包围盒,是适当的把握书籍上的文字区域,以帮助实现自动文本检测。我们不试图通过在目标领域中使用足够多的数据来训练基于学习的模型,而是利用已经使用另一个领域数据训练过的模型。我们开发的算法,通过改进和利用基于学习的方法的结果来构建边界框。我们的算法可以利用不同的基于学习的方法来检测场景文本。实验评估表明,我们的算法工作在各种情况下,书籍大致放置。
2020-06-26 cs.CV cs.IR cs.LG
Improving Generative Inverse Design of Rectangular Patch Antennas with Test Time Optimization
Northeastern University(东北大学);Notch Technologies
提出两阶段深度学习框架,结合生成建模与测试时优化,实现矩形贴片天线逆向设计,提升准确性并支持可制造性等辅助目标。
2025-05-27 cs.AI cs.LG cs.SY
Leveraging Convolutional Neural Network-Transformer Synergy for Predictive Modeling in Risk-Based Applications
Columbia University(哥伦比亚大学);Northeastern University(东北大学);University at Buffalo(布法罗大学);Brown University(布朗大学)
本文提出一种结合CNN与Transformer的深度学习模型用于信用违约预测,实验证明其在准确率、AUC和KS值等指标上优于传统机器学习模型,为金融风险评估提供了新方法。
2024-12-24 cs.LG q-fin.RM
Leveraging Intrinsic Gradient Information for Further Training of Differentiable Machine Learning Models
University of Bath(巴斯大学)
设计能够产生准确预测的模型是机器学习(ML)的基本目标。这项工作提出的方法表明,当目标变量(输出)相对于输入的导数可以从感兴趣的过程中提取时,例如,基于神经网络(NN)的代理模型,可以利用它们来进一步提高可微ML模型的准确性。本文概括了这一想法,并提供了实用的方法,可用于在各种应用中利用梯度信息(GI),包括:(1)提高生成对抗网络(GANs)的性能;(2)有效地调整NN模型复杂性;(3)正则化线性回归。数值结果表明,GI可以有效地增强ML模型与现有的数据集,证明了它的各种应用的价值。
2022-01-13 cs.LG stat.ML
Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation
Fudan University(复旦大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
微调预训练的语言模型(如BERT)已成为NLP中的一种有效方法,并在许多下游任务中产生最先进的结果。最近关于BERT适应新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据和知识。微调战略本身还有待充分探讨。本文采用自系综和自蒸馏两种有效的机制对BERT的微调进行改进。在文本分类和自然语言推理任务上的实验表明,我们提出的方法可以显着提高BERT的适应性,无需任何外部数据或知识。
2020-02-24 cs.CL cs.LG
Don't Waste Mistakes: Leveraging Negative RL-Groups via Confidence Reweighting
Meta Superintelligence Labs(Meta超智能实验室);New York University(纽约大学)
本文提出LENS方法,通过置信度重加权为错误响应分配非零奖励,利用负RL组提升GRPO效率,在MATH基准上显著优于基线。
2025-10-09 cs.LG
Improving Clinical Predictions through Unsupervised Time Series Representation Learning
ETH Zürich(苏黎世联邦理工学院);Brown University(布朗大学)
在这项工作中,我们研究了医学时间序列的无监督表示学习,它有望利用大量现有的未标记数据,以最终帮助临床决策。通过对临床相关结果的预测进行评估,我们表明,在实际环境中,无监督表示学习可以提供比端到端监督架构更明显的性能优势。我们的实验使用序列到序列(Seq2Seq)模型在两种不同的方式,作为一个自动编码器和作为一个预测器,并表明,最好的性能是通过预测Seq2Seq模型与集成的注意力机制,在这里首次提出的医疗时间序列的无监督学习的设置。
2018-12-02 cs.LG stat.ML
Improving Performance Prediction of Electrolyte Formulations with Transformer-based Molecular Representation Model
IBM Research - Tokyo(IBM东京研究院);IBM Almaden Research Center(IBM阿尔马登研究中心)
本文提出一种基于Transformer的分子表示模型来捕捉电解质配方表示,并在两个电池性质预测任务上验证其性能优于现有最优方法。
2024-06-28 cs.ET cs.LG
Leveraging Cluster Analysis to Understand Educational Game Player Experiences and Support Design
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
教育游戏设计师了解观众的游戏风格和体验的能力是改进游戏设计的重要工具。由于游戏需要进行大规模的玩家测试,设计师需要廉价的自动化方法来对玩家与游戏的交互模式进行分类。在本文中,我们提出了一个简单的,可重复使用的过程中使用的最佳实践数据聚类,可行的小型教育游戏工作室内使用。我们利用该方法来分析一个实时的战略游戏,处理游戏遥测数据,以确定类别的球员根据他们在游戏中的行动,他们收到的反馈,以及他们在游戏中的进展。对这些集群的解释性分析为游戏设计者提供了可操作的见解。
2022-10-18 cs.HC cs.LG cs.MM
Compressing DMA Engine: Leveraging Activation Sparsity for Training Deep Neural Networks
NVIDIA(英伟达)
流行的深度学习框架要求用户微调其内存使用,以便深度神经网络(DNN)的训练数据适合GPU物理内存。之前的工作试图通过虚拟化DNN的内存使用来解决这个限制,使CPU和GPU内存都能用于内存分配。尽管有其优点,但当从CPU存储器来回复制数据所需的时间高于执行DNN前向和后向传播所需的计算的延迟时,虚拟化存储器可能会导致显著的性能开销。我们引入了一种基于“压缩DMA引擎”(cDMA)的高性能虚拟化策略,该策略可大幅减少CPU端分配的数据结构的大小。cDMA引擎通过利用卸载数据中固有的稀疏性提供平均2.6倍(最大13.8倍)的压缩比,将虚拟化DNN的性能平均提高32%(最大61%)。
2017-05-03 cs.AR cs.LG
GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data
University of Cambridge(剑桥大学);Precision Breast Cancer Institute(精准乳腺癌研究所);Department of Computer Science and Technology(计算机科学与技术系);Department of Oncology(肿瘤学系)
针对小样本高维表格数据下神经网络性能不佳的问题,提出GCondNet框架,通过为各维度样本建图、用GNN提取隐式结构调节预测网络首层参数,在12个数据集上优于14种方法,可向多种神经网络注入图正则化。
2024-08-17 cs.LG q-bio.QM
Leveraging Large Language Models to Address Data Scarcity in Machine Learning: Applications in Graphene Synthesis
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对材料科学中机器学习数据稀缺问题,提出利用大语言模型进行数据填补与特征编码的策略,在石墨烯合成数据集上显著提升分类准确率,证明结合LLM数据增强的数值分类器优于单独微调的LLM,为稀缺异构数据集的机器学习优化提供通用框架。
2025-03-10 cond-mat.mtrl-sci cs.LG physics.comp-ph