Brain Predictability toolbox: a Python library for neuroimaging based machine learning
University of Vermont(佛蒙特大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
大脑可预测性工具箱(BPt)表示机器学习(ML)工具的统一框架,其被设计为与表格数据(特别是大脑、精神、行为和生理变量)和神经成像特定的衍生数据(例如,脑体积和表面)。该软件包适用于研究各种不同的基于神经成像的ML问题,特别是那些从大型人类数据集查询的问题。可用性和实施BPt已开发为开源Python 3.6+包,托管在https://github.com/sahahn/BPt上,根据MIT许可证,文档在https://bpt.readthedocs.io/en/latest/提供,并继续积极开发。该项目可以通过提供的github链接下载。基于相同代码的Web GUI界面目前正在开发中,可以通过docker进行设置,说明见https://github.com/sahahn/BPt_app。联系方式请联系Sage Hahn,网址为sahahn@uvm.edu
2020-11-03 cs.LG stat.ML
Atmospheric Predictability Beyond 30 Days with Machine Learning
University of Washington(华盛顿大学);Air Force Institute of Technology(空军技术研究院)
通过机器学习模型GraphCast优化初始条件,将确定性天气预报的时效从两周延长至30天以上,平均误差降低86%。
2026-05-31 cs.LG physics.ao-ph
Increasing NWP Thunderstorm Predictability Using Ensemble Data and Machine Learning
该研究使用SALAMA 1D神经网络结合ICON-D2-EPS集合数据,证明集合平均可显著提升雷暴预报技巧,并通过解析相关性解释其增益。
2025-02-18 cs.LG physics.ao-ph
Predictability and Comprehensibility in Post-Hoc XAI Methods: A User-Centered Analysis
AIT - Austrian Institute of Technology(奥地利技术研究所);Masaryk University(马萨里克大学);Vienna University of Technology(维也纳工业大学)
本文通过用户研究评估 LIME 和 SHAP 的可理解性与可预测性,发现决策边界附近样本会降低 SHAP 可理解性,而反事实解释和错误分类能显著提升用户对模型决策的理解,并据此提出设计建议。
2023-09-21 cs.AI cs.HC cs.LG
Interpretable ML Under the Microscope: Performance, Meta-Features, and the Regression-Classification Predictability Gap
Department of Physics, Informatics and Mathematics, University of Modena and Reggio Emilia(摩德纳大学和雷焦艾米利亚大学物理、信息与数学系)
本文评估了16种可解释方法在216个现实世界表格数据集上的性能,揭示了回归任务中EBMs和SR的可预测性能层级,以及分类任务中无稳定层级的依赖性,同时发现可解释性模型存在训练时间增加的'可解释性税'。
2026-03-26 cs.LG
Logic of Machine Learning
主要的问题是:我们为什么以及如何能够根据有限的样本进行预测?统计学习理论无法回答这个问题。在这里,我认为预测需要对潜在依赖的“可预测性”的信念,而学习涉及寻找一个假设,在这个假设中,这些信念在观察中被违反的程度最小。这些违规(“错误”)的措施,为给定的数据,假设和特定类型的可预测性信念形式化的概念不协调的观察和假设的模态逻辑(LOH)。我展示了许多流行的教科书学习器(从层次聚类到k-NN和SVM)的例子,他们每个人都最大限度地减少了自己版本的不一致。此外,不协调的概念被证明是足够灵活的形式化的一些重要的数据分析问题,不被认为是ML的一部分。
2022-01-27 cs.LG stat.ML
On the Predictability of non-CGM Diabetes Data for Personalized Recommendation
L3S Research Center(L3S研究中心)
针对CGM系统不可用、仅有间隔数小时血糖测量的场景,研究9名患者的在线患者级血糖预测,并提出后预测方法处理噪声以小幅改善性能。
2024-04-09 cs.CY cs.LG stat.ML
Predictability Analysis of Regression Problems via Conditional Entropy Estimations
National Taiwan University(台湾大学)
本文提出基于KNIFE-P和LMC-P条件熵估计器的回归可预测性分析方法,通过低估与高估框架刻画特征集的可实现性能与局限,并将分析扩展到决定系数R²,为回归模型开发提供稳健评估工具。
2024-06-06 cs.IT cs.LG math.IT
On predictability of rare events leveraging social media: a machine learning perspective
Indiana University(印第安纳大学)
从社交媒体流中提取的信息被用来预测大量现实世界事件的结果,从政治选举到股市波动。越来越多的研究表明,对社交媒体对话的分析如何提供廉价的大众智慧。然而,在何种程度和背景下可以有效地利用这种预测能力,仍然没有得到证实,至少没有得到系统的证实。目前还不清楚基于社交媒体的预测与基于其他信息源的预测相比如何。为了解决这些问题,在这里,我们开发了一个机器学习框架,利用社交媒体流来自动识别和预测足球比赛的结果。我们特别关注至少有一种可能的结果被专业博彩公司认为是极不可能的比赛。我们认为,体育赛事提供了一个系统的方法来测试社交媒体的预测能力,并允许这种力量与外部来源设定的严格基线进行比较。尽管有如此严格的基线,我们的框架在用于通知简单的投注策略时,仍能产生超过8%的边际利润。该系统基于实时情感分析,并利用在比赛前收集的数据,允许知情投注。我们讨论了我们的方法背后的基本原理,描述了学习框架,它的预测性能和它提供的回报相比,一组投注策略。为了测试我们的框架,我们使用了来自2014年FIFA世界杯比赛的历史Twitter数据,以及通过监控2014年10月25日至2014年11月26日期间欧洲四大锦标赛(英超联赛,意甲联赛,西甲联赛和德甲联赛)和2014年欧洲冠军联赛的所有足球比赛的对话收集的实时Twitter数据。
2015-02-20 cs.LG cs.SI physics.data-an
Investigating Inductive Biases for Machine Learning Emulation of Sudden Stratospheric Warmings in Idealised Isca Simulations
Technical University of Denmark(丹麦技术大学);University of Cambridge(剑桥大学);University of Exeter(埃克塞特大学)
测试不同架构的归纳偏差对模拟平流层突然增温动力学的影响,发现三维垂直耦合是关键,但低预测误差不保证物理一致性。
2026-06-18 cs.LG physics.ao-ph
Multimodal analysis of the predictability of hand-gesture properties
KTH Royal Institute of Technology(瑞典皇家理工学院)
智能会话代理受益于能够用手势伴随他们的讲话。虽然近年来已经提出了许多数据驱动的手势生成方法,但仍然不清楚这些系统是否可以一致地生成传达含义的手势。我们研究了哪些手势属性(相位,类别和语义)可以使用当代深度学习从语音文本和/或音频中预测。在广泛的实验中,我们表明,手势的含义(语义和类别)相关的手势属性是可预测的文本功能(时间对齐的FastText嵌入)单独,但不是从韵律音频功能,而节奏相关的手势属性(相位)另一方面,可以预测音频功能比从文本。这些结果是令人鼓舞的,因为它们表明,它是可以配备一个具体的代理与内容明智的有意义的共同语音手势使用机器学习模型。
2022-01-14 cs.HC cs.LG cs.MM
Interpretable Machine Learning: Can the EnglishLike Programming Language be the Future of ChatIPC and ChatIPCv2?
Caleb Princewill Nwokocha
提出ChatIPC系统,通过增量学习从文本中提取有序令牌转换规则,利用定义扩展和相似度引导候选选择构建响应,实现可解释的规则提取。
2026-11-07 cs.LG
Machine Learning Algorithm for Noise Reduction and Disease-Causing Gene Feature Extraction in Gene Sequencing Data
Health Management Center, Fengtai District Education Committee of Beijing Municipality, China(北京市丰台区教育委员会健康管理中心);Department of Traditional Chinese Medicine, Beijing Direction Community Health Service Station, China(北京市方向社区卫生服务中心中医科);Georgia Institute of Technology, USA(佐治亚理工学院);University of Glasgow, U.K.(格拉斯哥大学)
提出结合CNN与RNN的DeepSeqDenoise算法去除测序噪声,通过特征工程筛选17个关键特征并构建集成学习模型预测致病基因,准确率94.3%,识别57个新候选基因,优于现有工具。
2025-05-26 cs.LG
Interpretable Predictability-Based AI Text Detection: A Replication Study
Faculty of Information Technology, Brno University of Technology(布拉格技术学院);Kempelen Institute of Intelligent Technologies(智能技术研究所)
本文复制并扩展了AuTexTification 2023共享任务中用于机器生成文本作者归属的系统,测试了新多语言模型并添加了26个文档级风格学特征,通过SHAP分析探讨特征影响,使用Qwen等新生成模型提升性能,多语言配置在性能上不逊于语言特定模型。
2026-09-01 cs.AI cs.CL cs.LG
Precision psychiatry: predicting predictability
Utrecht University(乌得勒支大学);University Medical Center Utrecht(乌得勒支大学医学中心);UZ Brussel(布鲁塞尔大学医院);Vrije Universiteit Brussel(布鲁塞尔自由大学)
精准精神病学利用多变量分析和机器学习预测精神健康结果,本文回顾了该领域十个挑战,并提出从回顾性研究转向考虑情境因素的前瞻性研究。
2023-06-21 cs.LG q-bio.QM
Feature extraction and classification algorithm, which one is more essential? An experimental study on a specific task of vibration signal diagnosis
Hebei University(河北大学);Shijiazhuang Tiedao University(石家庄铁道大学)
随着机器学习的发展,数据驱动模型在振动信号故障诊断中得到了广泛的应用。大多数数据驱动的机器学习算法都是基于精心设计的特征构建的,但通常需要提前完成特征提取。在深度学习时代,特征提取和分类器学习是同时进行的,这将导致端到端的学习系统。本文探讨了这两个关键因素中的哪一个,即,特征提取和分类算法,是针对特定的振动信号诊断任务过程中必不可少的一个学习系统。分别讨论了基于高斯模型和基于统计特征的振动信号特征提取方法。并选取了几种分类算法,通过实验对比验证了特征提取和分类算法对预测性能的影响。
2021-12-17 cs.LG
Pedagogical Rule Extraction to Learn Interpretable Models - an Empirical Study
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
机器学习模型无处不在。在某些领域,例如医学,模型的预测必须是可解释的。决策树、分类规则和子群发现是以可解释规则的形式呈现知识的三大类监督机器学习模型。从小数据集学习的这些模型的准确性通常很低。获取更大的数据集通常是很难甚至不可能的。教学规则提取方法可以帮助从小数据中学习更好的规则,通过使用统计模型来增强数据集并使用它来学习基于规则的模型。然而,这些方法的现有评价往往是不确定的,他们没有比较至今。我们的框架PRELIM统一了现有的教学规则提取技术。在广泛的实验中,我们确定了有前途的PRELIM配置之前没有研究过。
2022-04-28 cs.LG
Feature identification for parameter extraction and defect detection using machine learning
Nearfield Instruments, B.V.(近场仪器有限公司)
本文提出一个通用框架,利用高速扫描探针显微镜图像训练机器学习网络,实现参数提取的特征检测与缺陷识别,以加速半导体工艺控制中的算法开发。
2026-10-06 cs.LG
Path Signatures for Feature Extraction. An Introduction to the Mathematics Underpinning an Efficient Machine Learning Technique
Worcester Polytechnic Institute(伍斯特理工学院)
本文介绍路径签名作为数据流特征提取工具的数学基础,强调概念性理解而非严格证明,内容源自2024年伍斯特理工学院本科生研究项目的导论报告。
2025-06-02 cs.LG math.PR
A Locally Adaptive Interpretable Regression
Chungbuk National University(忠北国立大学);Microsoft Research(微软研究院);Ton Duc Thang University(孙德胜大学)
具有良好可预测性和高度可解释性的机器学习模型对于决策支持系统至关重要。线性回归是最容易解释的预测模型之一。然而,简单的线性回归中的线性会影响其可预测性。在这项工作中,我们介绍了一个本地自适应可解释回归(LoAIR)。在LoAIR中,由神经网络参数化的元模型预测用于快速适应的回归系数的高斯分布的百分位数。我们在公共基准数据集上的实验结果表明,我们的模型不仅实现了与其他最先进基线相当或更好的预测性能,而且还发现了输入变量和目标变量之间的一些有趣关系,例如二氧化碳排放量与国民生产总值(GNP)之间的抛物线关系。因此,LoAIR是通过提高线性回归的预测能力而不降低其可解释性来弥合计量经济学,统计学和机器学习之间差距的一步。
2022-04-28 cs.AI cs.LG stat.ML
On the Generalizability and Predictability of Recommender Systems
University of Maryland(马里兰大学);ArthurAI
虽然机器学习的其他领域已经看到越来越多的自动化,但设计一个高性能的推荐系统仍然需要高水平的人工努力。此外,最近的工作表明,现代推荐系统算法并不总是改善良好的调整基线。一个自然的后续问题是,“我们如何为新的数据集和性能指标选择正确的算法?“在这项工作中,我们首先对推荐系统方法进行了首次大规模研究,通过比较85个数据集和315个指标的18种算法和100组超参数。我们发现,最好的算法和超参数高度依赖于数据集和性能指标,然而,每个算法的性能和数据集的各种元特征之间也有很强的相关性。受这些发现的启发,我们创建了RecZilla,这是一种推荐系统的元学习方法,它使用一个模型来预测新的、看不见的数据集的最佳算法和超参数。通过使用比以前工作更多的Meta训练数据,RecZilla能够在面对新的推荐系统应用时大大降低人类参与的程度。我们不仅发布了我们的代码和预训练的RecZilla模型,还发布了我们所有的原始实验结果,以便从业者可以训练RecZilla模型以获得他们想要的性能指标:https://github.com/naszilla/reczilla。
2022-10-07 cs.AI cs.IR cs.LG
Pipelines for Procedural Information Extraction from Scientific Literature: Towards Recipes using Machine Learning and Data Science
Kansas State University(堪萨斯州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文描述了一种机器学习和数据科学管道,用于从文档中进行结构化信息抽取,作为一套开源工具和现有工具的扩展来实现。它的中心是一种方法,用于从已发表的科学文献中提取配方形式的程序信息,逐步创建人工制品(在这种情况下合成纳米材料)。从我们的总体目标,生产配方的自由文本,我们得到的技术目标的系统组成的管道阶段:文档采集和过滤,有效载荷提取,配方步骤提取作为一个关系提取任务,配方组装,并通过一个信息检索接口与问答(QA)功能演示。该系统满足计算信息和知识管理(CIKM)的元数据驱动的有效载荷提取,命名实体提取,并从文本中提取关系的要求。本文中描述的功能贡献包括用于PDF过滤和有效负载提取任务的半监督机器学习方法,然后是结构化提取和数据转换任务,首先是部分提取,配方步骤作为信息元组,最后是组装配方。提取质量的可测量的客观标准包括配方步骤的精确度和召回率、排序约束以及QA准确度、精确度和召回率。结果,关键的新贡献,并从这项工作中产生的重要的开放性问题围绕这些整体质量指标的属性,以特定的机器学习和推理阶段的管道,每个与他们的性能指标。所需的配方包含确定的前提条件,材料输入和操作,并构成我们的计算信息和知识管理(CIKM)系统产生的总体输出。
2019-12-16 cs.CL cs.IR cs.LG
Predicting nucleation near the spinodal in the Ising model using machine learning
Boston University(波士顿大学);Clark University(克拉克大学)
我们使用一个卷积神经网络(CNN)和两个逻辑回归模型来预测二维伊辛模型中的成核概率。这三种模型成功地预测了最近邻伊辛模型的概率,观察到经典的成核。CNN在长程伊辛模型的旋节线附近优于逻辑回归模型,但其预测的准确性随着猝灭接近旋节线而降低。遮挡分析表明,这种减少是由于成核液滴的密度和背景之间的差异消失。我们的结果是一致的一般结论,可预测性降低附近的临界点。
2020-10-08 cs.LG physics.comp-ph
Data organization limits the predictability of binary classification
Musketeers Foundation Institute of Data Science, The University of Hong Kong(香港大学 musketeers 基金会数据科学研究所);Center for Digital Communication Studies, Zhejiang University(浙江大学数字传播研究中心);University of Fribourg(弗里堡大学)
本研究提出理论框架,证明二元分类性能上界由数据集固有属性决定、与分类器无关,还分析了上界与类别重叠度的关系,可用于特征工程中筛选最优特征子集。
2024-07-12 cs.DS cs.LG physics.data-an
Feature extraction of machine learning and phase transition point of Ising model
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
研究了受限玻尔兹曼机(RBM)在不同温度下用伊辛模型的自旋组态训练时提取的特征。利用训练好的RBM,我们得到了自旋组态的迭代重构流(RBM流),并发现在某些情况下RBM流接近Ising模型中的相变点$T=T_c$.由于所提取的特征在重构的配置中被强调,所以在这样的固定点处的配置应该只描述所提取的特征。然后,我们研究了不动点对各种参数的依赖关系,并推测了RBM流的不动点位于相变点的条件。通过分析训练后的RBM的权值矩阵,我们也为该猜想提供了支持证据。
2021-11-22 cond-mat.stat-mech cs.LG
SmartKex: Machine Learning Assisted SSH Keys Extraction From The Heap Dump
University of Passau(帕绍大学);Reykjavík University(雷克雅未克大学)
数字取证是在数字设备中提取、保存和记录证据的过程。数字取证中常用的方法是从数字设备的主存储器中提取数据。然而,主要的挑战是确定要提取的重要数据。主内存中有几条关键信息,如用户名、密码和加密密钥(如SSH会话密钥)。在本文中,我们提出了SmartKex,一个机器学习辅助的方法来提取会话密钥从堆内存快照的OpenSSH进程。此外,我们还发布了一个开放的数据集和相应的工具链,用于创建额外的数据。最后,我们比较了SmartKex与朴素的蛮力方法,并实证表明,SmartKex可以提取会话密钥具有高精度和高吞吐量。利用所提供的资源,我们打算加强对数字取证、网络安全和机器学习之间交叉点的研究。
2022-09-13 cs.CR cs.LG
Comparing Machine Learning Algorithms with or without Feature Extraction for DNA Classification
University of Groningen(格罗宁根大学);Institut Teknologi Sepuluh Nopember(泗水理工学院)
DNA序列的分类是生物信息学的一个关键研究领域,因为它使研究人员能够进行基因组分析和检测可能的疾病。在本文中,三个国家的最先进的算法,即卷积神经网络,深度神经网络,和N-gram概率模型,用于DNA分类的任务。此外,我们介绍了一种新的特征提取方法的基础上的Levenshtein距离和随机生成的DNA子序列计算信息丰富的功能,从DNA序列。我们还使用现有的特征提取方法的基础上3-gram代表氨基酸,并结合这两种特征提取方法与众多的机器学习算法。四个不同的数据集,每个数据集都涉及病毒性疾病,如COVID-19,艾滋病,流感和丙型肝炎,用于评估不同的方法。实验结果表明,所有方法在不同的DNA数据集上都获得了较高的准确率。此外,特定领域的3-gram特征提取方法通常在实验中获得最佳结果,而新提出的技术在最小的Covid-19数据集上优于所有其他方法
2020-11-01 cs.AI cs.LG q-bio.OT
Optimising Human-Machine Collaboration for Efficient High-Precision Information Extraction from Text Documents
University of Sussex(萨塞克斯大学);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学);University of Liverpool(利物浦大学)
虽然人类可以从非结构化文本中提取具有高精度和高召回率的信息,但这通常太耗时而不实用。另一方面,自动化方法几乎可以立即产生结果,但对于精度至关重要的高风险应用来说可能不够可靠。在这项工作中,我们认为各种人的优点和缺点,只有人机,只有机器的信息抽取方法。我们主张在需要高精度的应用程序中使用人在回路方法,但纯手动提取是不可行的。我们提出了一个框架和一个附带的工具,信息抽取使用弱监督标签与人类验证。我们在三个刑事司法数据集上展示了我们的方法。我们发现,计算机速度和人类理解的结合产生了与手动注释相当的精度,同时只需要一小部分时间,并且在精度方面明显优于完全自动化的基线。
2023-02-18 cs.CL cs.HC cs.IR
Machine Learning for Yield Curve Feature Extraction: Application to Illiquid Corporate Bonds (Preliminary Draft)
本文研究了机器学习在从历史风险中性公司债券收益率中提取市场隐含特征中的应用。我们考虑一个假设的非流动性固定收益市场的例子。在选择了一个替代流动性市场后,我们应用计算机视觉和模式识别领域的去噪自动编码器算法,从所选流动性市场交易的工具的历史隐含数据中学习缺失收益率参数的特征。将经训练的机器学习算法的结果与称为薄板样条的时间点二维插值算法的输出进行比较。最后,对两种算法的性能进行了比较。
2018-06-05 cs.LG q-fin.MF stat.ML
From FATS to feets: Further improvements to an astronomical feature extraction tool based on machine learning
Instituto De Astronomía Teórica y Experimental(理论与实验天文研究所);Observatorio Astronómico Córdoba(科尔多瓦天文台);Universidad Nacional de Córdoba(国立科尔多瓦大学);Facultad de Ciencias Exactas, Ingeniería y Agrimensura, UNR(罗萨里奥国立大学精确科学、工程与农学院);Facultad de Matemática, Astronomía y Física Universidad Nacional de Córdoba(国立科尔多瓦大学数学、天文与物理学院);Centro Internacional Franco Argentino de Ciencias de la Información y de Sistemas(法阿信息与系统科学国际中心);University of Washington(华盛顿大学);University of Washington eScience Institute(华盛顿大学电子科学研究所)
机器学习算法对于在这个peta级公共调查数据发布时代对天文学中的时间序列数据进行分类非常有用。这些方法可以促进在大多数天体物理学领域发现新的未知事件,并改进对已知现象样本的分析。机器学习算法使用从收集的数据中提取的特征作为输入预测变量。一个名为时间序列特征分析(FATS)的公共工具已被证明是特征提取的优秀工具,特别是可变对象的光曲线分类。在这项研究中,我们提出了一个重大的改进,FATS,纠正不方便的设计选择,小细节,和文件的重新设计过程。这一改进包括一个名为“feets”的新Python包,这对天文软件工具的未来代码重构非常重要。
2018-09-06 astro-ph.IM cs.LG
Interpretability via Model Extraction
Stanford University(斯坦福大学)
解释机器学习模型的能力已经变得越来越重要,因为机器学习被用于通知后续决策。我们提出了一种称为模型提取的方法来解释复杂的黑盒模型。我们的方法使用更可解释的模型来近似复杂模型;只要近似质量良好,那么复杂模型的统计特性就会反映在可解释的模型中。我们展示了如何使用模型提取来理解和调试在UCI机器学习库的几个数据集上训练的随机森林和神经网络,以及为几个经典的强化学习问题学习的控制策略。
2018-03-13 cs.CY cs.LG stat.ML
Extraction of Research Objectives, Machine Learning Model Names, and Dataset Names from Academic Papers and Analysis of Their Interrelationships Using LLM and Network Analysis
Aichi Institute of Technology(爱知工业大学);University of Tokyo(东京大学);Hokkaido University(北海道大学);Nagaoka University of Technology(长冈技术科学大学);Saitama University(埼玉大学)
本研究提出利用LLM、嵌入模型和网络聚类从学术论文中提取任务、机器学习模型与数据集名称并分析其关系,使用Llama3在各类别F分数超0.8,并在金融领域验证了有效性。
2024-08-22 cs.AI cs.CL cs.LG
Surfboard: Audio Feature Extraction for Modern Machine Learning
Novoic Ltd(Novoic有限公司)
我们介绍Surfboard,这是一个开源Python库,用于提取音频特征并应用于医疗领域。Surfboard的目的是解决现有库的痛点,并促进与现代机器学习框架的联合使用。该软件包可以通过Python编程方式访问,也可以通过其命令行界面访问,使其能够轻松集成到机器学习工作流中。它建立在最先进的音频分析包之上,并为处理大型工作负载提供多处理支持。我们回顾类似的框架,并描述冲浪板的架构,包括其功能的临床动机。使用mPower数据集,我们说明了冲浪板的应用程序,帕金森病分类任务,突出了现有研究中的常见陷阱。源代码向研究社区开放,以促进临床领域未来的音频研究。
2020-05-18 cs.LG cs.SD eess.AS
Machine Learning for Yield Curve Feature Extraction: Application to Illiquid Corporate Bonds
RBC Financial Group(加拿大皇家银行金融集团)
本文研究了机器学习在提取历史市场隐含公司债券收益率特征中的应用。我们考虑一个假设的非流动性固定收益市场的例子。在选择了一个替代流动性市场后,我们应用去噪自动编码器(DAE)算法从所选流动性市场交易的工具的历史数据中学习缺失的收益率参数的特征。DAE算法的挑战,然后从图像处理和计算机视觉领域的两个“时间点”修复算法。据观察,当在未观察到的速率表面上进行测试时,DAE算法表现出优异的性能,这要归功于它从收益率曲线的历史形状中学习到的特征。
2018-11-23 cs.LG q-fin.ST stat.ML
A Machine Learning Approach For Opinion Holder Extraction In Arabic Language
Cairo University(开罗大学);Faculty of Computers and Information, Cairo University(开罗大学计算机与信息学院)
意见挖掘旨在从大量可靠的文本中提取有用的主观信息。意见挖掘持有者识别是阿拉伯语中尚未考虑的任务。这个任务本质上需要对从句结构有深刻的理解。不幸的是,缺乏一个强大的,公开的,阿拉伯语解析器进一步复杂化的研究。本文提出了一个领先的研究阿拉伯语新闻独立于任何词法分析器的意见持有人提取。我们研究构建一个全面的功能集,以弥补缺乏解析结构的结果。建议的功能集是从英语以前的作品,再加上我们提出的语义场和命名实体功能调整。我们的特征分析是基于条件随机场(CRF)和半监督模式识别技术。不同的研究模型进行了评估,通过交叉验证实验达到54.03 F-措施。我们公开发布我们自己的研究成果语料库和词汇的意见挖掘社区,以鼓励进一步的研究。
2012-04-06 cs.IR cs.LG
PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework
Department of Statistics, University of California, Berkeley(加州大学伯克利分校统计学系);Department of Epidemiology, University of Utah(犹他大学流行病学系);Department of Electrical Engineering and Computer Science, University of California, Berkeley(加州大学伯克利分校电气工程与计算机科学系)
提出PCS-UQ框架,通过预测检查、bootstrap采样和乘法校准实现不确定性量化,在回归和分类任务中优于或媲美共形预测方法,并提供理论保证。
2026-07-27 cs.LG math.ST stat.ME
Blind Modulation Classification via Combined Machine Learning and Signal Feature Extraction
Tarbiat Modares University(塔比阿特莫达雷斯大学)
本文提出了一种盲自动调制识别算法。将机器学习和信号特征提取相结合,有利于在低信噪比条件下识别各种调制方式。所提出的算法包含四个。首先,根据规则和不规则频谱特性,对分支调制信号进行频谱分析;其次,将非线性软间隔支持向量(NS SVM)问题应用于接收信号,并将其符号分类为正确和错误(支持向量)符号。NS SVM的使用导致折扣的物理层噪声对调制信号的影响。在此之后,k-中心聚类可以找到每个类的中心。最后,在相关函数中,将散布图的估计与预先保存的理想调制散布图进行相关。相关结果即为分类结果。对于更多的评估,成功率,性能和复杂性相比,许多已公布的方法。仿真结果表明,该算法能在较低信噪比下对调制信号进行分类。例如,它可以识别SNR=-4.2 dB的4-QAM和SNR=2.1 dB的4-FSK,成功率为99%。此外,由于在NS SVM和特征基函数的对偶问题中使用了核函数,该算法在实际问题中具有较低的复杂度和简单的实现。
2021-01-12 cs.LG eess.SP
Interpretability of Blackbox Machine Learning Models through Dataview Extraction and Shadow Model creation
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯信息技术学院)
使用大量数据训练的深度学习模型倾向于捕获数据及其相关映射的一个视图。基于相同的训练数据构建的不同深度学习模型可以基于所使用的底层技术来捕获数据的不同视图。为了解释黑盒深度学习模型得出的决策,我们认为有必要忠实地再现该模型对训练数据的看法。这种忠实的再现可以用于解释生成。我们研究了两种数据视图提取方法:爬山方法和GAN驱动的方法。然后,我们使用这些合成的数据来创建解释生成的影子模型:决策树模型和基于形式概念分析的模型。我们评估这些方法上的黑箱模型训练的公共数据集,并显示其有用的解释生成。
2020-02-02 cs.AI cs.LG stat.ML
Pantograph: A Machine-to-Machine Interaction Interface for Advanced Theorem Proving, High Level Reasoning, and Data Extraction in Lean 4
Stanford University(斯坦福大学)
本文提出工具 Pantograph,为 Lean 4 证明助手提供多功能接口,结合 Monte Carlo Tree Search 实现高效证明搜索与高层推理,推动机器学习模型进行复杂定理证明。
2025-01-31 cs.AI cs.LG cs.LO
Symbolic Knowledge Extraction from Opaque Predictors Applied to Cosmic-Ray Data Gathered with LISA Pathfinder
University of Urbino Carlo Bo(乌尔比诺卡罗·博大学);INFN(意大利国家核物理研究所)
机器学习模型现在在太空任务中无处不在,执行各种各样的任务,从预测多变量时间序列到检测输入数据中的特定模式。采用的模型通常是深度神经网络或其他复杂的机器学习算法,提供不透明的预测,即,不允许人类用户理解所提供的预测背后的基本原理。文献中存在几种技术,将不透明机器学习模型令人印象深刻的预测性能与人类可理解的预测解释相结合,例如符号知识提取程序的应用。在本文中报道的结果不同的知识提取器适用于合奏预测器能够再现宇宙射线数据收集在船上的LISA探路者空间任务。还讨论了所提取的知识的可读性/保真度的权衡。
2022-09-10 astro-ph.HE astro-ph.IM cs.LG
Automated CVE Analysis: Harnessing Machine Learning In Designing Question-Answering Models For Cybersecurity Information Extraction
Colorado State University(科罗拉多州立大学)
本文针对网络安全非结构化文本信息抽取的挑战,构建了特定领域的问答数据集并训练了机器学习模型,为自动化构建网络安全知识图谱提供了关键支撑。
2024-12-21 cs.CL cs.CR cs.LG
Joint Bootstrapping Machines for High Confidence Relation Extraction
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
用于从文本中提取关系的半监督自举技术迭代地扩展一组初始种子实例。由于缺乏标记数据,自举中的一个关键挑战是语义漂移:如果在迭代期间添加了假阳性实例,则所有后续迭代都将受到污染。我们介绍BREX,一个新的自举方法,防止这种污染的高度有效的信心评估。这是通过联合使用实体和模板种子(而不是在以前的工作中只有一个),通过并行扩展实体和模板,并在每次迭代中相互约束的方式,并通过引入更高质量的模板相似性措施。实验结果表明,BREX在四个关系中实现了比现有技术好0.13(0.87 vs. 0.74)的F1。
2018-05-01 cs.AI cs.CL cs.IR
Effective Intrusion Detection for UAV Communications using Autoencoder-based Feature Extraction and Machine Learning Approach
Phenikaa University(范嘉大学);Le Quy Don Technical University(黎贵敦技术大学);National Economics University(国民经济大学)
针对无人机通信入侵检测,论文提出先用 autoencoder 提取特征、再用多种机器学习模型分类的两阶段方法,并在真实 UAV 数据集上验证其优于基线。
2024-10-01 cs.AI cs.LG cs.RO