Forecasting Revenue with its Customer-Base Drivers: When and Why Coordination Helps
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Maryland(马里兰大学);Boston University(波士顿大学)
该研究针对收入预测无法拆解驱动因素的问题,开发CBMT模型,利用966家公司数据验证其准确性优于多数基准,发现客户群协同变动强时联合预测更有效,同时指出高波动下模型优势缩小。
2026-08-05 cs.LG
When Will It Fail?: Anomaly to Prompt for Forecasting Future Anomalies in Time Series
Department of Artificial Intelligence, Kyung Hee University, Yongin, Republic of Korea(韩国成均馆大学人工智能系);Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea(韩国大学人工智能系)
针对时间序列异常预测任务,提出A2P框架,通过异常关系学习与异常提示池模拟,实现对未来异常时间点的精确预测,优于现有方法。
2025-06-30 cs.AI cs.LG
From Forecasting Leaderboards to Deployment Decisions: A Fail-Closed Certification Protocol
Chungbuk National University(忠北大学)
提出一种故障关闭认证协议,通过统计检验和部署反转条件,确保预测排行榜冠军在指定决策接口下可部署行动,避免因摩擦导致的次优部署。
2026-06-25 cs.LG
Residual Correction in Real-Time Traffic Forecasting
KAIST AI(韩国科学技术院人工智能学院);NAVER Corp.(NAVER公司)
预测交通状况是非常具有挑战性的,因为每条道路在空间和时间上都高度依赖于彼此。最近,为了捕获这种空间和时间依赖性,已经引入了专门设计的架构,例如图卷积网络和时间卷积网络。虽然交通预测已经取得了显着的进步,但我们发现基于深度学习的交通预测模型在某些模式下仍然失败,主要是在事件情况下(例如,快速下降)。虽然人们普遍认为这些故障是由于不可预测的噪声,我们发现,这些故障可以通过考虑以前的故障得到纠正。具体来说,我们观察到这些故障中的自相关错误,这表明仍然存在一些可预测的信息。在这项研究中,捕捉误差的相关性,我们引入ResCAL,残差估计模块的交通预测,作为一个广泛适用的附加模块,现有的交通预测模型。我们的ResCAL通过使用以前的误差和图形信号估计未来的误差来实时的校准现有模型的预测。METR-LA和PEMS-BAY上的大量实验表明,我们的ResCAL可以正确地捕捉错误的相关性,并纠正各种交通预测模型在事件情况下的失败。
2022-09-12 cs.LG
Digital Twin Framework for Time to Failure Forecasting of Wind Turbine Gearbox: A Concept
Adani Institute of Infrastructure Engineering(阿达尼基础设施工程学院)
风力发电机组是一种复杂的机械,其旋转和非旋转设备对故障都很敏感。由于磨损增加,风力涡轮机的维护至关重要。风力涡轮机部件的意外故障可能导致增加的O\&M成本,这最终降低了风电场的有效功率捕获。风力涡轮机中的故障检测通常由风电场运营商以10分钟采样间隔的时间序列格式提供的SCADA数据进行补充。此外,时间序列分析和数据表示已成为深入了解风力发电机等复杂机械动态过程的有力工具。风力涡轮机SCADA数据通常以多变量时间序列的形式提供,变量包括齿轮箱油温、齿轮箱轴承温度、机舱温度、转子速度和产生的有功功率。在本预印本中,我们讨论了用于风力涡轮机齿轮箱故障时间预测的数字孪生模型的概念,其中预测模块通过实时SCADA数据不断更新,并为风电场运营商生成有意义的见解。
2022-04-28 cs.AI cs.LG eess.SP
Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data
University of Insubria(因苏布里亚大学);IBM Research Ireland(IBM 爱尔兰研究院)
研究大语言模型在结构化数据生成中上下文学习的局限性,发现其无法更新预训练中的类别先验分布,导致罕见类完全无法生成;参数高效微调可解决但带来记忆化风险。
2026-06-11 cs.AI cs.LG
Forecasting Fails: Unveiling Evasion Attacks in Weather Prediction Models
LLNL(劳伦斯利弗莫尔国家实验室)
本文提出WAAPO框架,用于生成针对天气预测模型的隐蔽对抗扰动,揭示了AI预测模型在面对小扰动时的脆弱性。
2025-12-09 cs.LG
Using dynamic loss weighting to boost improvements in forecast stability
KU Leuven(鲁汶大学)
针对滚动原点预测不稳定性问题,本文研究动态损失加权算法,在不牺牲准确率的前提下进一步提升预测稳定性,还提出了任务感知随机加权的扩展方法。
2025-01-20 cs.LG stat.ML
Evaluation of Local Explanation Methods for Multivariate Time Series Forecasting
Ryerson University(瑞尔森大学)
能够解释机器学习模型是机器学习的许多应用中的关键任务。具体来说,局部可解释性在确定模型为什么做出特定预测方面很重要。尽管最近关注人工智能的可解释性,但对于时间序列预测的局部可解释性方法缺乏研究,而存在的少数可解释性方法主要集中在时间序列分类任务上。在这项研究中,我们提出了两个新的评价指标的时间序列预测:面积超过扰动曲线回归和消融百分比阈值。这两个指标可以衡量局部解释模型的局部保真度。我们扩展的理论基础,收集两个流行的数据集,\textit{Rossmann sales}和\textit{electricity}的实验结果。这两个指标使众多的本地解释模型的全面比较,并找到哪些指标更敏感。最后,我们为这一分析提供了合理的理由。
2020-09-18 cs.LG stat.ML
The Proper Use of Google Trends in Forecasting Models
Pontificial Catholic University of Rio de Janeiro(里约热内卢天主教大学)
众所周知,谷歌趋势已经成为学术界和私营部门和公共部门预测者使用的最受欢迎的免费工具之一。有许多来自不同领域的论文得出结论,Google趋势可以提高预测的准确性。然而,人们似乎普遍不知道的是,即使您设置了相同的搜索词,数据和位置,Google搜索数据的每个样本也是不同的。这意味着,仅仅是偶然的机会就有可能找到武断的结论。本文旨在说明为什么以及何时它会成为一个问题,以及如何克服这一障碍。
2021-04-10 cs.LG econ.EM stat.AP
Target Concept Tuning Improves Extreme Weather Forecasting
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团);Institute of Atmospheric Physics, Chinese Academy of Sciences(中国科学院大气物理研究所)
本文提出TaCT框架,通过选择性模型改进提升台风预测性能,同时保持常规场景表现。利用稀疏自编码器和反事实分析发现失效相关概念,仅在概念激活时更新参数,实验显示在不同地区台风预测有显著提升。
2026-03-17 cs.AI cs.LG
Where MLLMs Fail and Why: Causal Task Decomposition for Capability Failure Diagnosis
Google Research(谷歌研究院);Stanford University(斯坦福大学)
本文提出因果分解框架CADET,通过受控干预前置依赖诊断MLLM失败源于内在缺陷还是级联错误,实验发现提供正确前置可消除认知任务54%错误,单一关键前置贡献占全部收益的84%。
2026-10-01 cs.AI cs.CL cs.CV
Intelligent Vision Based Wear Forecasting on Surfaces of Machine Tool Elements
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文讨论了使机器能够自动检测机床部件故障并估计故障严重程度的能力,这是迈向自主生产机器的关键一步。提取关于故障严重性的信息已经是经典的以及基于机器学习的机器视觉系统的重要部分。为了预测性维护的目的,已经努力自动预测机床部件上故障的严重性。然而,大多数方法仅部分覆盖从检测故障到预测其未来严重性的完全自动化系统。据作者所知,这是第一次提出了一个基于视觉的系统,用于一般金属表面和滚珠丝杠传动的缺陷检测和故障预测。作者表明,他们可以做到这两点,检测和监测滚珠丝杠传动表面故障的演变。
2021-10-29 cs.LG
Simulated Ignorance Fails: A Systematic Study of LLM Behaviors on Forecasting Problems Before Model Knowledge Cutoff
University of Chicago(芝加哥大学);University of California, San Diego(加州大学圣地亚哥分校)
本文研究了在模型知识截止前的预测问题中,模拟无知方法的局限性,发现其无法有效近似真实无知,且推理链推理和优化模型在抑制先前知识方面存在缺陷。
2026-01-20 cs.AI cs.CL
Forecasting remaining useful life: Interpretable deep learning approach via variational Bayesian inferences
ETH Zurich(苏黎世联邦理工学院)
预测机械、基础设施或其他设备的剩余使用寿命可以促进抢先维护决策,从而通过及时维修或更换来防止故障。这允许通过考虑预期的故障时间来提供更好的决策支持,从而有望降低成本。在这里,可以通过将概率密度函数拟合到过去的寿命,然后利用(有条件的)预期剩余使用寿命作为预测,来得出共同的基线。这种方法在实践中得到广泛使用,因为它具有很高的解释力。机器学习有望提供一种更准确的替代方案,其中预测通过传感器数据将退化过程和环境变量纳入其中。然而,机器学习在很大程度上起着黑箱方法的作用,因此其预测丧失了大部分所需的可解释性。作为我们的主要贡献,我们提出了一种结构效应神经网络来预测剩余使用寿命,它结合了两种方法的有利特性:其关键创新在于它提供了高度的问责制和深度学习的灵活性。通过变分贝叶斯推断的参数估计。根据航空发动机的实际故障时间,对不同的方法进行了比较。这表明了我们的方法的性能和优越的可解释性,而我们最后讨论的决策支持的影响。
2019-07-19 cs.LG stat.ML
Sigmoids behaving badly: why they usually cannot predict the future as well as they seem to promise
Sigmoids(AKA S曲线或逻辑曲线)通常用于不同学科的时变现象的模型,显示初始加速,然后放缓:技术扩散,累积的流行病病例,人口增长对承载能力等现有的工作表明,数据的回顾性拟合往往令人印象深刻。我们表明,在时间序列数据,未来的拟合往往是穷人,除非数据涵盖了整个范围之前到之后的拐点。我们讨论的理论原因:增长数据提供的阻尼项的信息很少(反之亦然)。因此,用S形曲线进行预测往往非常不可靠。我们提出了一些实用的方法来提高预测S形模型的可行性。
2021-09-09 stat.AP
Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures
University of Melbourne(墨尔本大学)
研究发现对于过程性知识,LoRA在保持效率优势的秩上无法与完全微调匹配。通过实验表明在旅行预订等任务中LoRA配置失败,跨域复制也证实其普遍不佳,分析指出完全微调权重变化的有效秩高,LoRA难以企及,这是智能体应用的基本限制。
2026-07-27 cs.AI cs.LG
Vulnerability Forecasting: In theory and practice
Airbus(空客)
既然可以提前预测,为什么要等到零日呢?可以提前一年预测NVD中发布的CVE数量。这可以在实际值的3%内完成,并且不同的预测算法在不同的前瞻值下表现良好。还可以估计属于特定供应商、软件、CVSS分数或漏洞类型的总卷的比例。随着这种不确定性的降低,战略补丁管理应该变得更加容易。
2020-12-07 cs.CR cs.LG
Why Rectified Power Unit Networks Fail and How to Improve It: An Effective Field Theory Perspective
School of Computational Sciences(计算科学学院);Korea Institute for Advanced Study(韩国高级研究院);Department of Mathematical Science(数学科学系);Seoul National University(首尔国立大学)
本文提出MRePU激活函数,通过有效场论视角解决RePU网络训练不稳定问题,提升训练稳定性和性能。
2026-11-05 cs.AI cs.LG
Attention network forecasts time-to-failure in laboratory shear experiments
Rice University(莱斯大学);Pennsylvania State University(宾夕法尼亚州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Nevada, Reno(内华达大学雷诺分校);Sapienza Universitá di Roma(罗马一大(萨皮恩扎大学))
岩石在应力作用下通过蠕变机制变形,包括小规模内部裂纹的形成和滑动。晶内裂纹和沿晶粒接触面的滑移以弹性波的形式释放能量,称为声发射(AE)。AE被认为包含可用于故障预测的预测信息。本文提出了一种利用声发射波形特征进行非监督式分类和注意力网络预报实验室地震的方法。我们的数据是在实验室环境中使用双轴剪切装置与粒状断层泥旨在模仿构造断层的条件。在这里,我们分析了在数百个实验室地震周期中产生的AE的时间演化。我们使用良心自组织映射(CSOM)进行拓扑有序的矢量量化的波形特性的基础上。所得到的地图用于交互式聚类AE。我们检查了随时间推移的聚类,以确定具有预测能力的聚类。最后,我们使用各种LSTM和基于注意力的网络来测试AE集群的预测能力。通过跟踪地震周期内的累积波形特征,该网络能够预测实验室地震的失效时间(TTF)。我们的研究结果表明,分析数据以隔离预测信号并使用更复杂的网络架构是稳健预测实验室地震的关键。该方法可应用于构造断层监测地震和增强现有的预警系统。
2021-09-20 cs.LG physics.geo-ph
Why LLMs Fail: A Failure Analysis and Partial Success Measurement for Automated Security Patch Generation
University of Passau(帕绍大学)
本研究分析了LLM在生成安全补丁时的失败原因,指出其在安全性和功能上的不足,并提出安全修复评分以量化这一差距。
2026-03-10 cs.AI cs.CR
Lost in Transmission: When and Why LLMs Fail to Reason Globally
Microsoft Research(微软研究院);Netflix(奈飞)
研究指出大语言模型在处理需要高带宽通信的任务时存在能力限制,并通过BAPO模型证明了链式思维能将复杂问题简化为易处理形式。
2026-01-30 cs.AI cs.FL cs.LG
LLMForecaster: Improving Seasonal Event Forecasts with Unstructured Textual Data
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊公司);NYU(纽约大学)
本文提出 LLMForecaster,通过微调 LLM 将非结构化文本语义、上下文与历史数据纳入预测后处理,显著改进零售场景中节假日驱动的季节性需求预测。
2024-12-03 cs.CL cs.LG
Hierarchical spline for time series forecasting: An application to Naval ship engine failure rate
预测设备故障是很重要的,因为它可以提高可用性和削减运营预算。以前的文献曾试图用浴缸形函数、韦布尔分布、贝叶斯网络或层次分析法对故障率进行建模。但这些模型在数据量足够大的情况下表现良好,并且无法考虑两个显著特征:类别不平衡和共享结构。分层模型具有部分池化的优点。该模型是基于贝叶斯层次B样条。对99艘韩国海军舰艇的故障率时间序列进行了分层建模,每一层对应于舰艇发动机、发动机类型和发动机原型。作为分析的结果,所建议的模型准确地预测了在多个情境条件下的整个寿命的故障率,例如发动机的先验知识。
2020-12-02 stat.AP
TsSHAP: Robust model agnostic feature-based explainability for time series forecasting
IBM Research(IBM研究院)
一个值得信赖的机器学习模型应该是准确的和可解释的。理解模型为什么做出某个决定定义了可解释性的概念。虽然在分类和回归等监督学习范式中已经充分研究了各种各样的可解释性,但关于时间序列预测的可解释性的文献相对较少。在本文中,我们提出了一个基于特征的可解释性算法,TsSHAP,可以解释任何黑箱预测模型的预测。该方法是不可知的预测模型,并可以提供解释的预测由用户定义的可解释的功能之前。这些解释是根据通过在代理模型上应用TreeSHAP算法获得的SHAP值进行的,该代理模型学习可解释的特征空间与黑盒模型的预测之间的映射。此外,我们形式化的概念,本地,半本地和全球的时间序列预测的背景下,这可能是有用的几种情况下的解释。我们通过在多个数据集上的广泛实验验证了TsSHAP的有效性和鲁棒性。
2023-03-22 cs.LG
Multi-Variate Time Series Forecasting on Variable Subsets
Google Research(谷歌研究院);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
我们制定了一个新的推理任务,在域的多变量时间序列预测(MTSF),称为变量子集预测(VSF),只有一个小的子集的变量是可用的推理过程中。由于长期数据丢失,推断过程中缺少变量(例如,传感器故障)或训练/测试之间的高->低资源域转换。据我们所知,MTSF模型在存在这种故障的鲁棒性,还没有在文献中研究。通过广泛的评估,我们首先表明,在VSF设置的最先进的方法的性能显着下降。我们提出了一个非参数,包装技术,可以应用于任何现有的预测模型。通过在4个数据集和5个预测模型上的系统实验,我们表明,即使只有15%的原始变量存在,我们的技术也能够恢复接近95%的模型性能。
2022-06-25 cs.LG
Activation Bottleneck: Sigmoidal Neural Networks Cannot Forecast a Straight Line
Know-Center GmbH(Know-Center 有限公司);Graz University of Technology(格拉茨工业大学)
本文揭示具有有界隐藏层的神经网络存在激活瓶颈,导致LSTM和GRU等架构无法预测直线等无界序列,并提出了缓解该问题的架构修改方案。
2024-06-04 cs.LG
Latent-Regime Bias Auditing for Volatility Forecasting
本文提出模型无关的潜在制度偏差审计框架,用于评估波动率预测在不同市场制度下的可靠性,发现聚合准确率高的模型仍存在制度特定偏差和尾部预测不足,为波动率预测评估提供新方向。
2026-08-04 cs.LG
Accommodation and Epistemic Vigilance: A Pragmatic Account of Why LLMs Fail to Challenge Harmful Beliefs
Department of Computer Science, Stanford University(计算机科学系,斯坦福大学);Department of Linguistics, Stanford University(语言学系,斯坦福大学)
本文通过语用学视角揭示LLMs在挑战有害信念时的失败原因,并提出简单干预提升安全性的方法。
2026-01-07 cs.AI cs.CL cs.CY
Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
研究大语言模型微调中记忆知识无法泛化的问题,用自修补技术监测知识渗透动态,发现与知识电路未对准假设一致,还设计启发式策略验证,跨域实验证明发现具稳健性。
2026-09-29 cs.AI cs.CL
Why Retrieval-Augmented Generation Fails: A Graph Perspective
Michigan State University(密歇根州立大学);Massachusetts Institute of Technology(麻省理工学院)
本文从图视角分析检索增强生成失败原因,发现正确回答具有更深层推理路径和更分布的证据流,而失败回答则表现出碎片化和集中化的证据流。
2026-05-13 cs.AI cs.CL
Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective
Department of Computer Science, George Mason University(乔治·马歇尔大学计算机科学系)
本文从分层规划角度分析了LLM网络代理失败原因,发现低层执行是主要瓶颈,改进感知接地和自适应控制对实现人类可靠性至关重要。
2026-04-27 cs.AI cs.CL
ConceptTS: LLM-Guided Concept Bottlenecks for Interpretable Multivariate Time-Series Forecasting
Stanford University(斯坦福大学);University of California, Davis(加州大学戴维斯分校)
ConceptTS是围绕人类可理解概念的可解释多变量时间序列预测框架,利用大语言模型生成概念与标注规则,在空气质量数据集上达到与黑箱基线相当的准确率,且决策过程可解释。
2026-08-24 cs.LG
Every Fixed Metric Has a Blind Spot: A Learned Atmospheric Critic for Scoring Forecast Realism
ETH Zürich(苏黎世联邦理工学院);ETH AI Center, ETH Zürich(苏黎世联邦理工学院人工智能中心)
针对机器学习天气预报模型的伪影问题,提出学习型判别器作为大气评判器,以自适应检测失败模式并评分预报真实感,实验表明优于现有度量且能区分模型类型。
2026-10-15 cs.LG physics.ao-ph
Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence
Imperial College London(帝国理工学院)
该研究针对搜索增强型大语言模型存在的检索证据未被有效利用的问题,通过构建时间事实、评估不同模型配置,发现模型常基于搜索片段直接作答,即便证据影响内部预测仍可能偏向过时信息,相关发现可推动该领域研究。
2026-10-16 cs.AI cs.CL cs.IR
When the Code Autopilot Breaks: Why LLMs Falter in Embedded Machine Learning
University of Helsinki(赫尔辛基大学)
本文实证研究了LLM在嵌入式ML代码生成中的失效模式,基于自动驾驶框架分析提示格式与模型行为对成功率的影响,构建失效分类法并提出改进可靠性的方向。
2025-09-13 cs.AI cs.SE
The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs?
University of Science and Technology of China(中国科学技术大学);Eastern Institute of Technology, Ningbo(宁波东部技术研究所)
本文研究了对比解码方法在减轻多模态大语言模型(MLLMs)中对象幻觉方面的有效性,发现其性能提升主要源于两个误导性因素,挑战了对比解码策略的有效性。
2026-06-04 cs.AI cs.CL cs.CV
State-Space Models Win the IEEE DataPort Competition on Post-covid Day-ahead Electricity Load Forecasting
提出了电力需求预测竞赛的获胜策略。该竞赛旨在为2020年春季开始的不稳定时期设计新的预测方法。我们依靠状态空间模型来适应标准的统计和机器学习模型。我们认为它在两个极端之间达成了正确的妥协。一方面,纯时间序列模型(如自回归模型)本质上是自适应的,但无法捕捉对外生变量的依赖性。另一方面,机器学习方法允许学习对历史数据集上的解释变量的复杂依赖性,但不能准确地预测非平稳数据。比赛的评估阶段是试错的机会,我们把重点放在最后的预测程序上。特别是,它是在同一时间,最近的算法设计,以适应状态空间模型的方差,我们目前的结果,最终版本。不过,我们还是要讨论今天的预测。
2021-10-01 stat.AP stat.ME stat.ML
Why LLMs Fail at Causal Discovery and How Interventional Agents Escape
SIRE, IIT Delhi(IIT德里智能研究机构);Robert Bosch GmbH(罗伯特·博世有限公司);Imperial College London(伦敦帝国理工学院)
本文证明大型语言模型在因果发现中存在根本性失败,并提出一种基于干预代理的因果贝叶斯优化方法(A-CBO),通过外部贝叶斯循环在无需模型微调的情况下实现可证明的收敛。
2026-05-26 cs.AI cs.CL
Forecasting overhead distribution line failures using weather data and gradient-boosted location, scale, and shape models
架空配电线路在配电方面发挥着至关重要的作用,然而,其独立性使其容易受到极端天气条件的影响,从而导致供电中断。英国目前对电力网络的监管意味着先发制人的中断缓解措施可以避免对配电公司的经济处罚,从而做出具有直接财务重要性的准确故障预测。在这里,我们提出了一个英国网络的基础上,梯度提升的位置,规模和形状模型,提供时空预测的故障预测天气条件的基础上开发的预测模型。所提出的模型是基于(a)树基学习者或(b)惩罚平滑和线性基学习者-导致广义加性模型(GAM)结构,后一类模型在样本外对数似然方面提供最佳性能。该模型拟合了15年的故障和天气数据,并显示出在多日预测窗口内具有良好的准确性,为电力恢复提供了切实的支持。
2022-09-07 stat.AP
Multivariate Forecasting Evaluation: On Sensitive and Strictly Proper Scoring Rules
近年来,概率预测是一个新兴的话题,这就是为什么有一个合适的方法来评估多变量预测的需求越来越大。我们分析了最常见的评分规则的敏感性,特别是关于预测的依赖结构的质量。此外,我们提出了基于copula的评分规则,它唯一地描述了每个连续边缘分布的概率分布的依赖结构。有效估计所考虑的评分规则和评价方法,如Diebold-Mariano测试进行了讨论。在详细的模拟研究中,我们比较了著名的评分规则和我们提出的性能。除了基于最近发表的结果的扩展合成研究,我们还考虑了一个真实的数据例子。我们发现,能量分数,这可能是最广泛使用的多元评分规则,执行candidate以及在检测预测错误,也关于依赖关系。这与其他研究相矛盾。结果还表明,建议copula得分提供了非常强的区分模型之间的正确和不正确的依赖结构。最后,我们将全面讨论拟议的方法。
2019-10-16 econ.EM stat.ME stat.ML
Why Do Time Series Models Need Long Context Windows?
Università della Svizzera Italiana(瑞士联邦理工学院);EPFL(瑞士联邦理工学院);Politecnico di Milano(米兰理工学院)
本文从生成过程识别和条件预测两个目标出发,证明长上下文窗口通过降低生成过程的不确定性来提升预测性能,并表明即使对于记忆长度为P的过程,输入窗口必须严格大于P才能达到最小误差。
2026-06-01 cs.AI cs.LG
Why Attention Fails: The Degeneration of Transformers into MLPs in Time Series Forecasting
Shanghai Jiaotong University(上海交通大学)
本文通过逐步将Transformer修改为MLP的实验,揭示时间序列预测中Transformer常退化为MLP,并从理论和可解释数据集角度分析注意力机制失效及嵌入方法缺陷的深层原因。
2025-09-25 cs.LG
Why Normalizing Flows Fail to Detect Out-of-Distribution Data
New York University(纽约大学)
检测分布外(OOD)数据对于健壮的机器学习系统至关重要。规范化流是一种灵活的深度生成模型,通常令人惊讶地无法区分分布内和分布外的数据:在服装图片上训练的流将更高的可能性分配给手写数字。我们调查为什么正常化流程执行不良OOD检测。我们证明了流学习局部像素相关性和通用图像到潜在空间的转换,这不是特定于目标图像数据集。我们表明,通过修改流耦合层的架构,我们可以偏向于学习目标数据的语义结构,提高OOD检测流。我们的调查表明,使流生成高保真图像的属性可能会对OOD检测产生不利影响。
2020-06-15 cs.LG stat.ML
Why Federated Optimization Fails to Achieve Perfect Fitting? A Theoretical Perspective on Client-Side Optima
Beijing Institute of Technology(北京理工大学)
本文从理论视角解释了联邦优化在数据异构性下性能下降的原因,指出客户端局部最优解间的距离会提高全局目标下界并导致模型在末期振荡,从而无法完美拟合数据。
2025-11-01 cs.AI cs.LG stat.ML
Why do explanations fail? A typology and discussion on failures in XAI
本文针对XAI解释失败问题,提出系统性与用户性失败的类型学框架,倡导整体视角,以帮助从业者理解局限并提升解释质量。
2025-10-16 cs.AI cs.HC cs.LG
Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);State Key laboratory of Space Network and Communications(空间网络与通信国家重点实验室)
本文首次从机制上解释了低精度下Flash Attention导致训练崩溃的原因,揭示了相似低秩表示与有偏舍入误差的恶性循环,并通过最小化修改稳定训练。
2026-06-16 cs.AI cs.LG
The Infinite-Dimensional Nature of Spectroscopy and Why Models Succeed, Fail, and Mislead
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);ZHAW Zurich University of Applied Sciences(苏黎世应用科技大学)
本文探讨光谱数据的高维特性如何影响机器学习模型的性能,揭示模型在化学区分缺失时仍能获得高精度的原因及特征重要性图的误导性。
2026-04-06 cond-mat.mtrl-sci cs.AI cs.LG
Why Smooth Stability Assumptions Fail for ReLU Learning
Department of Mathematics(数学系);Kabale University(卡巴大学)
本文指出ReLU激活函数的非平滑性导致传统稳定性假设失效,并提出非光滑意识的稳定性框架以应对这一问题。
2025-12-26 cs.LG math.OC
Why Do Probabilistic Clinical Models Fail To Transport Between Sites?
Vanderbilt University Medical Center(范德堡大学医学中心)
本文探讨了概率性临床模型跨站点迁移失败的原因,区分了实验者可控与数据生成过程固有的来源,并提出分离站点特定实践印记与疾病因果模式的潜在解决方案。
2023-12-28 cs.LG cs.PF stat.ML
Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works
National Taiwan University(台湾大学)
本文研究了二元奖励下GRPO算法中组均中心化优势失效的问题,提出通过固定参考Sign优势改进方法,显著提升性能,实验显示其在GSM8K数据集上表现优于传统方法。
2026-05-08 cs.LG
Why do zeroes happen? A model-based approach for demand classification
Centre for Marketing Analytics(营销分析中心);Lancaster University Management School(兰卡斯特大学管理学院)
针对需求预测中零值干扰、需求类型难区分导致预测失准、决策不佳的问题,提出两阶段基于模型的需求分类框架,可识别人为零值并划分需求类型,实证证明能提升预测精度、降低库存成本。
2025-11-13 cs.LG stat.ME
When Explanations Lie: Why Many Modified BP Attributions Fail
Dahlem Center of Machine Learning and Robotics(达勒姆机器学习与机器人中心);Freie Universität Berlin(柏林自由大学)
本文分析了多种修改后的BP归因方法,发现除DeepLIFT外大多数方法的解释与后续层参数无关,并提出了CSC指标和评估框架来衡量和解释这一缺陷。
2024-02-19 cs.LG stat.ML
Why Cannot Neural Networks Master Extrapolation? Insights from Physical Laws
Institute of Mathematics, EPFL, Switzerland(瑞士联邦理工学院数学研究所);Computational Engineering Lab, Empa, Switzerland(瑞士Empa计算工程实验室)
本文针对基础模型在时间序列长期外推预测上表现不佳的问题,从物理定律的对比视角识别并形式化决定模型域外预测能力的核心属性,结合理论与实证分析外推性能退化的根源,为下一代预测模型设计提供方向。
2025-11-17 cs.LG cs.NA math.NA