A Formal Framework for Uncertainty Analysis of Text Generation with Large Language Models
University of Passau(帕绍大学)
本文提出形式框架以测量文本生成中不确定性,考虑提示、生成和解释的相互关联过程,并展示如何通过过滤器和目标函数表达不确定性,揭示现有方法的关联性及未研究的不确定性方面。
2026-03-27 cs.CL cs.LG
To Believe or Not to Believe Your LLM
Google DeepMind(谷歌DeepMind)
本文提出一种基于信息论的不确定性量化指标,通过迭代提示检测大语言模型在单答案和多答案场景中的幻觉,优于标准策略。
2024-07-17 cs.AI cs.CL cs.LG
Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models
Shanghai Jiao Tong University(上海交通大学);Yale University(耶鲁大学)
本文提出GeM-CoT方法,通过先分类问题类型再从对应数据池自动采样或构建演示,在混合任务场景中同时提升思维链提示的泛化能力与推理性能,并在10个公共推理任务和23个BBH任务上验证了有效性。
2024-02-20 cs.AI cs.CL
MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs
Yale University(耶鲁大学);Google Research(谷歌研究);University of Toronto(多伦多大学)
针对大语言模型不确定性表达不忠实、现有校准方法效果有限的问题,提出受人类元认知启发的MetaFaith提示校准方法,显著提升多模型多领域的不确定性表达忠实度。
2025-10-02 cs.CL cs.LG
Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty
University of New South Wales(新南威尔士大学);Tencent Hunyuan(腾讯文言);Tencent Yuanbao(腾讯元宝);UESTC(电子科技大学);Peking University(北京大学)
本文提出E-GRM框架,利用模型内部不确定性选择性触发推理,减少计算成本并提升答案准确性。
2026-04-23 cs.CL
Large Language Models Must Be Taught to Know What They Don't Know
New York University(纽约大学);Abacus AI;Cambridge University(剑桥大学);Columbia University(哥伦比亚大学)
本文证明仅靠提示不足以校准大语言模型的不确定性,提出用少量分级样本微调模型特征即可高效获得可靠且可泛化的不确定性估计,并验证其可跨模型通用及辅助人机协作。
2025-08-17 cs.AI cs.CL cs.LG
Structured Uncertainty guided Clarification for LLM Agents
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(Adobe研究院)
本文提出结构不确定性框架,通过量化潜在问题的澄清价值,提升LLM代理在模糊任务中的推理效率和训练效率,展示了其在SAGE-Agent和ClarifyBench中的有效性。
2026-04-10 cs.AI cs.CL
Random Forest-of-Thoughts: Uncertainty-aware Reasoning for Computational Social Science
Queensland University of Technology(昆士兰科技大学);Wuhan University of Technology(武汉理工大学);University of Southern Queensland(南昆士兰大学)
针对社会调查分析中需要探索和不确定性搜索的复杂推理问题,提出随机思维森林(RFoT)提示方法,通过生成多样化思维空间并随机选择子思维构建思维森林,增强LLM决策能力,实验证明其在两个社会调查分析任务上显著提升性能。
2025-02-26 cs.CL
Know the Unknown: An Uncertainty-Sensitive Method for LLM Instruction Tuning
The Hong Kong University of Science and Technology(香港科学与技术大学)
针对LLM难以承认知识局限的问题,提出不确定性敏感的两阶段微调方法US-Tuning,增强知识边界识别与指令遵循,显著减少幻觉,并在Llama2-7B上超越GPT-4。
2025-05-29 cs.CL
Solving for X and Beyond: Can Large Language Models Solve Complex Math Problems with More-Than-Two Unknowns?
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了包含多未知数的新基准BeyondX,揭示了现有LLMs在未知数增加时性能显著下降,并提出Formulate-and-Solve策略有效提升模型解决多未知数问题的能力。
2024-07-06 cs.AI cs.CL cs.LG
Bidirectional Uncertainty-Based Active Learning for Open Set Annotation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Peking University(北京大学)
本文提出BUAL框架,通过随机标签负学习与双向不确定性采样策略,在开放集场景下联合评估正负学习的不确定性,成功选取高信息量已知类样本,实现了最先进的主动学习性能。
2024-07-07 cs.LG
Estimating Uncertainty from Reasoning: A Large-Scale Study of Multi- and Crosslingual MCQA Performance in LLMs
INSAIT(萨格勒布信息与智能技术研究所);Amazon(亚马逊)
研究对22种语言的不确定性估计方法进行大规模评估,使用两个人工整理的问答数据集,比较不同模型和架构下的UE方法。发现促使模型用英语推理可提升UE性能,缩小不同资源语言间的性能差距,且UE方法选择取决于模型规模,还给出了选择性预测阈值选择的分析。
2026-09-07 cs.AI cs.CL
Calibration of Structured Ignorance Certificates for Diagnosing Unknown Unknowns in Reasoning Models
University of California, Berkeley(加州大学伯克利分校)
提出结构化无知证书(SICs)输出格式,通过GRPO微调14B模型,使模型在无法回答时明确承认知识缺失并生成检索查询,在未知未知问题上实现99.46%的JSON有效性和0.967的证书特异性分数。
2026-06-07 cs.AI cs.CL cs.LG
Uncertainty Quantification and Decomposition for LLM-based Recommendation
Korea University(高丽大学)
针对LLM推荐存在的不确定性问题,本文提出预测不确定性估计框架及分解为推荐与提示不确定性的方法,实验验证其能有效指示推荐可靠性、分析来源并通过不确定性感知提示提升推荐效果。
2025-02-12 cs.CL cs.IR
A Komi-Yazva--Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation
HSE University, Perm, Russia(俄罗斯彼尔姆国立经济大学);School of Management SKOLKOVO, Moscow, Russia(莫斯科SKOLKOVO管理学院)
构建首个科米-亚兹瓦语-俄语平行语料库,并提出显式评估协议,研究大语言模型在极度低资源濒危语言翻译中的零样本和检索增强少样本性能。
2026-06-04 cs.CL
Adaptive GoGI-Skip: Coupling Goal-Gradient Importance with Dynamic Uncertainty for Efficient Reasoning
School of Information Science and Technology, Hangzhou Normal University(信息科学与技术学院,杭州师范大学)
提出Adaptive GoGI-Skip框架,通过非线性耦合目标梯度重要性和自适应动态跳过,在保持推理准确性的同时减少45%以上令牌量,加速高达2倍。
2026-06-23 cs.AI cs.CL
Enhancing Multi-view Open-set Learning via Ambiguity Uncertainty Calibration and View-wise Debiasing
Fuzhou University(福州大学);Monash University(墨尔本大学);Fujian Agriculture and Forestry University(福建省农业与林业大学)
本文提出一种多视图开放集学习框架,通过O-Mix合成模糊样本和HSIC对比去偏,增强未知类别识别并保持闭集性能。
2025-08-06 cs.CV cs.LG
VISION: Prompting Ocean Vertical Velocity Reconstruction from Incomplete Observations
Tsinghua University(清华大学);Squirrel Ai Learning;Nanyang Technological University(南洋理工大学);Tencent(腾讯)
针对不完整海面观测重建次表层垂直速度的难题,构建高分辨率基准KD48并提出基于动态提示的VISION模型,通过状态条件提示模块自适应处理缺失数据,显著优于现有方法且泛化性强。
2025-09-25 cs.CV cs.LG physics.ao-ph
Evaluating Uncertainty Quantification Methods in Argumentative Large Language Models
Imperial College London(帝国理工学院伦敦分校);King’s College London(伦敦国王学院)
本文评估了在论证大语言模型中不同不确定性量化方法在声明验证任务中的性能,发现直接提示法效果优于复杂方法。
2025-09-26 cs.AI cs.CL
The Power of Adaptation: Boosting In-Context Learning through Adaptive Prompting
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of North Texas(北得克萨斯大学);University at Buffalo(布法罗大学)
提出自适应提示方法Adaptive-Prompt,利用模型反馈动态选择示例以解决传统一次性选择导致的示例知识冗余问题,显著提升了大型语言模型在多种推理任务上的上下文学习性能。
2024-12-23 cs.AI cs.CL
Context-Aware Pragmatic Metacognitive Prompting for Sarcasm Detection
Computer Science Department(计算机科学系);School of Computer Science(计算机科学学院);Bina Nusantara University(宾努斯大学)
本文提出一种基于检索的元认知修辞提示方法,通过整合上下文信息提升LLMs在讽刺检测中的性能,实验显示在多个数据集上均取得显著提升。
2025-11-26 cs.AI cs.CL
Just Ask One More Time! Self-Agreement Improves Reasoning of Language Models in (Almost) All Scenarios
Kuaishou Technology(快手科技);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院)
针对思维链贪心解码的局限,提出Self-Agreement方法,通过采样多样化推理路径并再次提示模型选择最一致答案,在六个基准上显著提升推理性能并具备强泛化能力。
2024-05-24 cs.AI cs.CL
ChatGPT Prompting Cannot Estimate Predictive Uncertainty in High-Resource Languages
University of Groningen(格罗宁根大学)
本文研究ChatGPT在高资源语言中的表现及其置信度校准能力,发现其无法可靠估计预测不确定性,常过度自信且不给出低置信度值。
2023-11-10 cs.CL cs.LG
Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion
NUAA-MMMI(南京航空航天大学- MMMI)
本文提出APIE框架,通过反思困惑度评估,主动选择具有挑战性和信息量的样本,提升信息提取的准确性和鲁棒性。
2026-05-12 cs.AI cs.CL cs.IR
Measuring Non-Probabilistic Uncertainty: A cognitive, logical and computational assessment of known and unknown unknowns
Frankfurt School of Finance & Management(法兰克福金融与管理学院);University of Bologna(博洛尼亚大学)
概率论不能充分描述不确定性有两个原因。第一种是由于独特或近乎独特的事件,这些事件要么从未实现,要么发生得太少,以至于无法可靠地测量频率。第二个是当一个人害怕某件事可能发生时,他甚至无法弄清楚,例如,如果有人问:“气候变化、金融危机、流行病、战争,接下来会发生什么?“在这两种情况下,简单的一对一的认知地图之间的可用的替代品和可能的后果最终融化。然而,这种破坏以具体、可识别和不同的方式反映在企业高管、员工和其他利益相关者不断变化的叙述中。特别是,可以分析顾问报告或致股东的信函等文本,以查明这两种不确定性对通常指导决策的因果关系的影响。我们提出了认知地图的结构措施作为衡量非概率不确定性的一种手段,最终表明,自动文本分析可以大大增加这些技术提供的可能性。预期的应用可能涉及从统计机构到企业以及一般公众的各种行为者。
2023-03-16 cs.AI cs.LG
Improve Uncertainty Estimation for Unknown Classes in Bayesian Neural Networks with Semi-Supervised /One Set Classification
虽然深度神经网络(DNN)已经取得了许多最先进的结果,估计DNN模型和数据中存在的不确定性是一项具有挑战性的任务。与不确定性相关的问题,例如将未知类别(未出现在训练数据中的类别)数据分类为具有高置信度的已知类别,在安全域领域(例如,自动驾驶、医疗诊断)中受到严重关注。在本文中,我们表明,单独应用当前的贝叶斯神经网络(BNN)技术不能有效地捕捉不确定性。为了解决这个问题,我们引入了一种简单的方法来改进BNN,通过使用一个类分类(在本文中,我们使用术语“集合分类”代替)。我们经验性地显示了我们的方法在实验上的结果,该实验涉及三个数据集:MNIST,notMNIST和FMNIST。
2018-05-16 cs.LG stat.ML
Uncertainty Quantification for Deep Context-Aware Mobile Activity Recognition and Unknown Context Discovery
Texas A&M University(得克萨斯农工大学);University of Washington(华盛顿大学)
可穿戴计算中的活动识别面临两个关键挑战:i)活动特征可能是上下文相关的,并且在不同的上下文或情况下会发生变化; ii)未知的上下文和活动可能会不时发生,这需要算法的灵活性和适应性。我们开发了一种上下文感知的深度模型混合物,称为α- \b{eta}网络,结合基于最大熵的不确定性量化(UQ),以增强人类活动识别性能。我们通过以数据驱动的方式识别高级上下文来指导模型开发,从而将准确性和F分数提高了10%。为了确保训练的稳定性,我们在公共和内部数据集中使用了基于聚类的预训练,通过未知上下文发现提高了准确性。
2020-03-03 cs.LG stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)(坎皮纳斯州立大学 (Unicamp))
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量(例如熵),使用这些度量作为异常检测器的特征,并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型,从而产生更好的检测器。我们还提出了一种新的方法,称为单样本贝叶斯近似(OSBA)的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验,MNIST和CIFAR 10。我们比较了以下候选神经网络模型:极大似然,贝叶斯丢弃,OSBA和-对于MNIST --标准变分近似。我们表明,贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然,基本上相当于标准的变分近似,但更快。
2016-12-23 cs.LG cs.NE stat.ML
Uncertainty-aware Reward Model: Teaching Reward Models to Know What is Unknown
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Baichuan Inc.(百川公司);Tsinghua University(清华大学)
针对现有奖励模型(RMs)无法捕捉人类偏好不确定性及评估预测可靠性的问题,提出不确定性感知奖励模型(URM)及其集成变体URME,通过概率值头和集成差异分别量化随机与认知不确定性,在RewardBench及多实验中提升性能与LLMs生成质量。
2025-02-12 cs.LG
Open-Set LiDAR Panoptic Segmentation Guided by Uncertainty-Aware Learning
Department of Computer Science, University of Freiburg(弗赖堡大学计算机科学系);Bosch Research, Robert Bosch GmbH(博世研究)
针对自动驾驶场景下闭集激光雷达全景分割模型无法检测未知物体的问题,提出基于狄利克雷证据学习的不确定性引导开集分割框架ULOPS,通过三类不确定性损失增强已知/未知区分能力,在KITTI-360和nuScenes上取得优于现有方法的表现。
2025-09-02 cs.AI cs.CV cs.LG
Beyond a Single Signal: SPECTREG2, A Unified MultiExpert Anomaly Detector for Unknown Unknowns
Department of Electronics and Electrical Engineering(电子与电气工程系)
SPECTREG2通过结合八个互补信号检测多样结构异常,优于现有方法,在多个数据集上表现优异,尤其在检测新变量和混杂因素方面效果显著。
2026-03-22 cs.CV cs.LG
Classification Uncertainty of Deep Neural Networks Based on Gradient Information
Technische Universität Dortmund(多特蒙德工业大学);Bergische Universität Wuppertal(伍珀塔尔大学)
研究了基于梯度度量的卷积神经网络不确定性量化问题。与经典的softmax熵不同,这种度量从CNN的所有层收集信息。我们表明,对于EMNIST数字数据集,对于几个这样的指标,我们实现了相同的Meta分类精度-即在不知道实际标签的情况下将预测分类为正确或不正确的任务-作为熵阈值。我们将Meta分类应用于未知概念(分布样本)- EMNIST/Omniglot字母,CIFAR 10和噪声-并证明当使用熵与几个基于梯度的度量作为Meta分类器的输入量时,未知概念的Meta分类率可以增加。Meta分类器仅在已知概念的不确定性度量上训练,即EMNIST数字,通常对于所有未知概念都表现得不一样好。然而,如果我们允许Meta分类器在一些分布外样本的不确定性度量上进行训练,则远离EMNIST数字(然后称为已知未知数)的概念的Meta分类可以得到相当大的改进。
2018-07-26 cs.AI cs.CV cs.LG
Uncertainty about Uncertainty: Optimal Adaptive Algorithms for Estimating Mixtures of Unknown Coins
Brown University(布朗大学);IAS(高等研究院);Purdue University(普渡大学)
给定两个硬币群体之间的混合物,“正”硬币,每个都有-未知的和潜在的不同-偏置$\geq\frac{1}{2}+Δ$和“负”硬币与偏置$\leq\frac{1}{2}-Δ$,我们考虑的任务,估计分数$ρ$的正硬币内的附加误差$ε$。我们实现了$1-δ$成功概率的$Θ(\fracρ{ε^2Δ^2}\log\frac{1}δ)$样本的上限和下限,其中至关重要的是,我们的下限适用于所有完全自适应算法。因此,我们的样本复杂性界限对每个相关的问题参数都有紧密的依赖性。我们的下界证明的一个关键组成部分是一个分解引理(见引理17和18),展示了如何将部分自适应界组装成完全自适应界,这可能是独立的兴趣:虽然我们在伯努利随机变量(硬币)的特殊情况下调用它,但它适用于一般分布。我们目前的模拟结果,以证明我们的方法的实际效果为现实的问题参数众包应用程序,专注于“罕见事件”的制度,其中$ρ$是小的。我们的算法和下限的细粒度自适应风味与以前的工作在分布式测试和学习。
2021-02-05 cs.DS cs.LG stat.ML
An Uncertainty-Informed Framework for Trustworthy Fault Diagnosis in Safety-Critical Applications
Center for Risk and Reliability, University of Maryland, College Park(马里兰大学帕克分校风险与可靠性中心);Department of Civil and Environmental Engineering, University of California, Los Angeles(加利福尼亚大学洛杉矶分校土木与环境工程系);Garrick Institute for the Risk Sciences, University of California, Los Angeles(加利福尼亚大学洛杉矶分校加里克风险科学研究所);Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University(香港理工大学工业与系统工程系);Centre for Advances in Reliability and Safety Limited (CAiRS)(可靠性及安全进展中心有限公司)
人们对基于深度学习的预测和健康管理(PHM)越来越感兴趣,用于构建端到端维护决策支持系统,特别是由于自治系统的快速发展。然而,当处理来自与训练数据集不同的未知分布的数据时,PHM的低可信度阻碍了其在安全关键资产中的应用,所述未知分布被称为分布外(OOD)数据集。为了弥补这一差距,我们提出了一个不确定性信息框架来诊断故障,同时检测OOD数据集,从而实现学习未知数并实现值得信赖的故障诊断的能力。特别是,我们开发了一个概率贝叶斯卷积神经网络(CNN)来量化故障诊断中的认识和偶然不确定性。故障诊断模型用大的预测不确定性标记OOD数据集以供专家干预,并且有信心在可容忍的不确定性内为数据提供预测。这导致可靠的故障诊断,并降低了错误决策的风险,从而潜在地避免了不良后果。轴承故障诊断的三个OOD数据集归因于随机数生成,一个未知的故障模式,和四个常见的传感器故障,分别证明了所提出的框架。结果表明,所提出的框架是特别的优势,在处理未知数和提高可靠性的故障诊断在安全关键应用。
2021-10-08 cs.LG
Physics-Informed Graph Learning with Uncertainty Awareness for Open-Set Domain Generalization in Fault Diagnosis
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
针对旋转机械故障诊断面临的未知故障类型和工况变化导致的域转移挑战,提出PGU - OD框架,通过设计物理信息谱注意力模块、构建不确定性感知自适应图学习机制及开发相关损失函数和推理策略,提升故障诊断性能。
2026-07-07 cs.LG
Safe learning-based control via function-based uncertainty quantification
Aalto University(阿尔托大学);Uppsala University(乌普萨拉大学)
本文提出一种基于函数的不确定性量化方法,用于安全学习控制,通过场景方法构建高概率的不确定性管,结合安全贝叶斯优化算法在真实Furuta摆上安全调节控制参数。
2026-09-24 cs.LG cs.SY eess.SY
When LLMs meet open-world graph learning: a new perspective for unlabeled data uncertainty
Department of Computer Science and Technology(计算机科学与技术系);Beijing Institude of Technology(北京理工大学);Ant Group(蚂蚁集团)
针对开放世界文本属性图学习中标签有限、未知类别节点处理不足及缺乏有效标注流程的问题,提出结合自适应标签可追溯性与图标注器的LLM框架OGA,经实验验证其有效且实用。
2025-05-21 cs.AI cs.LG
Known Meets Unknown: Mitigating Overconfidence in Open Set Recognition
Wuhan University of Technology(武汉理工大学);Wuhan University(武汉大学)
针对开放集识别中语义相似未知样本易引发模型过度自信、模糊已知未知类决策边界的问题,本文提出含扰动不确定性估计与两阶段未知检测模块的框架,在三个公开数据集上性能优于现有方法。
2025-11-15 cs.AI cs.CV cs.LG
Deep Learning based Uncertainty Decomposition for Real-time Control
Technical University of Munich(慕尼黑工业大学);Vanderbilt University(范德堡大学)
本文提出一种基于深度学习的训练数据缺失检测方法,将其作为认知不确定性代理,可与偶然不确定性估计结合并实现无采样实时推理,且在模拟四旋翼飞行器上验证了在线数据高效控制效果。
2023-07-12 cs.AI cs.LG cs.RO
Overconfidence is Key: Verbalized Uncertainty Evaluation in Large Language and Vision-Language Models
University of Groningen(格罗宁根大学)
本文构建JUS数据集并提出NCE指标,通过提示评估多种LLM与VLM的言语化不确定性,发现模型普遍过度自信、校准误差高,回归输出的置信区间也不可靠。
2024-05-05 cs.CL cs.CV cs.LG
Learned imaging with constraints and uncertainty quantification
School of Computational Science and Engineering(计算科学与工程学院);Georgia Institute of Technology(佐治亚理工学院)
我们概述了将深度学习的思想融入基于波的最小二乘成像的新方法。这项工作的目的和主要贡献是将手工制作的约束与深度卷积神经网络相结合,作为利用其生成自然图像的显着简便性的一种方式。我们的方法的数学基础是期望最大化框架,其中数据被分批划分,并耦合到额外的“潜在”未知数。这些未知数是来自原始未知空间的元素对(但现在耦合到特定的数据批次)和网络输入。在这种设置中,神经网络控制这些附加参数之间的相似性,充当“中心”变量。由此产生的问题相当于一个最大似然估计的网络参数时,增强的数据模型被边缘化的潜在变量。
2019-12-01 cs.LG eess.IV physics.geo-ph
Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms
University of California, Davis(加州大学戴维斯分校)
研究了需求模型未知情况下的动态定价问题。在这个问题中,卖方向一群顾客提供价格,并观察每次销售尝试的成功或失败。潜在的需求模型是未知的卖方,可以采取N种可能的形式之一。在本文中,我们表明,这个问题可以制定为一个多臂土匪依赖武器。我们提出了一种基于似然比检验的动态定价策略。我们表明,所提出的政策实现了完全学习,即,它提供了一个有界的遗憾,其中遗憾被定义为相对于具有已知需求模型的情况的收入损失。这与具有独立武器的多臂强盗的对数增长的后悔形成鲜明对比。
2012-10-27 cs.LG
On Uncertainty Quantification for Near-Bayes Optimal Algorithms
University of Oxford(牛津大学)
本文提出一种基于鞅后验的通用不确定性量化方法,利用常用机器学习算法接近贝叶斯最优的特性,在未知任务分布下恢复贝叶斯后验,并通过多种非神经网络和神经网络算法实验验证其有效性。
2024-10-21 cs.LG stat.ML
Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality
Princeton University(普林斯顿大学)
我们研究的分布和不确定性的非凸优化噪声张量完成-估计一个低秩张量的不完整和损坏的观察其条目的问题。专注于Cai等人提出的两阶段估计算法。(2019),我们将这种非凸估计量的分布特征描述为精细尺度。这种分布理论又允许我们为未知的张量项和未知的张量因子构造有效且短的置信区间。所提出的推理过程具有以下几个重要特征:(1)它完全适应噪声异方差,(2)它是数据驱动的,并自动适应未知的噪声分布。此外,我们的研究结果揭示了非凸张量完成的统计最优性:当估计未知张量和潜在张量因子时,它达到了不可改进的$\ell_{2}$精度-包括速率和预常数。
2020-06-15 cs.IT cs.LG math.IT
Enhancing Electricity-System Resilience with Adaptive Robust Optimization and Conformal Uncertainty Characterization
Heinz College of Information Systems and Public Policy, Carnegie Mellon University(信息系统与公共政策学院,卡内基梅隆大学);Carnegie Mellon Electricity Industry Center(卡内基梅隆电力产业中心);Wilton E. Scott Institute for Energy Innovation(威利特·E·斯科特能源创新研究所);Department of Engineering and Public Policy, Carnegie Mellon Electricity Industry Center(工程与公共政策系,卡内基梅隆电力产业中心);Department of Electrical and Computer Engineering, Heinz College of Information Systems and Public Policy(电气与计算机工程系,信息系统与公共政策学院);Department of Integrated Systems Engineering, The Ohio State University(整合系统工程系,俄亥俄州立大学)
针对极端天气下电力系统弹性提升的需求,本文提出整合主动措施、对抗性扰动与被动响应的三层优化模型,结合共形预测构建无分布扰动不确定性集,通过对偶理论与Bender's分解求解,实验证明其性能优于传统方法。
2025-10-01 cs.LG
Fast Neural-Network Approximation of Active Target Search Under Uncertainty
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文提出用卷积神经网络近似主动搜索算法,以降低在线计算成本,通过多通道网格训练实现目标检测率与传统方法相当。
2026-04-24 cs.LG cs.MA
Enhancing Trustworthiness in ML-Based Network Intrusion Detection with Uncertainty Quantification
University of Milano-Bicocca(米兰比可卡大学)
针对基于 ML 的入侵检测系统预测过度自信问题,本文比较多种不确定性量化与开集分类方法,并提出基于贝叶斯神经网络的模型以提升 OoD 检测和系统可信度。
2024-04-09 cs.CR cs.LG
Active Learning Using Uncertainty Information
Delft University of Technology(代尔夫特理工大学);National University of Defense Technology(国防科技大学);University of Copenhagen(哥本哈根大学)
许多主动学习方法都属于基于再训练的方法,即选择一个未标记的实例,将其添加到训练集,再训练分类模型,并评估我们选择的标准。然而,由于所选实例的真实标签是未知的,这些方法诉诸于计算关于未知标签的平均情况或最差情况的性能。在本文中,我们提出了一种不同的方法来解决这个问题。特别是,我们的方法旨在利用不确定性信息来提高基于再训练的模型的性能。我们将我们的方法应用于两种最先进的算法,并在各种真实世界的数据集上进行了广泛的实验。结果清楚地表明了所提出的方法的有效性,并表明它可以减少人类标记的努力,在许多现实生活中的应用。
2017-02-27 cs.LG stat.ML
Adaptive Robust Model Predictive Control with Matched and Unmatched Uncertainty
Stanford University(斯坦福大学)
我们提出了一种基于学习的鲁棒预测控制算法,补偿一类离散时间系统的动态显着的不确定性,名义上是线性的添加剂的非线性组件。这样的系统通常对未知环境对标称系统的非线性影响进行建模。我们优化一类非线性反馈策略的灵感来自确定性等效的“估计和取消”控制律开创了经典的自适应控制,以实现显着的性能改善存在的不确定性大幅度,现有的基于学习的预测控制算法往往难以保证安全。与以前在鲁棒自适应MPC中的工作相比,我们的方法允许我们利用结构(即,数值预测)在通过函数逼近在线学习的先验未知动力学中。我们的方法还扩展了典型的非线性自适应控制方法的状态和输入约束的系统,即使我们不能直接取消添加剂的不确定性功能的动态。此外,我们采用当代的统计估计技术,以证明系统的安全性,通过持久的约束满足高概率。最后,我们在模拟中表明,我们的方法可以容纳更显着的未知动力学项比现有的方法。
2021-10-13 cs.LG cs.RO cs.SY
Residual SODAP: Residual Self-Organizing Domain-Adaptive Prompting with Structural Knowledge Preservation for Continual Learning
Department of Electrical and Computer Engineering, Sungkyunkwan University, Suwon 16419, Republic of Korea(釜山大学电气与计算机工程系,Suwon 16419,韩国)
本文提出残差SODAP,结合提示表示适应与分类器级知识保留,通过α-entmax稀疏提示选择、残差聚合、数据无关蒸馏与伪特征重放等方法,在无任务ID和额外数据存储的三个DIL基准上取得最优AvgACC/AvgF性能。
2026-03-13 cs.AI cs.CV cs.LG
Mathematical Theory of Bayesian Statistics for Unknown Information Source
Tokyo Institute of Technology(东京工业大学)
在统计推断中,不确定性是未知的,所有模型都是错误的。也就是说,一个建立统计模型和先验分布的人同时意识到两者都是虚构的候选人。为了研究这种情况,统计措施,如交叉验证,信息标准,和边际似然,然而,他们的数学性质尚未完全澄清时,统计模型的参数不足和过度。我们介绍了一个地方的数学理论贝叶斯统计的未知的不确定性,它澄清了一般属性的交叉验证,信息标准,和边际似然,即使一个未知的数据生成过程是无法实现的模型,或者即使后验分布不能近似的任何正态分布。因此,它为一个不能相信任何特定模型和先验的人提供了一个有用的观点。本文共分三个部分。第一个是新的结果,而第二个和第三个是众所周知的新实验的结果。我们证明了存在比留一交叉验证更精确的泛化损失估计,存在比BIC更精确的边缘似然近似,并且泛化损失和边缘似然的最佳超参数是不同的。
2023-02-10 cs.LG math.ST stat.TH
Online Resource Allocation under Horizon Uncertainty
Columbia University(哥伦比亚大学)
针对水平线未知的随机在线资源分配问题,提出鲁棒算法,引入对偶镜像下降推广,实现接近最优的竞争比,并支持整合机器学习预测。
2023-06-22 cs.DS cs.LG math.OC
A deep-learning based Bayesian approach to seismic imaging and uncertainty quantification
Georgia Institute of Technology(佐治亚理工学院)
不确定性量化是必不可少的,当处理病态的反问题,由于固有的非唯一性的解决方案。贝叶斯方法允许我们通过公式化后验分布来确定未知参数的估计的可能性。不幸的是,通常不可能用公式表示一个先验分布,它精确地编码了我们关于未知的先验知识。此外,坚持手工制作的先验可能会极大地偏倚贝叶斯分析的结果。为了解决这个问题,我们建议使用随机初始化的卷积神经网络的函数形式作为隐式结构化先验,这被证明可以促进自然图像并排除具有非自然噪声的图像。为了将模型的不确定性纳入最终估计,我们使用随机梯度Langevin动力学对后验分布进行采样,并对获得的样本进行贝叶斯模型平均。我们的合成数值实验验证了深度先验与贝叶斯模型平均相结合能够部分规避成像伪影并降低极端噪声存在下过拟合的风险。最后,我们提出了逐点方差的估计作为衡量的不确定性,这与更难以成像的区域相吻合。
2020-01-15 cs.LG physics.geo-ph stat.ML
Unscented KalmanNet: Structure-Preserving Deep Learning with Calibrated Posterior Uncertainty under Incomplete Physics and Unknown Noise
The University of Texas at Tyler(德克萨斯大学泰勒分校);The Ohio State University(俄亥俄州立大学)
该研究提出混合递归估计器 UKN,通过添加 NoiseNet 和 GainNet 组件优化 UKF,在合成与真实飞行数据基准测试中,其状态估计误差、RMSE 及协方差校准效果均优于对比算法。
2026-08-13 cs.LG cs.NA eess.SP