CUE: An Uncertainty Interpretation Framework for Text Classifiers Built on Pre-Trained Language Models
King’s College London(伦敦国王学院);University of Warwick(华威大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Alan Turing Institute(艾伦·图灵研究所)
本文提出 CUE 框架,利用变分自编码器映射并扰动 PLM 表示的潜在空间,依据不确定性波动定位相关维度并追溯输入特征,在四个基准上验证了可行性。
2023-06-06 cs.CL
Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
Ewha Womans University(成均馆大学)
本文提出Cleanse方法,通过聚类分析LLM隐藏嵌入的语义一致性来量化不确定性,从而检测幻觉,并在多个模型和问答基准上验证了其有效性。
2025-07-19 cs.AI cs.CL
Uncertainty in Authorship: Why Perfect AI Detection Is Mathematically Impossible
UNIVERSITAT POLITECNICA DE VALENCIA(瓦伦西亚理工大学)
本文通过类比量子不确定性论证,指出在自然语言中完美检测AI生成文本在理论上是不可能的,因为提高检测置信度会破坏文本的自然流畅与真实性,反映了语言本质中不可避免的张力。
2025-09-15 cs.CL
DUD: Decoupled Update Dynamics for Reliable Uncertainty Quantification in Large Language Models
本研究针对大语言模型不确定性量化的传统方法缺陷,提出DUD框架通过因果干预解耦FFN与注意力的更新贡献,实验表明其在不确定性估计、校准及跨数据集泛化上均优于现有基线。
2026-08-05 cs.CL
Revisiting Softmax for Uncertainty Approximation in Text Classification
University of Copenhagen(哥本哈根大学)
针对文本分类中MC Dropout不确定性近似计算成本高的问题,本文通过多数据集多架构实证对比,发现低成本的softmax的不确定性估计效果具竞争力,可作为计算资源受限时的替代方案。
2023-07-19 cs.CL cs.LG
Can We Trust the Performance Evaluation of Uncertainty Estimation Methods in Text Summarization?
Virginia Tech(弗吉尼亚理工大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对文本摘要不确定性估计评估因依赖冲突NLG指标而可靠性存疑的问题,本文构建含31项NLG指标的综合基准,测试多类模型与14种常用方法,证实多维度指标与方法结合可提升评估可靠性。
2024-10-09 cs.CL cs.LG
Unsupervised Controllable Text Formalization
IBM Research(IBM研究院)
我们提出了一个新的可控自然语言转换框架。针对可控生成任务对并行语料库的需求难以满足的问题,提出了一种无监督的训练方案。该框架的关键是一个深度神经编码器-解码器,它通过辅助模块(称为评分器)用文本转换知识来加强。评分器基于现成的语言处理工具,根据其动作决定编码器-解码器的学习方案。我们应用这个框架的文本转换任务的形式化输入文本,通过提高其可读性等级,所需的形式化程度可以由用户在运行时控制。在公共数据集上的实验证明了我们的模型的有效性:(a)将给定的文本转换为更正式的风格,以及(b)在与输入控件相关的输出文本中引入适量的形式化。我们的代码和数据集发布用于学术用途。
2019-02-20 cs.CL cs.LG
Persian Slang Text Conversion to Formal and Deep Learning of Persian Short Texts on Social Media for Sentiment Classification
Tarbiat Modares University(塔比阿特莫达雷斯大学)
本文提出波斯语俚语转换工具 PSC,将社交媒体会话文本转为正式文本,并结合 FastText 与深度 LSTM 对短文本进行情感分类,在 Instagram 评论数据上取得 81.91% 准确率。
2024-09-03 cs.CL cs.LG
Uncertainty-aware Self-training for Text Classification with Few Labels
Microsoft Research AI(微软人工智能研究院)
最近大规模预训练语言模型的成功关键在于对下游任务的大量标记数据进行微调,这些数据通常是昂贵的。在这项工作中,我们研究了自我训练作为最早的半监督学习方法之一,以减少注释瓶颈,利用大规模的未标记的数据的目标任务。标准的自训练机制从未标记的池中随机采样实例,以伪标记和增强标记数据。在这项工作中,我们提出了一种方法,以提高自我训练,结合不确定性估计的基础神经网络利用贝叶斯深度学习的最新进展。具体来说,我们提出了(i)利用蒙特卡罗(MC)Dropout从未标记池中选择实例的获取函数,以及(ii)利用模型置信度进行自我训练的学习机制。作为一个应用程序,我们专注于五个基准数据集上的文本分类。我们展示了我们的方法,每个任务每个类只利用20-30个标记样本进行训练和验证,可以在3%以内执行完全监督的预训练语言模型,在数千个标记实例上进行微调,总准确率为91%,比基线提高高达12%。
2020-06-27 cs.CL cs.LG
Multi-group Uncertainty Quantification for Long-form Text Generation
Carnegie Mellon University(卡内基梅隆大学)
针对长文本生成中现有不确定性量化方法在数据子组上保证失效的问题,引入多校准和多验证共形预测等组条件方法,利用子组信息提升子组内不确定性量化效果且保留全局保证,并构建了相关基准。
2025-06-12 cs.AI cs.CL cs.LG
Characterizing Uncertainty in the Visual Text Analysis Pipeline
TU Eindhoven(埃因霍温理工大学);ETH Zürich(苏黎世联邦理工学院);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Lund University(隆德大学)
当前的视觉文本分析方法依赖于复杂的处理管道。这种管道的每一步都可能放大前一步的任何不确定性。为了确保结果的可理解性和互操作性,至关重要的是不仅要清楚地传达输出的不确定性,而且要在管道内传达不确定性。在本文中,我们沿着视觉文本分析管道的不确定性的来源。在标签,建模和分析的三个阶段中,我们确定了六个来源,讨论了它们产生的不确定性类型以及它们如何传播。
2022-09-22 cs.HC cs.LG
Forking Fast: Efficiently Estimating Uncertainty Dynamics in Text Generation
针对文本生成中不确定性动态估计成本高的问题,本研究开发统计模型平滑低采样推理数据以近似高采样数据,提升重采样分析效率,揭示不确定性动态的稳定模式及噪声来源。
2026-08-21 cs.AI cs.CL cs.LG
Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对多模态基础模型在机器人感知与规划中的不确定性问题,提出解耦、量化并缓解感知与决策不确定性的框架,通过保形预测、FMDP量化及靶向干预,降低变异性40%、提升成功率5%,增强系统可靠性。
2025-04-17 cs.AI cs.CV cs.LG
What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability
University of Amsterdam(阿姆斯特丹大学);ITU Copenhagen(哥本哈根信息技术大学);MCML Munich(慕尼黑机器学习中心);LMU Munich(慕尼黑大学)
本文研究神经文本生成器在NLG任务中面对人类产出变异时的不确定性,通过实例级方法分析模型概率分布与解码算法,证明多采样和多参考探查能更好理解模型的不确定性表示。
2023-10-20 cs.AI cs.CL cs.LG
Uncertainty-based Cross-Modal Retrieval with Probabilistic Representations
Samsung AI Centre Toronto(多伦多三星人工智能中心);York University(约克大学);University of Toronto(多伦多大学)
概率嵌入已被证明对于捕获多义词含义以及图像匹配中的歧义是有用的。在本文中,我们研究了概率嵌入在跨模态设置(即,文本和图像),并提出了一种简单的方法,取代标准的矢量点嵌入在现有的图像-文本匹配模型与概率分布,参数学习。我们的指导假设是,概率嵌入中编码的不确定性捕获了输入实例中的跨模态模糊性,并且通过捕获这种不确定性,概率模型可以在下游任务中表现得更好,例如图像到文本或文本到图像检索。通过对标准和新基准的广泛实验,我们在跨模态检索中展示了概率表示的一致优势,并验证了我们的嵌入捕获不确定性的能力。
2022-04-20 cs.CL cs.CV cs.IR
Towards Understanding and Quantifying Uncertainty for Text-to-Image Generation
U2IS ENSTA Paris Institut Polytechnique de Paris(巴黎综合理工学院ENSTA巴黎分校U2IS研究所);Mirai;Imperial College London(伦敦帝国学院);NVIDIA(英伟达公司)
本文首次针对提示词量化T2I模型不确定性,提出利用LVLMs的PUNC方法,通过文本空间比较实现随机与认知不确定性分离,实验性能更优,还提供数据集并拓展至偏见检测等应用,助力模型可信度提升。
2024-12-04 cs.AI cs.CV cs.LG
Quantifying the Uncertainty of Precision Estimates for Rule based Text Classifiers
Oak Ridge National Laboratory(橡树岭国家实验室)
基于规则的分类器使用关键子串的存在和不存在来进行分类决策,具有用于量化其精度的不确定性的自然机制。对于二元分类器,关键的见解是将由文档引起的子串集合的分区视为伯努利随机变量。每个随机变量的平均值是分类器的精度的估计,当呈现诱导该分区的文档时。可以使用标准统计测试将这些平均值与期望或预期的分类器精度进行比较。一组二进制分类器可以通过应用Dempster-Shafer证据理论组合成单个多标签分类器。这种方法的实用性证明了一个基准问题。
2020-05-19 cs.AI cs.CL cs.LG
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出自适应对比搜索解码策略,通过模型每一步的估计不确定性引导自适应退化惩罚,在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
Efficient, Uncertainty-based Moderation of Neural Networks Text Classifiers
University of Hamburg(汉堡大学)
为了最大限度地提高准确性和提高文本分类器的整体接受度,我们提出了一个有效的框架,在操作中调节分类器的输出。我们的框架侧重于现代神经网络分类器的F1分数(约90%,在实践中仍不适用。我们提出了一种半自动化的方法,使用预测的不确定性,通过不自信,可能是不正确的分类人类主持人。为了最大限度地减少工作量,我们将人工调节的数据限制在准确性增益饱和并且进一步的人工努力不会导致实质性改进的程度。基于三个不同数据集和三个最先进的分类器的一系列基准测试实验表明,我们的框架可以将分类F1分数提高5.1%至11.2%(高达约10%)。98%至99%),同时与随机适度相比,将适度负载降低至73.3%。
2022-04-04 cs.LG
An Axiomatic Assessment of Entropy- and Variance-based Uncertainty Quantification in Regression
LMU Munich(慕尼黑莱布尼茨大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);DLR-German Aerospace Center University of Tromsø(德国航空航天中心图勒大学);German Research Center for Artificial Intelligence (DFKI, DSA)(德国人工智能研究中心)
针对机器学习中不确定性量化研究多聚焦分类、回归领域形式化论证与评估有限的问题,用通用参数公式表示连续空间不确定性,提出公理集严格评估相关不确定性测度,以熵和方差测度为例分析其局限性。
2026-07-07 cs.LG stat.ML
Improving Uncertainty Estimation through Semantically Diverse Language Generation
ELLIS Unit Linz and LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz(林茨ELLIS单元和LIT AI实验室,机器学习研究所,林茨约瑟夫·胡纳克大学);NXAI GmbH(NXAI公司)
针对LLM因预测不确定性导致幻觉的问题,提出语义多样化语言生成(SDLG)方法,通过引导模型生成多样化替代文本来精确量化不确定性,在问答任务中性能优于现有方法且计算效率最高。
2025-11-04 cs.AI cs.LG
EMoE: Training-Free Expert Disagreement for Uncertainty-Aware Text-to-Image Diffusion
McGill University(麦吉尔大学);Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心 (BSC));Ideogram AI
提出EMoE方法,通过预训练MoE扩散模型中早期MoE层的专家分歧,无需训练即可估计认知不确定性,用于提示风险诊断和生成质量排序。
2026-05-29 cs.AI cs.LG
Signal-Aware Workload Shifting Algorithms with Uncertainty-Quantified Predictors
California Institute of Technology(加州理工学院);University of Massachusetts(马萨诸塞大学)
针对在线工作负载转移的决策难题,本文提出整合不确定性量化预测的$\texttt{UQ-Advice}$算法,建立理论性能保证,实验证明其性能优于现有基线方法。
2025-09-30 cs.DS cs.LG
Cross-Attentive Bayesian Low-Rank Adaptation for Multimodal Uncertainty Estimation
Dalhousie University(达尔豪斯大学)
本文提出CALIBER框架,通过跨模态注意力机制实现多模态不确定性感知的参数高效微调,实验表明其在文本和音频模型上均优于传统基线方法。
2026-10-27 cs.AI cs.LG
Beyond Feature Fusion: Contextual Bayesian PEFT for Multimodal Uncertainty Estimation
Dalhousie University(达尔豪斯大学)
本文提出CoCo-LoRA,一种结合音频上下文的多模态不确定性感知参数高效微调方法,通过在低秩空间中条件化上下文变分后验,实现对音频等外部因素的不确定性建模,提升语音应用的可靠性。
2026-10-27 cs.AI cs.LG
Quantifying Epistemic Uncertainty in Deep Learning
Columbia University(哥伦比亚大学)
本文提出一个理论框架,将深度学习中的认知不确定性分解为程序变异性和数据变异性,并基于影响函数和批处理提出两种估计方法,实验验证其有效性和指导意义。
2023-06-18 cs.LG stat.ME stat.ML