Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences
Stanford University(斯坦福大学)
针对语言模型难以准确进行绝对置信度评估的问题,提出相对置信度估计方法,通过让模型对问题进行相对置信度判断并结合排名聚合方法生成分数,在多模型和多任务上证明了其优于绝对置信度估计和自洽性方法。
2025-02-03 cs.CL
Hierarchical Character-Word Models for Language Identification
University of Washington(华盛顿大学)
社交媒体信息的简短和非常规拼写对语言识别构成了挑战。我们引入了一个层次模型,学习字符和上下文的单词级表示语言识别。我们的方法对强基线表现良好,也可以揭示码转换。
2016-08-10 cs.CL
Direct Confidence Alignment: Aligning Verbalized Confidence with Internal Confidence In Large Language Models
Algoverse AI Research(Algoverse AI研究院)
本文提出直接置信对齐方法,通过优化使LLM的 verbalized 置信度与内部置信度对齐,提升模型透明度和可靠性。
2025-12-12 cs.CL
Language Identification for Austronesian Languages
University of Canterbury(坎特伯雷大学);New Zealand Institute for Language, Brain and Behaviour(新西兰语言、大脑与行为研究所)
本文提供了语言识别模型,在太平洋地区的低和资源不足的语言,重点是以前不可用的南岛语系。准确的语言识别是开发语言资源的重要组成部分。本文采用的方法结合了29种南岛语和171种非南岛语,从8个数据源中创建了一个评估集。在评估了六种语言识别方法后,我们发现基于跳跃语法嵌入的分类器比其他方法达到了更高的性能。然后,我们系统地增加模型中非南岛语族语言的数量,总共增加到800种语言,以评估增加的语言库存是否会导致对南岛语族语言的预测不那么精确。这一评估发现,增加非南岛语的数量对准确性的影响微乎其微。进一步的实验将这些语言识别模型用于代码转换检测,在所有29种语言中实现了高准确度。
2022-06-09 cs.CL
LanideNN: Multilingual Language Identification on Character Window
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
语言识别是自然语言处理的第一步,我们希望自动确定输入文本的语言。单语语言识别假设给定的文档是用一种语言编写的。在多语言识别中,文档通常是两种或三种语言,我们只需要它们的名称。我们的目标更进一步,并提出了一种文本语言识别的方法,其中语言可以任意改变,目标是识别每种语言的跨度。我们的方法是基于双向递归神经网络,它在单语和多语种的语言识别任务上表现良好,在6个数据集,涵盖131种语言。该方法对于短文档和跨域也保持了准确性,因此它是不准备训练数据的现成使用的理想方法。
2017-07-29 cs.CL
Language Identification of Devanagari Poems
IIIT Bhubaneswar(布巴内斯瓦尔印度信息技术学院);IIT BHU(印度理工学院瓦拉纳西分校)
语言识别是多个文本处理流水线中非常重要的一部分。在这一领域进行了广泛的研究。本文提出了一个自动语言识别的诗歌分析任务,包括10个梵文为基础的印度语言,即Angika,Awadhi,Braj,Bhojpuri,Chhattisgarhi,Garhwali,Haryanvi,印地语,Magahi,Maithili。我们整理了不同长度的诗歌语料库,并在词汇层面上研究了这10种语言诗歌的相似性。最后,应用和评估了基于监督机器学习和深度学习技术的各种语言识别系统。
2020-12-30 cs.CL
Automatic Language Identification System for Hindi and Magahi
JNU(贾瓦哈拉尔·尼赫鲁大学)
语言识别已经成为各种自动化文本处理系统的先决条件。在本文中,我们提出了一个基于规则的语言标识符工具,两个密切相关的印度雅利安语言:印地语和Magahi。该系统目前已达到约86.34%的准确度。我们希望在未来改进这一点。语言的自动识别对提高网络爬虫的准确性具有重要意义。
2018-04-13 cs.CL
Uralic Language Identification (ULI) 2020 shared task dataset and the Wanca 2017 corpus
University of Helsinki(赫尔辛基大学)
本文介绍了从互联网上抓取的Wanca 2017文本语料库,从中收集了用于乌拉尔语言识别(ULI)2020共享任务的稀有乌拉尔语言的句子。我们描述了ULI数据集,以及它是如何使用Wanca 2017语料库和莱比锡语料库集合中不同语言的文本构建的。我们还提供了使用ULI 2020数据集进行的基线语言识别实验。
2020-08-27 cs.CL
Open-Set Language Identification
Harvard Medical School(哈佛医学院)
我们提出了第一个开放集的语言识别实验,使用一类分类。我们首先强调传统的特征提取方法的缺点,并提出了一种基于哈希的特征向量化方法作为解决方案。使用来自不同书写系统的10种语言的数据集,我们仅使用每种语言的单语语料库来训练一类支持向量机。每个模型都针对来自所有10种语言的测试数据集进行评估,我们的平均F分数为0.99,突出了这种方法在开集语言识别中的有效性。
2017-07-16 cs.CL
Improving low-resource ASR using bilingual fine-tuning with language identification: a cross-linguistic evaluation
University of Groningen(格罗宁根大学);Fryske Akademy(弗里斯兰科学院);Vrije Universiteit Brussel(布鲁塞尔自由大学)
研究双语微调对低资源语言语音识别的影响,在九种语言对中评估,通过语言识别令牌区分语言,发现高语言识别准确率时双语微调有效,低准确率时推理时加入令牌可提升性能。
2026-06-17 cs.CL
Revisiting Epistemic Markers in Confidence Estimation: Can Markers Accurately Reflect Large Language Models' Uncertainty?
Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
研究探讨了大语言模型中置信度标记是否能准确反映其不确定性,通过多数据集评估发现标记在同分布下表现稳定,但异分布下存在不一致,质疑了置信度标记的可靠性。
2026-04-11 cs.CL
Rediscovering the Slavic Continuum in Representations Emerging from Neural Models of Spoken Language Identification
Saarland University(萨尔兰大学)
深度神经网络已经被用于各种口语识别任务,包括定义为多语言的任务,例如口语识别。在本文中,我们提出了一个神经模型斯拉夫语识别语音信号和分析其紧急表示,以调查它们是否反映语言相关性和/或非语言学家的感知语言相似性的客观措施。虽然我们的分析表明,语言表征空间确实在很大程度上捕捉语言相关性,但我们发现,在我们的研究中,语言之间的感知混淆是语言表征相似性的最佳预测因素。
2020-10-22 cs.CL
When Confidence Misleads: Suffix Anchoring and Anchor-Proximity Confidence Modulation for Diffusion Language Models
RICS(智能研究学院);AIIS(人工智能研究所);IPAI(人工智能研究所);Department of Intelligence and Information(智能与信息系);Daegu Gyeongbuk Institute of Science and Technology(大邱庆州市科学技术院)
针对扩散语言模型中置信度误导导致生成不完整或过早解码的问题,提出后缀锚定与锚邻近置信度调制方法,无需训练即可提升完全非自回归解码性能。
2026-08-11 cs.CL
Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models
Baidu Inc.(百度公司)
本文描述了Galileo在SemEval-2020任务12中检测和分类社交媒体中的攻击性语言的性能。针对攻击性语言识别问题,提出了一种基于预训练语言模型、ERNIE和XLM-R的多语种识别方法。针对攻击性语言的分类问题,提出了一种基于软标签的知识蒸馏方法。我们的团队参与了所有三个子任务。在子任务A -攻击性语言识别中,我们在所有语言的平均F1分数方面排名第一。我们也是唯一一支在所有语言中排名前三的团队。我们还在子任务B -犯罪类型自动分类和子任务C -犯罪目标识别中获得了第一名。
2020-10-07 cs.CL
IndicTriMix: Developing Language Identification Datasets and Models for Tri-Language Code-Mixing
Sardar Vallabhbhai National Institute of Technology Surat(萨达尔·瓦拉巴伊国家理工学院苏拉特校区);TCS Research Hyderabad(塔塔咨询服务公司海得拉巴研究中心)
本文提出IndicTriMix,通过微调MuRIL和XLM-RoBERTa模型,利用平行句生成代码混合数据,构建三语语言识别基准,有效实现标记级语言识别。
2026-09-11 cs.CL
Are Large Language Models More Honest in Their Probabilistic or Verbalized Confidence?
University of Chinese Academy of Sciences(中国科学院大学)
本文比较了LLMs对知识边界的概率感知与语言化感知,发现概率感知更准确但需域内验证集调阈值,两者在低频问题上表现更佳,且模型难以用自然语言准确表达内部置信度。
2024-08-19 cs.CL
Short Text Language Identification for Under Resourced Languages
Feersum Engine(Feersum引擎公司);Praekelt Consulting(Praekelt咨询公司)
本文提出了一种用于短文本语言识别(LID)的分层朴素贝叶斯和基于词典的分类器,适用于资源不足的语言。该算法是评估短的文本片段的11个南非官方语言,其中一些是类似的语言。该算法相比,最近的方法,使用测试集从以前的作品南非语言,以及相似的语言(DSL)共享任务的数据集之间的区别。剩余的研究机会和紧迫的问题,在评估和比较LID方法进行了讨论。
2019-11-22 cs.CL
GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models
Queen Mary University of London(伦敦玛丽女王大学)
本文提出GrACE,一种生成方法,用于改进大语言模型的置信度 elicitation 和测试时的高效扩展,通过实时计算隐藏状态与特殊标记嵌入的相似性,实现可靠且可扩展的置信度评估。
2026-04-07 cs.CL
A Fast, Compact, Accurate Model for Language Identification of Codemixed Text
Google AI Language(谷歌人工智能语言团队)
我们解决了细粒度的多语言识别:为句子中的每个标记提供语言代码,包括包含多种语言的代码混合文本。这种文本在网上、文档、社交媒体和留言板中很流行。我们证明了一个简单的全局约束解码器的前馈网络可以准确,快速地标记100种语言和100种语言对的混合和单语文本。该模型在准确性和速度方面优于先前发布的多语言方法,在三个代码混合数据集上获得了800倍的速度和19.5%的平均绝对增益。此外,它在单语语言识别方面优于几个基准系统。
2018-10-09 cs.CL
Improved Text Language Identification for the South African Languages
Feersum Engine;Praekelt Consulting
虚拟助手和文本聊天机器人最近越来越受欢迎。鉴于基于文本的聊天交互的短消息性质,这些机器人的语言识别系统可能只有15或20个字符来进行预测。然而,准确的文本语言识别是重要的,特别是在许多多语言自然语言处理管道的早期阶段。本文研究了朴素贝叶斯分类器的使用,以准确地预测一段文本所属的语言家族,结合基于词典的分类器来区分文本所写的特定南非语言。这种方法导致语言检测错误减少31%。本着可重复研究的精神,训练和测试数据集以及代码都发布在github上。希望这将是有用的,为南非语言创建一个文本语言识别共享任务。
2017-11-01 cs.CL
$C^3$: Confidence Calibration Model Cascade for Inference-Efficient Cross-Lingual Natural Language Understanding
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);Purdue University(普渡大学);College of William and Mary(威廉玛丽学院)
针对多语言预训练模型推理成本高且小模型易过度自信的问题,提出C^3方法,通过在级联推理前进行置信度校准提升跨语言NLU的推理效率和准确率,并在三个基准上显著超越现有方法。
2024-02-25 cs.CL
SJ_AJ@DravidianLangTech-EACL2021: Task-Adaptive Pre-Training of Multilingual BERT models for Offensive Language Identification
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学);Electrical and Computer Engineering(电气与计算机工程学院)
在本文中,我们提出了我们提交的EACL 2021-共享任务在达罗毗荼语攻击性语言识别。我们的最终系统是mBERT和XLM-RoBERTa模型的集成,这些模型利用多语言BERT模型的任务自适应预训练,并具有掩蔽语言建模目标。我们的系统在卡纳达语中排名第一,在马拉雅拉姆语中排名第二,在泰米尔语中排名第三。
2021-03-12 cs.CL
Detecting Structured Language Alternations in Historical Documents by Combining Language Identification with Fourier Analysis
Center for Digital Humanities(数字人文中心);Johns Hopkins University(约翰霍普金斯大学)
本研究提出结合语言识别与傅里叶分析的可泛化工作流,用于检测Armeno-Turkish这类非标准语言文字组合的历史文献,还提出基于结构化语言交替频率识别多语言模式的新任务。
2024-01-25 cs.CL
Investigating Machine Learning Methods for Language and Dialect Identification of Cuneiform Texts
Sharif University of Technology(谢里夫理工大学)
由于缺乏资源和标记化问题,识别使用楔形文字符号书写的语言是一项困难的任务。VarDial 2019中的楔形文字语言识别任务解决了识别以楔形文字书写的七种语言和方言的问题;苏美尔语和阿卡德语的六种方言:古巴比伦语,中巴比伦语外围语,标准巴比伦语,新巴比伦语,晚巴比伦语和新亚述语。本文描述了SharifCL团队在VarDial 2019中解决这个问题所采取的方法。最好的结果属于支持向量机和朴素贝叶斯分类器的集成,两者都工作在字符级特征上,宏观平均F1分数为72.10%。
2020-09-22 cs.CL
Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback
Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文评估了从RLHF微调的语言模型中提取置信度的方法,发现口头化置信度比模型条件概率校准更好,在多个基准上将预期校准误差相对降低50%。
2023-10-24 cs.CL
CritiCal: Can Critique Help LLM Uncertainty or Confidence Calibration?
Department of Computer Science and Engineering, HKUST(计算机科学与工程系,香港科技大学)
针对大语言模型置信度校准难题,提出基于自然语言批判的Self-Critique和CritiCal训练方法,明确不同任务适配的批判对象,实验证明CritiCal性能优异且泛化性强,提升了模型可靠性。
2025-10-28 cs.CL
indicnlp@kgp at DravidianLangTech-EACL2021: Offensive Language Identification in Dravidian Languages
IIT Kharagpur(印度理工学院卡拉格普尔分校)
本文介绍了团队indicnlp@kgp提交给EACL 2021共享任务“达罗毗荼语中的攻击性语言识别”。“该任务旨在对3个代码混合的德拉威语数据集中不同的攻击性内容类型进行分类。这项工作利用了现有的最先进的方法在文本分类中,通过纳入额外的数据和预训练模型的迁移学习。我们最终提交的是基于AWD-LSTM的模型以及基于BERT和RoBERTa的两种不同的Transformer模型架构的集合。我们在马拉雅拉姆语-英语、泰米尔语-英语和卡纳达语-英语数据集中取得了0.97、0.77和0.72的加权平均F1分数,在各自的任务中排名第一、第二和第三。
2021-02-14 cs.CL
An Analysis of Training-Free Self-Reported Confidence in Language Models
DreamAI
本研究分析语言模型免训练置信度信号,发现直接口头表达优于多样本一致性,且自报告对提示方式、相关错误和基准噪声敏感。
2026-09-18 cs.CL
CHALIS: A Challenge Dataset for Language Identification in Difficult Scenarios
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
提出CHALIS数据集,针对亲缘语言和拼写噪声等困难场景,通过收集互懂语言对句子和模拟拼写噪声,评估四种语言识别系统,发现它们在低资源语言和音译输入上表现不佳。
2026-06-04 cs.CL
KréyoLID From Language Identification Towards Language Mining
Inria(法国国家信息与自动化研究所);Common Crawl Foundation(Common Crawl基金会)
本文提出将低资源语言语料库构建从多类分类问题重新定义为语言挖掘问题,并针对多种法语克里奥尔语引入新流程与语料库,以更少资源实现更快、更广的语料覆盖。
2025-03-09 cs.CL
Language Variety Identification with True Labels
George Mason University(乔治梅森大学);University of Helsinki(赫尔辛基大学);Cambridge University(剑桥大学);Rochester Institute of Technology(罗切斯特理工学院)
语言识别是许多IR和NLP应用中重要的第一步。然而,大多数公开可用的语言识别数据集都是在假设每个实例的黄金标签由文本的检索位置确定的情况下编译的。研究表明,这是一个有问题的假设,特别是在非常相似的语言的情况下(例如,克罗地亚语和塞尔维亚语)和民族语言变体(例如,巴西和欧洲葡萄牙语),其中文本可能不包含特定语言或变体的独特标记。为了克服这一重要限制,本文提出了DSL True Labels(DSL-TL),这是第一个用于语言种类识别的人工注释多语言数据集。DSL-TL总共包含12,900个葡萄牙语实例,分为欧洲葡萄牙语和巴西葡萄牙语;西班牙语,分为阿根廷西班牙语和卡斯蒂利亚西班牙语;英语,分为美国英语和英国英语。我们训练了多个模型来区分这些语言变体,并详细介绍了结果。本文提出的数据和模型提供了一个可靠的基准,朝着强大的和公平的语言品种识别系统的发展。我们向研究社区免费提供DSL-TL。
2023-03-02 cs.CL
Language Identification of Bengali-English Code-Mixed data using Character & Phonetic based LSTM Models
SRM University(SRM大学);Jadavpur University(贾达普大学)
社交媒体文本的语言识别仍然是一项具有挑战性的任务,由于代码混合和不一致的语音音译等属性。在本文中,我们提出了一种监督学习方法,用于从社交媒体中获取的低资源孟加拉语-英语代码混合数据的单词级语言识别。我们采用两种单词编码方法,即基于字符和基于根音素来训练我们的深度LSTM模型。利用这两个模型,我们建立了两个集成模型,使用堆叠和阈值技术,给出了91.78%和92.35%的准确率分别对我们的测试数据。
2018-06-27 cs.CL
Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
本文探讨了预训练语言模型在多语言环境下识别借词的能力,发现模型在区分借词与本土词汇方面表现不佳,对少数语言NLP工具开发和语言保护有重要意义。
2026-03-03 cs.CL
Word Level Language Identification in English Telugu Code Mixed Data
Language Technologies Research Centre(语言技术研究中心);KCIS, IIIT Hyderabad(印度理工学院海得拉巴分校知识与计算智能系统学院)
在多语言或社会语言结构中,语码转换(ICS)或语码混合(CM)是当今常见的现象。世界上大多数人都懂一种以上的语言。CM的使用在社交媒体平台上尤其明显。此外,ICS在技术、健康和法律方面特别重要,因为用母语很难传达即将到来的发展。在诸如对话系统、机器翻译、语义解析、浅层解析等应用中,CM和代码切换提出了严峻的挑战。要在代码混合数据中做任何进一步的改进,必要的步骤是语言识别。在本文中,我们提出了各种模型的研究-朴素贝叶斯分类器,随机森林分类器,条件随机场(CRF),和隐马尔可夫模型(HMM)的语言识别在英语-泰卢固语代码混合数据。针对代码混合语言资源的匮乏,提出了基于CRF模型和HMM模型的词级语言识别方法。我们表现最好的系统是基于CRF的,f1分数为0.91。
2020-10-09 cs.CL
Overview for the Second Shared Task on Language Identification in Code-Switched Data
University of Houston(休斯顿大学);George Washington University(乔治华盛顿大学)
我们提出了一个概述的第二个共同的任务,在代码转换数据的语言识别。对于共享任务,我们有来自两种不同语言对的代码转换数据:现代标准阿拉伯语-方言阿拉伯语(MSA-DA)和西班牙语-英语(SPA-ENG)。我们共有9个参赛团队,所有团队都提交了SPA-ENG系统,4个提交了MSA-DA系统。通过评估,我们再次发现,语言识别对于关系更密切的语言对来说更加困难。我们还发现,今年的系统总体表现优于上一个共享任务的系统,表明该任务的最新技术水平取得了整体进展。
2019-09-28 cs.CL
When Quantization Affects Confidence of Large Language Models?
Université de Lyon(里昂大学)
本文研究量化对LLMs置信度的影响,发现GPTQ 4比特量化会降低模型对真实标签的置信度,且影响随模型类型和规模变化,并指出量化损失主要集中在全精度模型原本低置信的样本上。
2024-05-01 cs.AI cs.CL
All Roads Lead to Rome: Graph-Based Confidence Estimation for Large Language Model Reasoning
University of Cambridge(剑桥大学);Monash University(墨尔本大学)
针对现有置信度估计方法难以泛化至推理任务的问题,提出无需训练的基于图的置信度估计方法,将推理路径建模为有向图并利用图属性估计置信度,有效提升了估计效果及下游任务性能。
2025-09-16 cs.AI cs.CL
ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models
Stony Brook University(石溪大学);Massachusetts General Hospital and Harvard Medical School(麻省总医院和哈佛医学院);Morgan Stanley(摩根大通)
本文提出一种解耦且顺序感知的明确自信度校准框架,通过分离自信度估计与答案生成过程,提升校准和失败预测性能,同时保持答案准确性。
2026-05-12 cs.CL cs.LG
A reproduction of Apple's bi-directional LSTM models for language identification in short strings
Aarhus University(奥胡斯大学);Information Sciences Institute(信息科学研究所)
语言识别是识别文档语言的任务。对于像自动拼写检查器选择这样的应用程序,语言识别必须使用非常短的字符串,如文本消息片段。在这项工作中,我们重现了Apple在博客文章中简要描述的语言识别架构。我们确认了bi-LSTM模型的性能,并发现它优于当前的开放源语言标识符。我们进一步发现,其语言识别错误是由于相关语言之间的混淆。
2021-02-11 cs.CL cs.LG
Confidence over Time: Confidence Calibration with Temporal Logic for Large Language Model Reasoning
University of Florida(佛罗里达大学);University of Mannheim(曼海姆大学)
本文提出基于时序逻辑的大型语言模型推理信心校准方法,通过STL挖掘和参数超网络提升信心评估的准确性。
2026-01-19 cs.CL cs.LG
Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出了一种强化学习方法,通过直接微调大语言模型以实现校准的置信度表达,提升了模型的置信度校准能力和泛化能力。
2026-02-28 cs.AI cs.CL
Future Confidence Distillation in Large Language Models
研究大语言模型置信度估计,通过比较解决问题前后的置信度,发现其在回答过程中演变。基于此引入未来置信度蒸馏,用解决问题后的置信度估计训练解决问题前隐藏表征的预测器,实现可靠且低成本的置信度估计。
2026-07-09 cs.AI cs.CL
Shared Doubt: Zero-Shot Cross-Lingual Confidence Estimation for Language Models
ILLC, University of Amsterdam(阿姆斯特丹大学ILLC);ILCC, University of Edinburgh(爱丁堡大学ILCC)
研究多语言大语言模型是否编码共享的、可跨语言迁移的置信度特征,通过轻量级线性探针从中间表示直接预测答案正确性,实现零样本跨语言泛化,并发现置信度特征集中在中间层。
2026-09-29 cs.AI cs.CL cs.LG
Closing the Confidence-Faithfulness Gap in Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文通过线性探针和对比激活添加分析,揭示大语言模型中置信度信号与校准的线性关系,提出双阶段适应性引导流程以提升校准对齐。
2026-04-01 cs.AI cs.CL
When Linguistic and Internal Confidence Diverge in Large Language Models
Dartmouth College(达特茅斯学院);Oakland University(奥克兰大学)
本研究对比大型语言模型的语言置信度与内部置信度,发现二者常出现偏差,提出需用多维度诊断评估语言置信度后再用于下游可靠性流程。
2026-09-07 cs.AI cs.CL
From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
研究基于语言的定量预测中模型易出错问题,提出CARE-PPO强化学习框架,通过建立损失预测与近端策略优化微调的联系,联合学习数值估计与置信度信号,在多任务和模型规模上提升预测性能与置信度估计,减少过拟合。
2026-07-15 cs.AI cs.CL
Recurrent Confidence Chain: Temporal-Aware Uncertainty Quantification in Large Language Models
University of Florida(佛罗里达大学)
本文提出递归置信链方法,通过跨步骤注意力和隐藏置信机制,提升大型语言模型在不确定性量化中的性能。
2026-01-19 cs.CL cs.LG
The WiLI benchmark dataset for written language identification
本文描述了用于单语书面自然语言识别的WiLI-2018基准数据集。WiLI-2018是一个公开、免费的维基百科短文本摘录数据集。它包含235种语言的1000段,共计23500段。WiLI是一个分类数据集:给定一个以一种主要语言编写的未知段落,必须确定它是哪种语言。
2018-01-23 cs.CL cs.CV
Confidence-Calibrated Small-Large Language Model Collaboration for Cost-Efficient Reasoning
Amazon Web Services(亚马逊网络服务);Tsinghua University(清华大学)
COREA通过结合小型和大型语言模型,利用置信度校准提升推理效率,降低21.5%-16.8%成本,同时保持高准确率。
2026-03-04 cs.AI cs.CL
Confidence Calibration in Large Language Model-Based Entity Matching
Bernoulli Institute, University of Groningen(格罗宁根大学伯努利研究所)
本研究实证比较了RoBERTa及多种校准方法在实体匹配中的置信度,发现改进模型存在轻微过度自信,温度缩放可有效降低期望校准误差达23.83%。
2025-10-15 cs.CL cs.LG
Confidence in the Reasoning of Large Language Models
Karolinska Institutet(卡罗林斯卡学院);Oxford University(牛津大学)
本文通过定性坚持度和定量自报分数评估LLMs的置信度,发现模型存在过度自信且重答准确率下降,表明其缺乏内在连贯的置信度感。
2024-12-19 cs.CL cs.LG
Confidence-Aware Routing for Large Language Model Reliability Enhancement: A Multi-Signal Approach to Pre-Generation Hallucination Mitigation
AI Safety Research(人工智能安全研究);Convai Innovations(Convai创新)
针对大语言模型的幻觉问题,提出融合三类信号的置信度感知路由系统,生成前主动评估不确定性并分流查询,在知识密集型问答基准上显著提升幻觉检测效果与F1分数,同时降低计算成本。
2025-09-23 cs.AI cs.CL
Multi-Perspective Consistency Enhances Confidence Estimation in Large Language Models
Meituan(美团);Beijing University of Posts and Telecommunications(北京邮电大学)
针对大型语言模型对错误答案过度自信的问题,本文提出多视角一致性(MPC)方法,利用模型内部和跨模型的互补见解进行缓解,在八个数据集上达到SOTA性能且具备良好扩展性。
2024-02-17 cs.AI cs.CL
Confidence Estimation for Text-to-SQL in Large Language Models
针对大语言模型Text-to-SQL无真实答案时的查询可靠性评估问题,探索黑盒(一致性方法)与白盒(SQL语法感知方法)置信度估计策略,结合执行接地信号提升效果,在跨域基准验证了方法优势。
2025-08-08 cs.CL cs.DB