Generative AI in Education: A Study of Educators' Awareness, Sentiments, and Influencing Factors
Utah State University(犹他州立大学);Abilene Christian University(阿比林基督大学)
本研究通过调查和访谈探究了大学讲师对生成式AI工具的认知、情感及影响因素,发现教育者总体态度积极,教学风格与态度无关,且CS教育者虽更自信且积极,但在检测AI生成作品上并无优势。
2024-03-22 cs.AI
Graceful Forgetting in Generative Language Models
Hong Kong University of Science and Technology(香港科技大学)
本文提出Learning With Forgetting框架,通过Fisher信息矩阵评估并周期性删除无关知识,提升生成语言模型的微调性能。
2026-04-01 cs.AI cs.CL cs.LG
Atomic Calibration of LLMs in Long-Form Generations
University of Cambridge(剑桥大学);Fudan University(复旦大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出原子校准方法,用于改进大语言模型在长文本生成中的校准能力,揭示置信度方法与生成过程中置信度变化的关联。
2025-11-20 cs.AI cs.CL
Token-Level Marginalization for Multi-Label LLM Classifiers
ServiceNow
本文提出三种标记级概率估计方法,提升生成模型在多标签内容安全分类中的可解释性和准确性。
2025-11-27 cs.CL
CAMEL: Confidence-Gated Reflection for Reward Modeling
National University of Singapore(新加坡国立大学)
CAMEL通过置信度门控机制实现轻量级偏好决策,并选择性地对低置信度实例进行反思,采用反事实前缀增强的强化学习训练,提升了奖励建模的准确性和效率。
2026-05-07 cs.AI cs.CL
Enhancing Multi-Agent Debate System Performance via Confidence Expression
National University of Singapore(新加坡国立大学)
针对多智能体辩论(MAD)系统中因缺乏或不当表达置信度导致智能体固执己见或过早收敛的问题,提出ConfMAD框架,通过在辩论全过程集成置信度表达,有效提升了系统性能并揭示了置信度对辩论动态的影响。
2025-09-17 cs.CL
Label-Confidence-Aware Uncertainty Estimation in Natural Language Generation
Beijing University of Posts and Telecommunications(北京邮电大学);QuanCheng Laboratory(泉城实验室)
本文提出标签置信度感知不确定性量化(LCA-UQ)方法,基于逐点KL散度弥合全局熵与候选答案局部置信度之间的差距,在多种LLMs和NLP数据集上验证了其提升不确定性估计可靠性与稳定性的有效性。
2026-09-17 cs.AI cs.CL
A Fully Generative Motivational Interviewing Counsellor Chatbot for Moving Smokers Towards the Decision to Quit
University of Toronto(多伦多大学);Centre for Addiction and Mental Health(成瘾与心理健康中心)
本文提出一个基于LLM和动机访谈(MI)的戒烟咨询师聊天机器人,在106名参与者测试中有效提升了戒烟信心,且对MI标准的遵循度达98%,超越人类咨询师。
2025-06-01 cs.AI cs.CL
Confidence is Not Competence
Birla AI Labs(Birla人工智能实验室);RespAI Lab(RespAI实验室);KIIT Bhubaneshwar(KIIT大学巴纳拉塞瓦分校);BITS Pilani(比什努尔理工学院)
该研究通过分析大语言模型生成前评估与求解执行阶段内部状态的几何差异,从机制层面解释了其信心与能力脱节的现象,揭示了双系统架构并指出干预应靶向执行过程动力学。
2025-10-24 cs.AI cs.CL
Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM
本研究对比非生成式验证器Jev与前沿LLM在RAG声明验证中的表现,提出置信度门控级联策略,发现级联可降本且表现优于随机升级,同等准确率下错误分布不同。
2026-10-16 cs.CL
Confidence Estimation in Automatic Short Answer Grading with LLMs
DIPF | Leibniz Institute for Research and Information in Education(莱布尼茨教育研究与信息研究所);Faculty of Computer Science, Goethe University Frankfurt(弗赖堡大学计算机科学系);Chemnitz University of Technology(化学工业大学)
本文研究了基于大语言模型的自动简答评分中的置信度估计,结合模型内置置信信号和数据集衍生的不确定性,提出混合置信框架以提升评分选择性。
2026-05-13 cs.CL
Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation
University of British Columbia(不列颠哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
针对LLM校准差、过度自信的问题,提出无需训练的多智能体协作校准策略Collaborative Calibration,通过群体审议提升生成式问答的置信度校准与预测可靠性。
2024-05-10 cs.CL
Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities
Amazon(亚马逊)
本文提出利用低成本开源替代模型的对数概率审计黑盒LLM代理,通过多种读出方式检测错误调用,无需训练即可提升编码任务准确率与任务成功率。
2026-10-06 cs.AI cs.CL cs.LG
Read Your Own Mind: Reasoning Helps Surface Self-Confidence Signals in LLMs
University of Amsterdam(阿姆斯特丹大学)
本文研究 DeepSeek R1-32B 在问答任务中的不确定性来源,发现强制长思维链推理能显著提升其自我报告置信度的可靠性,并证明可靠的不确定性估计需要对生成空间进行显式探索。
2025-11-05 cs.CL
Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities
FusionBrain Lab, Russia(融合脑实验室,俄罗斯);Institute of Numerical Mathematics, Russia(数值数学研究所,俄罗斯)
通过生成概率重新审视强化学习中LLM推理的探索,提出ARM机制平衡置信度,提升生成多样性与准确性。
2026-02-06 cs.CL cs.LG
PAG: Multi-Turn Reinforced LLM Self-Correction with Policy as Generative Verifier
Tsinghua University(清华大学)
针对大语言模型难以可靠自验证输出的问题,提出PAG框架,在多轮强化学习中让模型交替扮演策略与验证器角色,仅在自验证发现错误时选择性修正,协同提升推理与验证能力,在多项基准上表现优于现有方法。
2025-06-12 cs.AI cs.CL cs.LG
Libretto: Giving LLM Agents a Sense of Musical Structure
University of California, Berkeley(加州大学伯克利分校)
提出Libretto框架,通过LLM原生语法(显式起始槽、声部、小节组织)和基于语料库的统计评估(节奏、和声、旋律等),实现符号音乐的生成、诊断与迭代自修正,将符号音乐转化为可测量、可编辑的对象。
2026-06-23 cs.AI cs.SD
Bias Detection and Rotation-Robustness Mitigation in Vision-Language Models and Generative Image Models
Hofstra University(霍夫斯特拉大学)
本文提出旋转鲁棒缓解策略,通过数据增强、表征对齐和模型正则化,提升视觉-语言和生成图像模型在旋转和分布偏移下的鲁棒性和公平性。
2026-01-09 cs.AI cs.CV
Assessing Generative Language Models in Classification Tasks: Performance and Self-Evaluation Capabilities in the Environmental and Climate Change Domain
University of Turin(都灵大学)
本文比较了GPT3.5、Llama2和Gemma与BERT基线在环境与气候变化分类任务上的性能,并分析其置信度校准能力,揭示生成式模型的优势与局限。
2024-08-30 cs.CL
Fine-grained Approaches for Confidence Calibration of LLMs in Automated Code Revision
本文提出细粒度置信度校准方法,通过局部Platt缩放提升自动代码修订任务中模型的置信度校准效果,降低校准误差。
2026-09-16 cs.AI cs.SE
How Does Beam Search improve Span-Level Confidence Estimation in Generative Sequence Labeling?
Google Research(谷歌研究院)
针对生成式序列标注中跨度级置信度估计缺乏可靠方法的问题,本文提出利用beam search前k个预测的统计量的方法,经6个数据集验证可显著降低校准误差。
2024-01-31 cs.CL
Generative Score Inference for Multimodal Data
School of Statistics, University of Minnesota(明尼苏达大学统计学院)
本文提出生成分数推断(GSI)框架,通过深度生成模型生成合成样本近似条件分数分布,提升多模态学习中的不确定性量化能力,在大语言模型幻觉检测和图像描述不确定性估计中取得最佳性能。
2026-03-27 cs.AI cs.LG stat.ML
Generative adversarial networks vs large language models: a comparative study on synthetic tabular data generation
Cumming School of Medicine(卡明医学院);University of Calgary(卡尔加里大学)
本文提出基于GPT-4o自然语言提示的零样本表格数据生成框架,并在三个数据集上与CTGAN比较,证明其在统计保真度和隐私上更优。
2025-02-20 cs.CL cs.LG
Fast-Slow Thinking RM: Efficient Integration of Scalar and Generative Reward Models
Fudan University(复旦大学);Meituan(美团)
本文提出F/S-RM,结合快速和缓慢思考机制,提升奖励模型性能并降低计算成本。
2026-09-29 cs.CL cs.LG
Uncovering Salience-Driven Dynamics in Consumer Confidence with Generative Social Simulation
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);The Chinese University of Hong Kong(香港中文大学)
提出ConsumerSim框架,通过微观数据校准的合成人口、宏观经济信号和调查响应生成,重建消费者信心指数,在美欧日数据上优于基线模型,并揭示信心变化集中于显著性事件,且不同群体敏感性各异。
2026-06-29 cs.CL cs.CY cs.SI
CLM-as-a-Judge: Evaluating an Open Contrastive Decision Model on Public Judge Benchmarks
本文评估开放对比决策模型CLM作为评判者的性能,发现其在公开基准上接近随机水平,但置信度校准和顺序稳定性有效,级联策略因置信度保留不足而受限。
2026-10-07 cs.AI cs.CL cs.LG