Understanding Help-Seeking Behavior of Students Using LLMs vs. Web Search for Writing SQL Queries
University of Toronto(多伦多大学);University of Toronto Mississauga(多伦多大学密西沙加分校)
本研究通过数据库课堂随机访谈,对比学生用网络搜索、ChatGPT及教师调优LLM编写SQL查询的求助行为,发现调优LLM交互更多但心理负荷更低,各组查询质量无显著差异,为编程教育工具应用提供参考。
2024-08-15 cs.AI cs.CY cs.DB
User Perceptions vs. Proxy LLM Judges: Privacy and Helpfulness in LLM Responses to Privacy-Sensitive Scenarios
Fujitsu Research of America Inc.(富士通美国研究所);Carnegie Mellon University(卡内基梅隆大学)
研究发现用户对LLM响应的隐私和帮助性感知与代理LLM评判存在显著差异,需加强用户为中心的评估以提升隐私保护与实用性平衡。
2026-09-04 cs.AI cs.CL cs.HC
Exploring the Responses of Large Language Models to Beginner Programmers' Help Requests
Aalto University(阿尔托大学);The University of Auckland(奥克兰大学)
本研究针对编程教育场景,评估OpenAI Codex与GPT-3.5识别学生问题代码错误的能力,发现其有一定实用性但存在不可靠性,为教师使用及LLM教育定制提供参考。
2023-06-09 cs.AI cs.CL cs.CY
Does Using Counterfactual Help LLMs Explain Textual Importance in Classification?
American Express(美国运通)
本研究提出决策变化率框架,探讨反事实推理对LLM在文本分类中识别关键词语重要性的影响,实验表明反事实方法有效。
2025-10-05 cs.AI cs.CL
Can LLMs Help Improve Analogical Reasoning For Strategic Decisions? Experimental Evidence from Humans and GPT-4
INSEAD Singapore(欧洲工商管理学院新加坡分校);Indian School of Business(印度商学院);ESSEC Business School(埃塞克商学院)
本研究通过源到目标匹配实验发现,GPT-4在战略决策类比推理中召回率高但精确率低,人类则反之,表明LLM宜作类比生成器而人类宜作评估者。
2025-05-01 cs.AI cs.HC
Can LLMs Help Allocate Public Health Resources? A Case Study on Childhood Lead Testing
Department of Computer and Information Sciences, Fordham University(福特汉姆大学计算机与信息科学系);Department of Systems Engineering, Stevens Institute of Technology(史蒂文斯理工学院系统工程系)
本文研究大语言模型在分配公共卫生资源中的有效性,通过芝加哥、纽约和华盛顿特区136个社区的案例,发现LLM在处理铅暴露高风险区域时存在显著局限性。
2025-11-23 cs.AI cs.CY
When Helpfulness Overrides Causal Caution: Context-Dependent Suppression and Recovery in LLMs
Mitsubishi Research Institute, Inc.(三菱电机研究所);Kobe University(北九州市立大学)
研究LLM从学术到实践咨询语境中因果谨慎的系统性抑制,发现有用性导向响应模式导致因果谨慎表达大幅下降,而自纠正提示可有效恢复。
2026-06-24 cs.AI cs.CY
Helping Johnny Make Sense of Privacy Policies with LLMs
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig, Leipzig University(可扩展数据分析与人工智能中心(ScaDS.AI)德累斯顿/莱比锡,莱比锡大学)
PRISMe通过结合LLM的政策评估与交互式界面,帮助用户更有效地理解和参与隐私政策,同时揭示了设计和技术上的挑战。
2026-01-28 cs.AI cs.HC
Assessing the Performance of Human-Capable LLMs -- Are LLMs Coming for Your Job?
Luxembourg Tech School A.s.b.l.(卢森堡技术学校A.s.b.l.)
本文提出并验证了SelfScore基准,用于评估自动化LLM智能体在帮助台任务中的表现,发现结合RAG的LLM智能体优于未结合者且均超过人类对照组,引发对人类工作被取代的伦理关注。
2024-10-05 cs.AI cs.CL cs.CY
Can a Hallucinating Model help in Reducing Human "Hallucination"?
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文通过心理测量和哲学探究比较LLMs与人类在识别逻辑谬误上的理性表现,并提出结合说服心理学理论将LLMs用作个性化辟谣智能体,以减少无根据信念和错误信息传播。
2024-05-01 cs.AI
How do Large Language Models Navigate Conflicts between Honesty and Helpfulness?
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind)
本研究利用心理模型和实验分析LLMs在诚实与有用性间的权衡,发现RLHF能同时提升两者,而CoT提示偏向有用性,GPT-4 Turbo表现出类似人类的响应模式且可通过零样本提示引导其抽象价值观。
2024-02-13 cs.AI cs.CL cs.LG
One Step at a Time: Combining LLMs and Static Analysis to Generate Next-Step Hints for Programming Tasks
JetBrains Research(JetBrains研究院);JetBrains(JetBrains公司);Utrecht University(乌得勒支大学)
本研究提出结合 LLMs 与静态分析的三步流程系统,为编程任务生成文本与代码形式的下一步提示,专家验证与课堂实验表明该系统能有效帮助学生推进编程任务。
2024-10-11 cs.AI cs.CY cs.HC
Can LLMs Help Uncover Insights about LLMs? A Large-Scale, Evolving Literature Analysis of Frontier LLMs
Georgia Institute of Technology(佐治亚理工学院);The Hebrew University of Jerusalem(特拉维夫大学)
本研究提出半自动化文献分析方法,利用LLM加速数据提取,构建可更新的LLMEvalDB数据集,减少93%工作量,并揭示LLM在编码、多模态及数学推理任务中的新洞察。
2025-05-26 cs.AI cs.CL cs.LG
White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出LABE基准评估LLM在文本生成中的语言能动性社会偏见,并发现其性别与交叉偏见严重且提示缓解不稳定,进而提出MSR策略通过能动性分类器选择性改写文本以更有效可靠地缓解偏见。
2025-05-30 cs.AI cs.CL cs.CY
I'm Sorry, but I Can't Help with Braille: Revealing Accessibility Failures in State-of-the-Art LLMs
orinu Inc.(奥里努公司)
研究评估先进语言模型在韩语-盲文翻译上的表现,发现其存在缺陷。通过人工标注数据集测试,发现输出差且不稳定。对比发现,对小模型进行监督微调效果更好,揭示了当前语言模型的局限,证明特定监督的有效性。
2026-07-15 cs.AI cs.CL
HonestLLM: Toward an Honest and Helpful Large Language Model
MBZUAI(Mohamed bin Zayed 人工智能大学);Huazhong University of Science and Technology(华中科技大学);University of Notre Dame(圣母大学);University of Washington(华盛顿大学);Peking University(北京大学);Lehigh University(理海大学)
针对大语言模型需兼顾诚实性与有用性的需求,该研究制定诚实原则、构建HoneSet评估数据集,提出免训练提示和两阶段微调两种增强方法,在9款主流LLM上验证了显著的诚实对齐提升效果。
2024-12-11 cs.AI cs.CL
Distribution Shift Alignment Helps LLMs Simulate Survey Response Distributions
School of Computer Science, University of Science and Technology of China(中国科学技术大学计算机科学学院);School of Management, Fudan University(复旦大学管理学院)
本文提出DSA方法,通过两阶段微调对齐输出分布和偏移,提升LLM模拟调查响应的准确性与效率,在五个公开数据集上表现优异。
2026-04-17 cs.AI
Helping the Helper: LLM-Assisted Problem Articulation for Older Adults Seeking Technology Support
Department of Computer Science University of Illinois Chicago(计算机科学系伊利诺伊大学芝加哥分校)
本研究通过基础模型解决老年人在数字技术使用中的沟通障碍,开发了OATS数据集,提高了解决方案的准确性和用户信心。
2026-08-27 cs.AI cs.HC
Open Source Language Models Can Provide Feedback: Evaluating LLMs' Ability to Help Students Using GPT-4-As-A-Judge
Aalto University(阿尔托大学);University of Jyväskylä(于韦斯屈莱大学);The University of Auckland(奥克兰大学)
针对教育中开源 LLM 反馈质量不明的问题,本文以 GPT-4 作为自动评判者并结合人类专家对比,评估多个开源模型在编程入门课程反馈上的表现,发现部分模型可媲美 ChatGPT。
2024-05-08 cs.AI cs.CL cs.CY
I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation
Appier AI Research(沛星人工智能研究院);National Taiwan University(台湾大学)
本文以文本到SQL生成为例,提出评估指标研究大语言模型主动请求用户支持的能力,发现缺乏外部反馈时模型难以识别求助需求,强调外部信号的重要性。
2024-09-30 cs.AI cs.CL
LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks
School of Computing and AI, Arizona State University(亚利桑那州立大学计算与人工智能学院)
本文提出 LLM-Modulo 框架,论证 LLM 本身无法规划或自验证,但可作为通用近似知识源与外部基于模型的验证器双向紧密集成,从而超越单纯格式翻译,实现更好的神经符号规划与推理。
2024-06-12 cs.AI cs.LG
Can LLMs get help from other LLMs without revealing private information?
Google Research(谷歌研究院)
针对级联 LLM 可能将敏感数据发送给远程模型的问题,本文结合隐私保护技术与社会学习范式,提出低泄露协作系统,并在多个数据集上验证其可降低隐私损失且提升性能。
2024-04-02 cs.AI cs.CR cs.LG
H3Fusion: Helpful, Harmless, Honest Fusion of Aligned LLMs
Georgia Institute of Technology, USA(佐治亚理工学院)
H3Fusion通过基于MoE的融合机制,在帮助性、无害性和诚实性方面优于现有方法。
2026-01-20 cs.AI cs.CL cs.LG
Characterizing Large Language Model Geometry Helps Solve Toxicity Detection and Generation
Brown University(布朗大学);Tenyx
该研究从几何视角解析大语言模型内部机制,推导注意力嵌入本征维度与前馈网络仿射映射等理论结果,据此实现绕过RLHF防护的方法,并提取可解释几何特征用于毒性检测,验证了理论结果对实际问题的应用价值。
2024-07-11 cs.AI cs.CL cs.LG
LLMs Help Alleviate the Cross-Subject Variability in Brain Signal and Language Alignment
针对EEG跨受试者零样本解码研究不足的问题,本研究提出用LLMs作为去噪智能体提取受试者无关语义特征,实验验证了其关键作用,为BCI研究及EEG应用拓展提供支持。
2025-06-17 cs.AI cs.NE
Can Stories Help LLMs Reason? Curating Information Space Through Narrative
University of Bonn(波恩大学);RMIT University(皇家墨尔本理工大学);Stony Brook University(石溪大学)
本文提出 Story of Thought(SoT)提示方法,通过围绕问题构建叙事并组织相关信息,提升 LLM 在 GPQA 与 JEEBench 多学科推理题上的表现。
2024-10-25 cs.AI cs.CL cs.LG
A Case Study on the Effectiveness of LLMs in Verification with Proof Assistants
University of Toronto(多伦多大学);Portland State University(波特兰州立大学)
本研究通过hs-to-coq和Verdi案例,定量定性分析LLM在证明助手验证中的表现,发现上下文依赖、证明规模及项目差异影响效果,LLM能生成简洁证明但也会犯怪错。
2025-08-26 cs.AI cs.PL
Bayesian Elicitation with LLMs: Model Size Helps, Extra "Reasoning" Doesn't Always
University of Zagreb Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院)
本文研究了LLM在贝叶斯 elicitation中的表现,发现更大模型更准确,但增加推理不总是有帮助。所有模型严重过度自信,95%置信区间覆盖真实值比例远低于预期,统计校准技术可修正此问题。
2026-04-02 cs.AI
Helping LLMs Improve Code Generation Using Feedback from Testing and Static Analysis
本文提出利用测试和静态分析评估和指导通用开源LLM生成代码的质量及自我改进,发现生成代码常存在错误和安全问题,但提供反馈后能有效修复代码缺陷。
2025-01-07 cs.AI cs.SE
Context Misleads LLMs: The Role of Context Filtering in Maintaining Safe Alignment of LLMs
Department of Computer Science University of California, Irvine(计算机科学系,加州大学伊维特分校)
研究针对大语言模型受恶意上下文欺骗问题,提出上下文过滤防御机制,通过过滤不可信上下文识别真实意图,提升安全性同时保持性能,经对比分析验证其有效性。
2026-07-07 cs.AI cs.CL cs.CR
Help or Hurdle? Rethinking Model Context Protocol-Augmented Large Language Models
本文提出首个评估框架MCPGAUGE,从主动性、遵从性、有效性和开销四个维度系统考察LLM与MCP的交互,通过大规模实验揭示MCP集成的关键局限,为可控工具增强型LLM提供基准。
2025-08-18 cs.AI
Efficient Classification of Student Help Requests in Programming Courses Using Large Language Models
Carnegie Mellon University(卡内基梅隆大学);The University of Auckland(奥克兰大学);Illinois Wesleyan University(伊利诺伊卫斯理大学)
本文研究利用GPT-3.5和GPT-4自动分类编程课程学生求助请求,发现GPT-4在调试子类上更优,微调GPT-3.5可接近人工评分一致性,证明LLM可用于教育需求自动分类。
2023-10-31 cs.AI cs.CL cs.CY
DAISY: Fault-Guided Assertion Inference for Dafny
INESC TEC, Faculty of Engineering, University of Porto(葡萄牙波尔图大学工程学院INESC TEC);Computer Science Department of Carnegie Mellon University(卡内基梅隆大学计算机科学系)
本文研究使用LLM自动推断Dafny程序中缺失的辅助断言,提出结合LLM预测与错误消息启发式的混合方法改进错误定位,并在新工具DAISY中实现,有效降低了形式化验证的证明工程工作量。
2026-11-13 cs.AI cs.LO cs.PL
Integrating Symbolic Execution into the Fine-Tuning of Code-Generating LLMs
TU Darmstadt(图宾根大学)
本文研究利用符号执行增强奖励模型训练数据,并结合强化学习与直接偏好优化微调代码生成大语言模型,在代码质量评估上显著超越CodeRL基线,生成性能与CodeRL相当。
2025-05-05 cs.AI cs.SE
HelpSteer2: Open-source dataset for training top-performing reward models
NVIDIA(英伟达)
本文发布CC-BY-4.0许可的HelpSteer2偏好数据集,仅用一万个回答对训练出在Reward-Bench达到92.0% SOTA的奖励模型,并提出利用多属性分数的SteerLM 2.0对齐方法。
2024-06-12 cs.AI cs.CL cs.LG
When Do LLMs Actually Help? Evaluating LLMs as Data Quality Annotators
本研究对比测试LLM与基于规则方法在两项电商数据质量任务中的表现,发现LLM在需背景知识的任务中更具优势,且判断高度一致,小型样本提示评估可能存在误导。
2026-08-20 cs.AI cs.CL
SH2: Self-Highlighted Hesitation Helps You Decode More Truthfully
Shanghai Jiao Tong University(上海交通大学)
针对大语言模型的幻觉问题,本文提出推理阶段的自高亮犹豫(SH2)方法,通过高亮低概率事实token并结合对比解码,无需额外数据或模型即可显著提升多个模型在幻觉任务上的事实生成准确性。
2024-10-07 cs.AI cs.CL
Examining LLMs' Uncertainty Expression Towards Questions Outside Parametric Knowledge
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究通过构建UnknownBench基准,系统评估LLMs在参数化知识外问题上的诚实性与有用性权衡,发现多数模型难以一致地表达不确定性或拒绝回答。
2024-02-16 cs.AI cs.CL cs.LG
Can Computation from Earlier Problems Help LLMs Solve New Ones?
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本研究探讨历史计算对LLM解决新问题的影响,提出STAIR方法,通过固定存储库复用先前键值并重定向查询,仅训练1.2万参数,在三个Qwen模型和四个基准上平均后续轮次准确率最高提升11.67个百分点。
2026-11-20 cs.AI cs.CL cs.LG
INDICT: Code Generation with Internal Dialogues of Critiques for Both Security and Helpfulness
Salesforce Research(Salesforce研究院)
本研究提出INDICT框架,通过安全与有用性双批评者的内部对话结合外部知识,在代码生成与执行阶段提供指导,显著提升了不同规模LLM输出代码的质量与安全性。
2024-10-29 cs.AI cs.CL cs.CR
Can LLMs Help You at Work? A Sandbox for Evaluating LLM Agents in Enterprise Environments
Fujitsu Research(富士通研究所)
提出EnterpriseBench基准,模拟企业环境并包含500项跨领域任务,实验表明最先进的LLM智能体仅实现41.8%任务完成率,揭示了企业AI系统的改进空间。
2025-10-31 cs.AI cs.LG
Towards Safety and Helpfulness Balanced Responses via Controllable Large Language Models
University of California, Santa Barbara(加州大学圣巴巴拉分校);Meta AI
本文提出通过同时控制安全性与有用性两个属性来平衡LLM响应,探索免训练与微调方法,无需额外人工标注即可解锁模型可控性。
2024-04-01 cs.AI cs.CL
Memory GAPS: Would LLMs pass the Tulving Test?
本文借鉴已有四十余年历史的 Tulving 测试及协同触发模型,探讨其能否用于评估 LLM 在再认与回忆中的记忆表现。
2024-02-28 cs.AI
PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Infinigence-AI
本研究推出大规模安全人类偏好数据集PKU-SafeRLHF,分离有用性与无害性标注,覆盖多危害类别与严重等级,并基于该数据训练安全对齐相关模型,为LLM安全部署提供资源支撑。
2025-06-14 cs.AI cs.CL
Varying Shades of Wrong: Aligning LLMs with Wrong Answers Only
University of Washington(华盛顿大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Allen Institute for AI(艾伦人工智能研究所)
针对缺乏可靠标注的挑战性任务,本文提出利用“错对错”偏好对齐LLM,通过自洽性、token概率和LLM评判等方法引导偏好并微调模型,实验证明该方法能提升模型表现并改善校准。
2024-10-14 cs.AI cs.CL
EduAlign: Aligning Educational LLMs for Helpfulness, Personalization, and Creativity
Shanghai Innavation Institute(上海创新研究院);Shanghai Institute of AI for Education(上海人工智能教育研究院);School of Computer Science and Technology(计算机科学与技术学院);Department of Educational Information Technology(教育信息技术系)
本文提出EduAlign框架,通过构建HPC多维奖励模型并结合GRPO强化学习微调LLM,提升AI导师在有用性、个性化和创造力培养上的教学对齐。
2026-10-06 cs.AI cs.LG
Equilibrate RLHF: Towards Balancing Helpfulness-Safety Trade-off in Large Language Models
Alibaba Group(阿里巴巴集团)
针对RLHF中安全数据扩张导致模型“过度安全”并损害有用性的问题,提出Equilibrate RLHF框架,通过FDC数据策略与AMA梯度掩码实现安全性和有用性的平衡。
2025-02-17 cs.AI
How Can Large Language Models Help Humans in Design and Manufacturing?
MIT(麻省理工学院);University of Washington(华盛顿大学);Harvard University(哈佛大学)
本文研究了包括 GPT-4 在内的大型语言模型在整个设计与制造工作流程中的应用,通过示例评估了其在设计规范转换、制造指令生成、设计空间变体、性能计算及搜索等任务中的效用,并揭示了当前模型的益处与局限性,以促进其持续改进。
2023-07-25 cs.AI cs.CL
More Capable, Less Cooperative? When LLMs Fail At Zero-Cost Collaboration
研究LLM在多智能体系统中零成本协作的失败原因,通过构建去战略复杂性的环境,发现能力更强的模型(如o3)反而合作更差,并区分了能力失败与主动信息隐瞒,提出针对性干预措施。
2026-06-04 cs.AI cs.CL cs.MA
PrimeGuard: Safe and Helpful LLMs through Tuning-Free Routing
Dynamo AI
提出PrimeGuard,一种利用结构化控制流的免调优推理时护栏方法,通过路由请求到LM的不同自我实例化,在无需微调的情况下克服安全性与有用性之间的权衡,显著提升安全响应比例并降低攻击成功率。
2024-07-23 cs.AI cs.CL cs.CR
How Much Can RAG Help the Reasoning of LLM?
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Software Tsinghua University(清华大学软件学院)
本文研究检索增强生成(RAG)对大语言模型推理能力的帮助程度,发现其辅助有限且难以支持深层推理,并提出 DPrompt tuning 方法以在有限 transformer 层内有效解决文档预处理问题并提升性能。
2024-10-04 cs.AI cs.CL
LLMs as Agentic Cooperative Players in Multiplayer UNO
Department of Computer Science Tennessee Tech University(计算机科学系塔恩西技术大学)
研究让LLM作为合作玩家在UNO中协助他人获胜,发现尽管不同规模模型均超越随机基线,但鲜少能显著帮助队友。
2025-09-11 cs.AI cs.CL
ChatGPT or A Silent Everywhere Helper: A Survey of Large Language Models
Tampere University(坦佩雷大学);University of Houston(休斯顿大学)
本综述全面分析ChatGPT的架构、训练与功能,梳理其多行业应用,对比其他大语言模型的性能与特性,探讨潜在风险,梳理相关模型、数据集与应用,并指明未来研究方向。
2025-03-19 cs.AI cs.CL
Do AI models help produce verified bug fixes?
Constructor Institute of Technology(构造技术研究所)
本研究通过随机对照实验,利用程序证明环境验证修复正确性,探究LLM在自动程序修复中的实际效用,发现结果出乎意料,并贡献了可复用的实验方法、行为分析、7类使用模式及实用建议。
2025-08-04 cs.AI cs.SE