Assessing and Verifying Task Utility in LLM-Powered Applications
Microsoft Research(微软研究院);Pennsylvania State University(宾夕法尼亚州立大学);Purdue University(普渡大学)
针对LLM驱动应用的效用评估空白,该研究提出AgentEval框架,可自动生成适配应用的评估标准以量化效用,并在两个开源数据集上验证了其有效性与鲁棒性,相关资源已公开。
2024-05-12 cs.AI cs.CL
Benchmarking LLM powered Chatbots: Methods and Metrics
本文提出E2E基准,通过余弦相似度等指标评估LLM驱动聊天机器人答案的准确性和有用性,实验表明该方法优于现有常用指标。
2023-08-08 cs.AI cs.CL
Factory Operators' Perspectives on Cognitive Assistants for Knowledge Sharing: Challenges, Risks, and Impact on Work
Delft University of Technology(代尔夫特理工大学)
本文通过两年纵向研究,考察工厂中部署认知助手对知识共享的影响,发现其虽能提升效率,但也带来监控、隐私、知识贡献负担及操作员与管理者之间的紧张关系等挑战。
2024-09-30 cs.AI cs.HC
RepoAgent: An LLM-Powered Open-Source Framework for Repository-level Code Documentation Generation
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Siemens AG(西门子公司)
本文提出由大语言模型驱动的开源框架 RepoAgent,用于自动生成、维护和更新仓库级代码文档,并通过定性与定量实验验证其有效性。
2024-02-26 cs.AI cs.CL
Design Techniques for LLM-Powered Interactive Storytelling: A Case Study of the Dramamancer System
Midjourney
Dramamancer系统利用LLM将作者创建的故事架构转化为玩家驱动的交互叙事,探讨了相关设计技术和评估方法。
2026-01-26 cs.AI cs.CL cs.HC
Understand User Opinions of Large Language Models via LLM-Powered In-the-Moment User Experience Interviews
Amazon(亚马逊公司);School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);University of California, Berkeley(加州大学伯克利分校)
本文提出由LLM驱动的即时访谈系统CLUE,在用户使用模型后自动访谈并分析大规模日志,揭示了用户对主流LLM的差异化看法与需求。
2025-06-10 cs.AI cs.CL cs.HC
Evaluating the Realism of LLM-powered Social Agents: A Case Study of Reactions to Spanish Online News
Faculty of Computer Science, University of Murcia(计算机科学系,穆尔西亚大学)
通过比较真实与LLM生成的西班牙新闻评论,研究LLM在仇恨言论、情感和语义对齐三个维度上的真实性,发现现成模型表现不佳,微调可部分改善。
2026-05-27 cs.AI cs.CL
Are LLM-Powered Social Media Bots Realistic?
Carnegie Mellon University(卡内基梅隆大学)
本文通过结合人工、网络科学与LLMs生成合成社交机器人网络,发现其在网络和语言属性上均不同于真实机器人/人类,为检测和评估LLM驱动机器人提供了依据。
2025-08-22 cs.AI cs.SI
LLM-Powered Automatic Translation and Urgency in Crisis Scenarios
George Mason University(乔治·马歇尔大学);George Mason University – Archimedes AI Research Unit(乔治·马歇尔大学阿基米德人工智能研究单元);Athena RC, Greece(雅典RC,希腊)
本文研究了大型语言模型在危机场景中翻译的性能,发现其在保持紧急性方面存在显著缺陷,强调了对危机通信技术的特殊评估需求。
2026-08-13 cs.AI cs.CL
Automatic Bug Detection in LLM-Powered Text-Based Games Using LLMs
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Salesforce Research(Salesforce研究院);Harvard University(哈佛大学)
针对LLM驱动的文本游戏中逻辑与设计缺陷缺乏自动检测的问题,提出基于LLM的系统方法,从玩家日志自动识别缺陷,在DejaBoom!上验证有效。
2024-06-06 cs.AI cs.CL cs.HC
Improving LLM-powered Recommendations with Personalized Information
Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院)
针对现有LLM驱动推荐未有效利用推理能力的问题,提出整合用户偏好分析与物品感知分析两个CoT过程的CoT-Rec流程,通过两阶段提取并利用个性化信息,实验证明其能提升LLM推荐效果。
2025-04-18 cs.AI cs.IR
Inside the LLM Word Factory
Stein Faculty of Computer and Information Science(Stein计算机与信息科学学院)
通过激活修补实验,定位Llama2-7B中英语去分词化过程为第1层的两阶段机制:注意力传递非最终子词的令牌特定信号,MLP将其与局部嵌入组合。该结构泛化至八族十二模型,但深度取决于位置编码类型。
2026-09-29 cs.CL
LLM-Powered Swarms: A New Frontier or a Conceptual Stretch?
Lakeside Labs GmbH(莱克西德实验室)
本文针对OpenAI的Swarm框架实现的经典与LLM驱动的Boids、蚁群优化算法,评估其是否符合经典群体智能原则,发现LLM驱动群体虽能模拟类群体动态,但计算开销达经典版本的300倍,不适用于实时系统。
2026-08-28 cs.AI
Advanced ingestion process powered by LLM parsing for RAG system
Applus+ IDIADA
针对 RAG 系统处理多模态文档的难题,提出基于 LLM 驱动 OCR 的多策略解析方法,利用节点提取、Multimodal Assembler Agent 和灵活嵌入策略增强文档理解与检索,在多个知识库上提升了答案相关性与信息忠实度。
2024-12-16 cs.AI cs.CL cs.IR
Game Plot Design with an LLM-powered Assistant: An Empirical Study with Game Designers
University of British Columbia(英属哥伦比亚大学);Microsoft Research(微软研究院);Microsoft Gaming(微软游戏);Vector Institute for AI(向量人工智能研究院)
本研究介绍LLM驱动的游戏剧情设计助手GamePlot,通过用户研究发现其能提升设计师满意度与所有权感,但LLM生成复杂创新内容能力有限,且不同用户群体对AI助手期望不同。
2024-11-05 cs.AI cs.CL cs.HC
A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration
Tsinghua University(清华大学);Georgia Institute of Technology(佐治亚理工学院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能国际研究院);Jiangsu Collaborative Innovation Center for Language Competence(江苏省语言能力协同创新中心);Stanford University(斯坦福大学)
提出动态LLM智能体网络DyLAN,通过两阶段范式自动选择智能体并动态协作,在多任务中优于基线且在MMLU特定科目准确率提升25.0%。
2024-11-15 cs.AI cs.CL cs.MA
Toward Personalized LLM-Powered Agents: Foundations, Evaluation, and Future Directions
本文探讨个性化LLM代理的基础、评估及未来方向,分析了四个核心能力:用户画像建模、记忆、规划与行动执行,并总结了评估指标和应用场景。
2026-03-16 cs.AI
Thought-Augmented Planning for LLM-Powered Interactive Recommender Agent
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
针对LLM驱动的交互式推荐智能体难以处理复杂用户意图的问题,提出基于思维模式蒸馏的多智能体系统TAIRA,通过提取专家经验增强管理智能体的规划能力,在多数据集实验中显著提升了推荐性能并展现出强大的泛化优势。
2025-06-30 cs.AI cs.CL cs.IR
LLMs for Engineering: Teaching Models to Design High Powered Rockets
Tufa Labs(图法实验室)
本文提出RocketBench基准评估LLMs在高功率火箭设计中的能力,发现基线模型难以基于模拟结果迭代优化,但经强化学习增强的7B参数模型超越了SoTA模型与人类专家,证明RL训练的LLMs可有效解决复杂工程优化问题。
2025-04-29 cs.AI cs.SE
LETGAMES: An LLM-Powered Gamified Approach to Cognitive Training for Patients with Cognitive Impairment
Shanghai University of Finance and Economics(上海财经大学);Northwest Polytechnical University(西北工业大学);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所);College of Computer Science, Sichuan University(四川大学计算机学院)
LETGAMES通过大语言模型生成个性化互动叙事游戏,针对特定认知领域设计挑战,并通过对话策略提供指导,通过心理学基础评估协议验证其有效性,展示了在认知训练工具中的潜力。
2026-02-18 cs.AI cs.CL cs.HC
A Context-Aware Cultural Heritage Guide Powered by LLMs
Università degli Studi di Torino(都灵大学)
本研究扩展了文化遗产网页应用Triangolazioni,构建与LLMs无关的松耦合架构,实现LLMs驱动的上下文感知文化遗产信息搜索与展示,丰富了文化遗产内容。
2026-08-04 cs.AI cs.HC cs.IR
Human-Imperceptible Retrieval Poisoning Attacks in LLM-Powered Applications
Tsinghua University(清华大学);Central South University(中南大学)
本文提出针对基于LLM应用的检索投毒攻击,攻击者通过构造视觉上不可感知的恶意文档,在RAG过程中误导应用生成错误响应,实验证明其成功率最高达88.33%。
2024-04-26 cs.AI cs.CR
LLM-Powered Ensemble Learning for Paper Source Tracing: A GPU-Free Approach
Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团);Cardinal Operations
本研究针对KDD CUP 2024论文来源溯源任务,提出无需GPU的闭源LLM结合集成学习的方案,在竞赛中获第三名,是唯一无需GPU训练的获奖方法。
2024-09-17 cs.AI cs.CL cs.LG
NaSh: Guardrails for an LLM-Powered Natural Language Shell
University of California, Los Angeles(加州大学洛杉矶分校)
针对大语言模型驱动的自然语言Shell易产生非预期或不可解释输出的问题,研究提出应设置防护栏辅助用户纠错,设计了NaSh Shell落实思路,并梳理了该领域的开放问题与研究方向。
2025-06-16 cs.AI cs.OS
TransCompressor: LLM-Powered Multimodal Data Compression for Smart Transportation
City University of Hong Kong(香港城市大学)
本文提出 TransCompressor 框架,利用 LLM 对公交、出租车和地铁等多模态交通传感器数据进行压缩与解压,并通过实验验证其在不同压缩比下的重建效果。
2024-11-25 cs.CL
LLM-Powered Virtual Population for Demand Simulation and Pricing
Columbia University(哥伦比亚大学)
提出一种LLM驱动的虚拟人群模型,通过混合客户画像和LLM评估购买概率,生成需求分布,支持风险感知定价,在H&M数据集上表现最优。
2026-06-16 cs.AI cs.CL cs.LG
Patchview: LLM-Powered Worldbuilding with Generative Dust and Magnet Visualization
Midjourney
Patchview 通过磁铁与尘埃的可视化隐喻帮助用户理解并引导 LLM 生成故事世界观要素,并利用用户的位置纠正来对齐模型行为,从而支持世界观构建中的探索与意义建构。
2024-08-07 cs.AI cs.CL cs.HC
Virtual Agents for Alcohol Use Counseling: Exploring LLM-Powered Motivational Interviewing
Northeastern University(东北大学)
针对酒精使用等物质滥用咨询资源有限的问题,研究结合提示工程和用户友好平台,开发出基于LLM的动机访谈虚拟咨询师,其共情与对话适配能力可匹配人类咨询师,推动虚拟健康咨询发展。
2024-07-10 cs.CL cs.HC
From Text to Trust: Empowering AI-assisted Decision Making with Adaptive LLM-powered Analysis
Purdue University(普渡大学);Texas A&M University(德克萨斯农工大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对人们因缺乏AI解释而无法恰当依赖AI辅助决策的问题,本文先通过实验发现直接呈现LLM驱动的特征分析无显著效果,进而提出动态选择分析内容的算法框架,有效提升了决策者对AI的恰当依赖。
2025-02-17 cs.CL cs.HC
Breaking and Defending LLM-Powered Social Media Bot Detection Systems
Reichman University(莱希曼大学)
本研究针对基于大语言模型的社交媒体机器人检测系统,提出两种新型对抗攻击策略使其准确率降48%,并开发多LLM防御框架LSABRE,在强自适应对抗下仍维持86%准确率,相关方法可推广至其他LLM网络安全系统。
2026-08-18 cs.AI
GameUIAgent: An LLM-Powered Framework for Automated Game UI Design with Structured Intermediate Representation
本文提出GameUIAgent框架,通过结构化中间表示将自然语言描述转化为Figma设计,结合神经符号管道实现迭代自校正,发现质量天花板效应和渲染评估保真原则。
2026-03-16 cs.AI
LLM-Powered Grapheme-to-Phoneme Conversion: Benchmark and Case Study
Sharif University of Technology(谢里夫理工大学)
本文评估大语言模型在字形转音素(G2P)任务中的性能,提出无需额外训练的提示与后处理优化方法,构建波斯语句子级G2P基准数据集,证实该方法可超越传统工具,为低资源语言G2P系统开发提供新思路。
2024-09-13 cs.CL
Rescriber: Smaller-LLM-Powered User-Led Data Minimization for LLM-Based Chatbots
Northeastern University(东北大学)
针对LLM聊天机器人中用户敏感信息过度披露且现有技术缺乏用户参与的问题,本文设计浏览器扩展Rescriber,通过小语言模型帮助用户检测清理提示中的个人信息,实现用户主导的数据最小化,研究表明其能减少不必要披露、缓解隐私担忧,且小模型驱动的系统感知效果与大模型相当。
2025-02-11 cs.AI cs.CR cs.HC
Jailbreak-as-a-Service++: Unveiling Distributed AI-Driven Malicious Information Campaigns Powered by LLM Crowdsourcing
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);China People’s Public Security University(中国人民公安大学);Tongji University(同济大学);South China Normal University(华南师范大学);Tsing Hua University(清华大学)
Jailbreak-as-a-Service++研究通过LLM众包技术揭示分布式恶意信息活动,提出PoisonSwarm方法提升恶意任务生成效率并提出生态系统级防御需求。
2026-01-24 cs.AI cs.CL cs.LG
AART: AI-Assisted Red-Teaming with Diverse Data Generation for New LLM-powered Applications
Google Research(谷歌研究院)
本文提出AART,一种AI辅助红队测试方法,通过可定制配方自动生成多样化对抗性评估数据集,以更低人力成本在开发早期测试LLM应用安全性,并在概念覆盖率和数据质量上表现优异。
2023-11-29 cs.AI cs.CL cs.SE
Unifying AI Tutor Evaluation: An Evaluation Taxonomy for Pedagogical Ability Assessment of LLM-Powered AI Tutors
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文针对LLM驱动AI导师的教学能力评估问题,提出基于学习科学原理的8维度统一分类体系,发布含192段对话、1596条回应的MRBench基准,评估了Prometheus2等模型的评估可靠性并分析导师能力,为AI导师发展提供支撑。
2025-02-08 cs.CL
MRGEN: A Conceptual Framework for LLM-Powered Mixed Reality Authoring Tools for Education
LIUM, Le Mans Université(里摩斯大学);IRISA, Université de Rennes(里莫斯大学)
本文提出MRGEN框架,利用大语言模型帮助教师创建适用于移动设备的混合现实学习活动,实验显示AI辅助显著缩短任务时间,90%以上参与者认为AI支持有助于构思和对齐学习目标。
2026-03-12 cs.AI cs.HC
Ask-Before-Detection: Identifying and Mitigating Conformity Bias in LLM-Powered Error Detector for Math Word Problem Solutions
Michigan State University(密歇根州立大学);Squirrel Ai Learning(松鼠AI智适应教育);Carleton College(卡尔顿学院)
本文揭示了基于LLM的数学应用题错误检测器中忽略多种有效解法的从众偏差,提出Ask-Before-Detect框架生成自适应参考解答以缓解偏差,在GSM8K数据集上验证了其有效性。
2024-12-22 cs.CL
POLAR: Automating Cyber Threat Prioritization through LLM-Powered Assessment
该研究聚焦大语言模型在网络威胁情报应用中的内在脆弱性,提出融合分层、自回归细化与人在回路监督的分类方法分析失败案例,揭示三类核心脆弱性并给出系统设计的可行见解。
2025-10-02 cs.AI cs.CR
An LLM-Powered Agent for Physiological Data Analysis: A Case Study on PPG-based Heart Rate Estimation
Department of Computing, University of Turku(图波卡大学计算机系);Department of Computer Science, University of California, Irvine(加州大学伊文斯顿分校计算机科学系);School of Nursing, University of California, Irvine(加州大学伊文斯顿分校护理学院)
本文开发了一个基于OpenCHA框架、由GPT-3.5-turbo驱动的LLM智能体,通过编排用户交互、数据源和分析工具来分析生理时间序列,在基于PPG的心率估计案例中表现优于GPT-4o-mini和GPT-4o,实现了更低的错误率和更可靠的估计。
2025-04-29 cs.CL
LLM Bazaar: A Service Design for Supporting Collaborative Learning with an LLM-Powered Multi-Party Collaboration Infrastructure
Carnegie Mellon University(卡内基梅隆大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本研究基于开源协作支持架构Bazaar集成LLM智能体外壳,构建LLM Bazaar服务,为小组学习提供实时上下文敏感的LLM协作支持,助力探索LLM赋能环境对协作学习的重塑作用。
2025-09-12 cs.AI cs.HC
Conversational Health Agents: A Personalized LLM-Powered Agent Framework
University of California, Irvine(加利福尼亚大学欧文分校)
针对当前对话式健康代理缺乏多步问题解决、个性化对话和多模态分析能力的问题,提出了开源LLM框架openCHA,通过编排器集成外部资源,实现个性化医疗查询响应,并验证了其在复杂任务中的有效性。
2024-09-25 cs.CL
Statistically Reliable LLM-Based Ranking Evaluation via Prediction-Powered Inference
Amazon(亚马逊)
提出PRECISE框架,将预测驱动推断扩展到排序评估指标,通过结合少量人工标注和大量LLM判断实现无偏估计,并在ESCI基准和实际系统中验证了有效性。
2026-06-03 cs.AI cs.CL cs.IR
HyST: LLM-Powered Hybrid Retrieval over Semi-Structured Tabular Data
PrompTart LAB, MODULABS(PrompTart实验室,MODULABS)
针对现实推荐系统中用户查询结合结构化约束与非结构化偏好的问题,提出HyST混合检索框架,通过LLM提取属性约束过滤并结合嵌入搜索处理非结构化部分,实验证明其优于传统基线且提升检索精度。
2025-08-25 cs.AI cs.IR
UrbanInsight: A Distributed Edge Computing Framework with LLM-Powered Data Filtering for Smart City Digital Twins
针对现有智慧城市系统存在的规模、延迟及洞察碎片化问题,提出融合物理信息机器学习、知识图谱与边缘端LLM自适应规则生成的UrbanInsight框架,为可落地的可信可持续智能基础设施数字孪生提供新方案。
2025-08-31 cs.AI
BadLLM-TG: A Backdoor Defender powered by LLM Trigger Generator
本文提出BadLLM-TG,利用大语言模型的知识,通过提示驱动强化学习生成触发器,用于缓解后门攻击,实验表明其在减少攻击成功率方面表现优异。
2026-03-16 cs.AI cs.CR
LLM-AR: LLM-powered Automated Reasoning Framework
University of Oxford(牛津大学);Vela Research(Vela研究公司)
提出LLM-AR框架,利用神经符号方法将大语言模型启发式转化为概率规则,在初创企业成功预测中达到59.5%精确率,且决策可解释。
2025-10-24 cs.AI cs.LG
LLM-Powered Preference Elicitation in Combinatorial Assignment
Harvard University(哈佛大学);University of Zurich(苏黎世大学);ETH AI Center(ETH人工智能中心);University of Illinois Chicago(芝加哥伊利诺伊大学)
提出可与 SOTA 机器学习偏好诱导方法协同的 LLM 代理框架,以一次性方式减少组合分配中的人力查询,并在课程分配中验证其最高提升 20% 分配效率。
2025-02-14 cs.AI cs.GT cs.LG
Wi-Chat: Large Language Model Powered Wi-Fi Sensing
University of Hawaii at Manoa(夏威夷大学马诺阿分校);University of South Florida(南佛罗里达大学)
本文提出首个由 LLM 驱动的 Wi-Fi 人体活动识别系统 Wi-Chat,通过在提示中融入 Wi-Fi 感知原理,使模型无需传统信号处理即可零样本解释 CSI 并识别活动。
2025-02-18 cs.CL
Adaptive Learning Systems: Personalized Curriculum Design Using LLM-Powered Analytics
University of Utah(犹他大学);Tianjin University(天津大学);University of Pennsylvania(宾夕法尼亚大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出利用 LLM 分析实时学习数据并动态调整路径与资源的自适应学习框架,实验表明其可提升参与度、知识保持率并支持以学生为中心的教学。
2025-07-25 cs.CL cs.CY
HistoLens: An LLM-Powered Framework for Multi-Layered Analysis of Historical Texts -- A Case Application of Yantie Lun
Sun Yat-sen University(中山大学)
本文提出基于LLM的历史文本多层分析框架HistoLens,以《盐铁论》为例,集成NLP技术进行多维可视分析,并构建机器教学场景,为历史研究与教育提供新工具。
2024-11-15 cs.CL
Smart Privacy Policy Assistant: An LLM-Powered System for Transparent and Actionable Privacy Notices
Binghamton University(宾汉姆顿大学)
本文提出基于大语言模型的智能隐私政策助手,通过自动提取和分类隐私条款,生成可理解的解释,提升用户对隐私政策的理解和透明度。
2026-01-09 cs.AI cs.CR
LLM-powered reasoning in agent-based modeling
ORNL(橡树岭国家实验室)
研究针对传统基于代理建模(ABM)依赖静态先验无法适应实时变化的问题,提出利用大语言模型(LLMs)的可扩展混合代理和语言驱动的流行病(HALE)建模框架,并通过模拟COVID-19验证其可行性。
2026-07-09 cs.AI cs.MA
Knowledge-Infused LLM-Powered Conversational Health Agent: A Case Study for Diabetes Patients
University of California, Irvine(加利福尼亚大学欧文分校)
本文针对通用 LLM 缺乏糖尿病领域知识的问题,基于 openCHA 融合 ADA 指南、Nutritionix 与营养分析工具,构建对话式健康代理,并在100个问题上优于 GPT4。
2024-02-28 cs.CL