Effective Large Language Model Adaptation for Improved Grounding and Citation Generation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Cloud AI(谷歌云人工智能)
本文提出 AGREE 调优框架,通过自动构建含引用的接地数据并结合测试时主动检索,提升大语言模型回答的事实接地与引用准确性。
2024-04-02 cs.CL
Forecasting With LLMs: Improved Generalization Through Feature Steering
University of Chicago(芝加哥大学);University of Chicago, Illinois, United States(芝加哥大学)
本文利用稀疏自编码器分析LLM内部状态,识别时间感知和前瞻偏差特征,并通过增强时间感知特征减少预测中的前瞻偏差,提升泛化能力。
2026-08-12 cs.CL cs.LG
LLMPC: Large Language Model Predictive Control
本文从模型预测控制视角分析LLM提示技术,提出统一MPC框架,证明LLM是隐式规划成本最小化器,并在多个规划基准上优于少样本提示。
2025-02-25 cs.AI cs.CL
Scaling Public Health Text Annotation: Zero-Shot Learning vs. Crowdsourcing for Improved Efficiency and Labeling Accuracy
University of Toronto(多伦多大学);Dalla Lana School of Public Health(达拉·拉纳公共卫生学院);Institute of Health Policy, Management, and Evaluation (IHPME)(卫生政策、管理与评价研究所);Faculty of Information(信息学院);Schwartz Reisman Institute(施瓦茨·赖斯曼研究所)
本研究针对公共卫生社交媒体数据标注耗时昂贵的问题,对比零样本LLM标注与传统众包标注的表现,发现LLM在简单分类任务中可媲美人类且大幅提速,但复杂任务准确性下降,为公共卫生研究标注提供高效方案。
2025-02-10 cs.CL
Improved prompting and process for writing user personas with LLMs, using qualitative interviews: Capturing behaviour and personality traits of users
Abertay University(阿伯泰大学)
本文提出一种利用大语言模型(GPT3.5-Turbo-16k)结合定性访谈主题分析结果创建用户画像的工作流程,通过改进提示词和扩大主题池,旨在更有效地捕捉用户行为与人格特质,并探讨了与现有画像方法的关联。
2023-10-10 cs.CL cs.CY cs.HC
GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Institute for AI, Tsinghua University(清华大学人工智能研究院);Tencent Robotics X(腾讯机器人X);Jiangsu Collaborative Innovation Center for Language Ability(江苏省语言能力协同创新中心)
针对知识图谱补全中结构信息难以整合进LLM的问题,提出GLTW方法,通过改进的图Transformer编码子图并与LLM融合,结合多分类训练目标,显著提升了KGC性能。
2025-05-30 cs.CL cs.IR
ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection
National Key Laboratory for Novel Software Technology, Nanjing University, Jiangsu, China(新型软件技术国家重点实验室,南京大学,江苏,中国);Shanghai Artificial Intelligence Laboratory, Shanghai, China(上海人工智能实验室,上海,中国);Department of Linguistics and Translation, City University of Hong Kong, Hong Kong, China(语言学与翻译系,香港城市大学,香港,中国);School of Mathematical Sciences, Dalian University of Technology, Liaoning, China(数学科学学院,大连理工大学,辽宁,中国)
ExpLang通过在线策略思考语言选择改进大语言模型推理中的探索与利用,实现多语言优势提升
2026-02-25 cs.CL
EFIM: Efficient Serving of LLMs for Infilling Tasks with Improved KV Cache Reuse
Sun Yat-sen University(中山大学);Tencent(腾讯);University of Science and Technology of China(中国科学技术大学)
本文提出 EFIM,通过转换 FIM 提示词格式并引入片段分词训练方法,解决了 LLM 填充任务中 KV 缓存复用受限及 subtoken 生成问题,使延迟降低 52%、吞吐量提升 98%。
2025-05-29 cs.CL
Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究提出利用经验推导的人类信念网络(包含64个主题和9个潜在因子)来对齐基于LLM的角色扮演智能体,发现植入单一信念能显著提升网络内相关主题的LLM与人类观点一致性,为社会信念分布模拟提供新路径。
2024-10-16 cs.CL
Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning
FAIR Team, Meta(Meta FAIR团队);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出short-m@k方法,通过并行生成较短的思考链提高大语言模型推理效率,实验表明其在低计算环境下表现优于传统多数投票。
2026-02-03 cs.AI cs.CL
Audio-visual training for improved grounding in video-text LLMs
PhroneticAI(弗罗内蒂克人工智能公司)
本研究提出一种显式处理音视频输入的模型架构,利用视频指令微调数据训练,证明音频训练能提升响应基础对齐能力,并发布人工标注的音频感知问答基准数据集。
2024-07-21 cs.CL cs.CV cs.MM
Rethinking Supervised Fine-Tuning: Emphasizing Key Answer Tokens for Improved LLM Accuracy
Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院);Beijing Jiaotong University (BJTU)(北京交通大学)
SFTKey通过两阶段训练方案,强调关键答案标记以提高LLM在复杂推理任务中的准确性。
2025-12-24 cs.AI cs.CL
Improved Generalized Planning with LLMs through Strategy Refinement and Reflection
本文提出通过生成伪代码并自动调试,结合反思步骤提升LLM生成的通用规划质量,实验显示改进后配置在17个基准领域达到82%的平均覆盖率。
2026-03-20 cs.AI cs.CL
Contradiction Detection in RAG Systems: Evaluating LLMs as Context Validators for Improved Information Consistency
Amazon(亚马逊公司)
本研究提出数据生成框架模拟RAG系统中的矛盾信息,并评估多种LLM作为上下文验证器的检测能力,发现大模型表现更优但提示策略效果因模型而异,指出上下文验证仍具挑战性。
2025-03-31 cs.AI cs.CL
From AI Assistant to AI Scientist: Autonomous Discovery of LLM-RL Algorithms with LLM Agents
Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(上海数据科学关键实验室,计算机科学学院,复旦大学);School of Data Science, Fudan University(数据科学学院,复旦大学)
本文提出POISE框架,通过自动化发现语言模型的策略优化算法,改进了政策优化算法,提高了性能指标。
2026-03-25 cs.CL
InFact: Informativeness Alignment for Improved LLM Factuality
Hasso Plattner Institute University of Potsdam(霍普夫纳研究所波茨坦大学);Dept. of Computer Science Aalborg University(计算机科学系奥尔堡大学)
针对大语言模型生成事实正确但信息量不足文本的问题,提出信息量对齐机制,利用事实性基准优化答案的正确性与信息量,同时提升模型事实性。
2025-05-26 cs.AI cs.CL
MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning
University of Virginia(弗吉尼亚大学);Amazon Alexa(亚马逊 Alexa)
本文提出 MAML-en-LLM 元训练方法,通过学习真正可泛化的参数增强 LLM 的上下文学习与未见任务适应能力,并在多种任务和数据设置下优于现有 SOTA 方法。
2024-05-19 cs.CL cs.LG
ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs
California Institute of Technology(加州理工学院);Carleton College(卡尔顿学院);University of Cambridge(剑桥大学)
针对大语言模型存在社会偏见且去偏受成本、数据等限制的问题,提出基于ChatGPT的定向与通用提示数据增强策略,结合适配器调优实现参数高效去偏,性能优于现有数据集且能保留模型知识、具备跨类别泛化性。
2024-09-16 cs.AI cs.CL cs.CY
An Improved Traditional Chinese Evaluation Suite for Foundation Model
iKala AI Lab(iKala AI实验室);National Yang Ming Chiao Tung University(国立阳明交通大学)
本研究提出规模更大、学科分布更均衡的繁体中文理解基准TMMLU+,测试多款大语言模型后发现繁体模型落后于简体模型、模型平均得分低于人类,且仅生育率分数与基准结果强相关,助力繁体中文大模型研发。
2024-07-11 cs.CL
Strategic Demonstration Selection for Improved Fairness in LLM In-Context Learning
University of Bristol(布里斯托尔大学);New Jersey Institute of Technology(新泽西理工学院)
本研究探究上下文学习提示中示范样本对大语言模型公平性的影响,提出结合聚类与进化策略的样本筛选方法,在保障预测准确率的同时有效提升模型公平性。
2024-08-19 cs.CL cs.CY cs.LG
Flow-of-Options: Diversified and Improved LLM Reasoning by Thinking Through Options
Flagship Pioneering(旗舰先锋)
提出名为Flow-of-Options (FoO) 的推理方法,通过压缩可解释的任务表示强制实现LLM推理的多样性,在数据科学和治疗化学等任务上显著超越基线且成本极低,并具备广泛适用性。
2025-05-30 cs.AI cs.CL cs.LG
Fine-tuned Large Language Models (LLMs): Improved Prompt Injection Attacks Detection
本研究针对大型语言模型易受提示注入攻击的安全问题,提出采用预训练与微调两种检测方法,其中微调XLM-RoBERTa模型在测试集上达到99.13%准确率,有效提升了攻击检测性能。
2024-11-07 cs.AI cs.CL
The Larger the Better? Improved LLM Code-Generation via Budget Reallocation
Meta;The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
研究相同预算下LLM代码生成模型规模与性能的关系,发现多次运行小模型并利用单元测试筛选可比单次运行大模型获得更高性能增益,但在无单元测试时排序选择效果较差。
2024-07-25 cs.AI cs.CL cs.LG
Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文揭示LLM评估器的偏好脆弱性,并提出零样本提示优化框架ZEPO,通过优化偏好决策公平性,在无标注数据下显著提升了LLM评估器与人类评判的对齐度。
2024-10-12 cs.AI cs.CL cs.CY
Coverage-Driven KV Cache Eviction for Efficient and Improved Inference of LLM
RBC Borealis(RBC 培生)
针对大语言模型推理中KV缓存内存开销大、现有淘汰策略导致长上下文任务性能下降的问题,提出覆盖感知的K-VEC策略,通过跨头跨层覆盖模块提升token保留,在LongBench上最高提升10.35点。
2026-06-28 cs.AI cs.CL
On The Role of Prompt Construction In Enhancing Efficacy and Efficiency of LLM-Based Tabular Data Generation
Texas State University(德克萨斯州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文研究提示构建对基于LLM的表格数据生成的影响,提出专家引导、LLM引导和新颖映射三种协议,并通过GReaT框架验证上下文丰富的提示能显著提升生成质量与训练效率。
2025-03-10 cs.CL
MathDivide: Improved mathematical reasoning by large language models
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出MathDivide提示技术,将数学问题分解为子问题并用Python代码求解,在GSM8K数据集上显著优于Math-prompter。
2024-05-12 cs.AI cs.CL
Graph of Attacks: Improved Black-Box and Interpretable Jailbreaks for LLMs
提出Graph of ATtacks(GoAT)方法,利用Graph of Thoughts框架生成黑盒对抗性提示测试LLM对齐鲁棒性,以更少查询实现更高越狱成功率并生成可读提示。
2025-04-26 cs.AI cs.CL cs.CR
GALLa: Graph Aligned Large Language Models for Improved Source Code Understanding
Ant Group(蚂蚁集团);Shanghai Jiao Tong University(上海交通大学)
GALLa通过图神经网络与跨模态对齐将代码结构信息作为辅助任务注入LLM微调,在保持模型无关和推理零开销的同时,于多个代码任务上一致提升基线模型性能。
2025-09-23 cs.AI cs.CL
If I Could Turn Back Time: Temporal Reframing as a Historical Reasoning Task for LLMs
NTNU Norway(挪威诺汉大学);University of Waterloo(滑铁卢大学)
本文通过让大语言模型以1940年的视角回答挪威语常识问答,评估其时间推理能力,发现英语提示优于挪威语,且更大模型表现更好。
2025-11-06 cs.CL
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI(Alterra人工智能公司);Queen’s University(女王大学);Workday Inc.(Workday公司)
提出上下文感知提示压缩方法CPC,通过对比学习训练句子编码器进行句子级提示压缩,在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Improving Romanian LLM Pretraining Data using Diversity and Quality Filtering
National University of Science and Technology(科学与技术国家大学);POLITEHNICA Bucharest(布加勒斯特理工大学)
本研究针对罗马尼亚语高质量预训练语料稀缺问题,通过训练轻量级多任务模型对文本进行多级过滤生成高质量数据集,有效提升了LLM在多个基准上的预训练性能。
2025-11-02 cs.CL
Enhancing Medication Recommendation with LLM Text Representation
针对现有药物推荐模型未充分利用非结构化医疗数据的问题,提出利用LLM文本表示增强推荐的方法,可适配多种基础模型,在双数据集上提升性能,是通用的推荐增强方案。
2024-07-15 cs.CL
An Improved Transformer-based Model for Detecting Phishing, Spam, and Ham: A Large Language Model Approach
Security Research Institute, Georgia Southern University(佐治亚南方大学安全研究所);Edith Cowan University(伊迪丝·考恩大学)
本文提出IPSDM模型,通过微调BERT系列模型来检测钓鱼邮件和垃圾邮件,在平衡与非平衡数据集上均提升了分类性能,为LLM应用于信息系统安全迈出第一步。
2023-11-12 cs.AI cs.CL
Adapt to Thrive! Adaptive Power-Mean Policy Optimization for Improved LLM Reasoning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出自适应幂均策略优化方法,通过引入幂均目标和反馈自适应裁剪,提升大语言模型的推理性能,实验显示其在多个任务中表现优于现有方法。
2026-05-07 cs.CL cs.ET cs.LG
LITERA: An LLM Based Approach to Latin-to-English Translation
Duke University(杜克大学)
该研究针对拉丁语文本翻译挑战,提出基于LLM的LITERA平台,通过微调GPT-4o-mini和GPT-4o的多层流程提升准确率,与杜克大学合作构建数据集,在古典拉丁语翻译的BLEU和BLEURT分数上表现优异。
2025-04-14 cs.AI cs.CL
Improved YOLOv12 with LLM-Generated Synthetic Data for Enhanced Apple Detection and Benchmarking Against YOLOv11 and YOLOv10
Cornell University(康奈尔大学);Washington State University(华盛顿州立大学)
本研究使用LLM生成的合成数据训练YOLOv12用于苹果检测,对比YOLOv11、v10发现其精度指标更优,但YOLOv11n推理速度最快,为农业检测提供了低成本方案。
2025-03-19 cs.CL cs.CV
Beyond the Mean: Within-Model Reliable Change Detection for LLM Evaluation
Independent Researcher(独立研究者)
本文将临床心理学的可靠变化指数应用于LLM版本比较,发现大多数项目无可靠变化,但部分项目存在双向变化,且领域分解揭示了模型特定的反转现象。
2026-04-30 cs.AI cs.CL
Improved Few-Shot Jailbreaking Can Circumvent Aligned Language Models and Their Defenses
Singapore Management University(新加坡管理大学);Sea AI Lab
针对少样本越狱效率低的问题,提出注入特殊系统令牌、从演示池做演示级随机搜索的改进方法,可高效绕过带防御的对齐大语言模型,攻击成功率接近100%。
2024-10-30 cs.AI cs.CL cs.CR
ReDit: Reward Dithering for Improved LLM Policy Optimization
Guangdong Lab of AI and Digital Economy (SZ), China(广东人工智能与数字经济实验室(深圳));College of Computer Science and Software Engineering, Shenzhen University, China(深圳大学计算机科学与软件工程学院);Hong Kong University of Science and Technology (Guangzhou), China(香港科技大学(广州));Tencent, Shenzhen, China(腾讯(深圳));School of Information Technology, Carleton University, Canada(卡尔顿大学信息技术学院)
针对离散奖励导致的梯度异常与收敛缓慢问题,提出ReDit方法,通过向奖励信号注入随机噪声以提供持续探索梯度,实现约10%训练步数达到同等性能并额外提升4%的效果。
2025-10-24 cs.AI cs.CL cs.LG
Search-Based LLMs for Code Optimization
The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
提出SBLLM框架,通过整合LLMs与进化搜索,采用基于执行的样本选择、自适应优化模式检索和遗传算子启发的思维链提示,实现代码优化的迭代精炼与发现,解决一步生成范式的局限。
2024-08-22 cs.AI cs.CL cs.SE
TreePrompt: Leveraging Hierarchical Few-Shot Example Selection for Improved English-Persian and English-German Translation
Department of Computer Science(计算机科学系);Institute for Advanced Studies in Basic Sciences(基础科学高级研究所)
针对现有少样本翻译示例选择仅重相似度、忽略示例质量的问题,提出TreePrompt分层示例选择方法,结合LLM偏好与树结构筛选优质相关示例,搭配AFSP等策略在两个翻译数据集上实现性能提升。
2025-10-04 cs.AI cs.CL
Many Heads Are Better Than One: Improved Scientific Idea Generation by A LLM-Based Multi-Agent System
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Department of Engineering Science, University of Oxford(牛津大学工程科学系);Shanghai Institute for Science of Science(上海科学研究院);Department of Information Engineering, Chinese University of Hong Kong(香港中文大学信息工程系);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
针对LLM缺乏协作的问题,提出基于LLM的多智能体系统VirSci,模拟科研团队协作生成、评估和优化研究想法,实验证明其生成的新颖性优于最先进方法。
2025-05-27 cs.AI cs.CL cs.CV
Unleashing the Creative Mind: Language Model As Hierarchical Policy For Improved Exploration on Challenging Problem Solving
UC San Diego(加州大学圣地亚哥分校);Qualcomm AI Research(高通人工智能研究院)
本文提出将 LLM 作为由“领导者提出高层策略、跟随者执行推理”的分层策略,并用锦标赛机制筛选解法组,以增强复杂数学推理的策略多样性和准确率。
2023-12-05 cs.AI cs.CL
SETS: Leveraging Self-Verification and Self-Correction for Improved Test-Time Scaling
Google Cloud AI Research(谷歌云人工智能研究)
SETS通过结合并行与顺序技术,利用LLMs的自我改进能力,在无需模型训练的情况下提升测试时间扩展性能。
2025-12-03 cs.AI cs.CL
AgenticAI-DialogGen: Topic-Guided Conversation Generation for Fine-Tuning and Evaluating Short- and Long-Term Memories of LLMs
School of Computing, Macquarie University(麦考瑞大学计算机学院)
本文提出AgenticAI-DialogGen框架,通过生成基于角色和主题的对话来微调和评估LLM的短期和长期记忆,引入了TopicGuidedChat数据集以提升对话质量和模型性能。
2026-04-14 cs.CL cs.IR
Industrialized Deception: The Collateral Effects of LLM-Generated Misinformation on Digital Ecosystems
Frankfurt University of Applied Sciences(法兰克福应用科学大学)
本文提出JudgeGPT和RogueGPT工具,研究人类对AI生成虚假信息的感知与检测,探讨生成与检测之间的竞争及缓解策略。
2026-10-30 cs.AI cs.CL cs.CY
NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models
NVIDIA(英伟达)
NV-Embed通过潜在注意力层、去除因果掩码和两阶段对比指令微调等技术,显著提升LLM作为通用嵌入模型的性能,在MTEB和AIR基准上取得领先成绩。
2025-02-25 cs.AI cs.CL cs.IR
Breaking Free Transformer Models: Task-specific Context Attribution Promises Improved Generalizability Without Fine-tuning Pre-trained LLMs
Fordham University(福特汉姆大学)
针对微调预训练LLM会损失泛化性的问题,本文提出基于任务特定概念算子的上下文归因框架,无需微调即可提升分类性能与泛化能力,在多个数据集上取得优于现有模型的效果且已开源。
2024-01-30 cs.AI cs.CL
GPTVQ: The Blessing of Dimensionality for LLM Quantization
Qualcomm AI Research(高通人工智能研究院)
本文提出GPTVQ方法,通过提高量化维度并利用Hessian信息交错更新权重与码本,在LLM上实现了更优的规模-精度权衡,且解压延迟优于4位整数格式。
2025-06-03 cs.CL cs.LG
Recent advancements in LLM Red-Teaming: Techniques, Defenses, and Ethical Considerations
本文综述了LLM红队测试的最新进展,涵盖多种攻击方法(如梯度优化、强化学习、提示工程)及其对安全的影响,旨在推动更安全可靠的语言模型开发。
2024-12-17 cs.AI cs.CL
GVS5H: Zero-Shot Self-Orchestration with Ledger-Based Control for Improved LLM Coding Performance
Persis Capital Inc.(珀西斯资本公司)
本研究提出基于账本控制的管理者-工作者零样本自编排架构,在9个模型的100个困难代码问题上验证其可提升大语言模型代码生成性能,且成本低于改用更大模型。
2026-09-23 cs.AI cs.CL cs.MA
Improved Techniques for Optimization-Based Jailbreaking on Large Language Models
Nanyang Technological University(南洋理工大学);Sea AI Lab(Sea AI实验室);University of Oxford(牛津大学);Sun Yat-sen University(中山大学)
本文针对GCG攻击效率不足的问题,提出包含多样化目标模板、自动多坐标更新及从易到难初始化的改进技术,构建I-GCG方法,在多个基准上实现近100%攻击成功率,超越现有越狱攻击。
2024-06-05 cs.CL cs.CR cs.LG
Does Few-Shot Learning Help LLM Performance in Code Synthesis?
University of California Los Angeles(加州大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nvidia(英伟达)
本文系统研究代码生成提示词中的少样本示例选择问题,提出 CODEEXEMPLAR-FREE 与 CODEEXEMPLAR-BASED 两种方法,并在 HumanEval+ 上验证其可显著提升 CodeLlama 性能。
2024-12-03 cs.AI cs.CL cs.LG