Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting
Microsoft Research(微软研究院);University of Pennsylvania(宾夕法尼亚大学)
针对大语言模型生成多样性可控性不足的问题,提出结构多样性指标与规格链(CoS)提示策略,可在黑盒LLM上显著提升诗歌、代码领域的结构多样性。
2024-08-12 cs.CL cs.LG
RoBiologyDataChoiceQA: A Romanian Dataset for improving Biology understanding of Large Language Models
University of Bucharest(布加勒斯特大学)
本文构建含约14,000题的罗马尼亚语生物选择题数据集RoBiologyDataChoiceQA,并通过基准测试、提示工程与微调实验评估LLM的科学推理及低资源语言领域理解能力。
2025-09-30 cs.CL cs.LG
Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation
The Pennsylvania State University(宾夕法尼亚州立大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
本文提出并分析直接、逆和混合三种判别提示,利用LLMs的判别能力减少生成不确定性,实现自我改进,并在两个基准数据集上验证其效果。
2024-06-27 cs.AI cs.CL cs.LG
AccelOpt: A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization
Anonymous Authors(匿名作者)
AccelOpt通过迭代生成探索内核优化空间,利用优化记忆库提升AI加速器内核性能,实验证明其能力随时间提升,且成本效益高。
2026-04-15 cs.CL cs.LG
Improving Preference Extraction In LLMs By Identifying Latent Knowledge Through Classifying Probes
University of Cambridge(剑桥大学)
针对大语言模型作为自动评判器存在无意偏差的问题,提出利用对比提示对训练的线性分类探针提取潜在知识与偏好,经多模型多数据集实验验证,该方法优于传统生成式评判及同数据量微调评判器,兼具准确性、稳健性与高效性。
2025-03-22 cs.CL cs.LG
DeepReview: Improving LLM-based Paper Review with Human-like Deep Thinking Process
Zhejiang University(浙江大学);Westlake University(西湖大学);University College London(伦敦大学学院)
本文提出DeepReview多阶段评审框架及DeepReview-13K数据集,训练的DeepReviewer-14B以更少token超越CycleReviewer-70B,并在对比GPT-o1和DeepSeek-R1时取得最高88.21%胜率,为LLM论文评审设立新基准。
2025-03-11 cs.CL cs.LG
CHAI for LLMs: Improving Code-Mixed Translation in Large Language Models through Reinforcement Learning with AI Feedback
Pennsylvania State University(宾夕法尼亚州立大学)
针对大语言模型在语码混合翻译上的不足,提出CHAI框架,利用LLM标注、RLAIF及领域知识宪法,使模型在CM翻译任务上平均胜率提升68.45%。
2026-09-15 cs.AI cs.CL cs.LG
RuleR: Improving LLM Controllability by Rule-based Data Recycling
University of Maryland(马里兰大学);Stony Brook University(石溪大学)
本文提出 RuleR 数据增强方法,通过按预定义规则改写现有样本回复并追加约束指令来低成本构造 SFT 数据,从而在保持通用指令遵循能力的同时提升 LLM 可控性。
2025-02-15 cs.AI cs.CL cs.LG
LLMForecaster: Improving Seasonal Event Forecasts with Unstructured Textual Data
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊公司);NYU(纽约大学)
本文提出 LLMForecaster,通过微调 LLM 将非结构化文本语义、上下文与历史数据纳入预测后处理,显著改进零售场景中节假日驱动的季节性需求预测。
2024-12-03 cs.CL cs.LG
Improving the Distributional Alignment of LLMs using Supervision
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过简单监督提升LLM在不同群体上的分布对齐,分析了三个数据集的对齐效果,并为未来研究提供基准。
2026-04-20 cs.CL
Faithfulness metric fusion: Improving the evaluation of LLM trustworthiness across domains
CEDPS Brunel University London London, UK(CEDPS 布伦大学伦敦 英国)
通过融合多种可信度度量,提升LLM在不同领域中的可信度评估能力,并通过同质化数据集验证其有效性。
2025-12-05 cs.AI cs.CL
Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning
University of Amsterdam(阿姆斯特丹大学)
本文提出一种结合上下文学习与人类调查数据的简单方法,在推理时调整大语言模型响应,以提升其在多种语言和文化背景下的文化价值观对齐,并在5个模型中验证了有效性。
2025-09-08 cs.CL
Improving Translation Quality by Selecting Better Data for LLM Fine-Tuning: A Comparative Analysis
Ritsumeikan University(立命馆大学)
研究通过比较五种数据选择器评估数据选择对LLM微调的影响,发现语义选择器优于词法和几何启发式方法,数据差异小于3%对模型性能影响显著。
2025-12-12 cs.CL
Improving the Diversity of LLM Outputs without a Trade-off
提出DAST方法,通过重排token顺序结合算术采样,在不改变分布且开销极小的情况下提高LLM输出多样性,并显著提升ProtoQA任务性能。
2026-09-29 cs.AI cs.CL cs.LG
ClusterFewshot: Improving Few-shot Optimization for LLMs workflow
Tel Aviv University(特拉维夫大学)
ClusterFewshot通过结合语义结构与效用感知评分来选取少样本演示,在DSPy流程中降低优化成本并提升准确率。
2026-09-23 cs.CL
Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
VietAI Research(VietAI研究院)
提出Distillation Contrastive Decoding(DCD)方法,结合对比提示与Dropout、Quantization等蒸馏技术,免除业余模型需求并降低内存,在GSM8K和StrategyQA等基准上显著提升LLMs推理性能。
2024-08-23 cs.AI cs.CL cs.LG
From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对LLMs长上下文检索与推理能力不足的问题,提出在合成数值键值检索数据集上微调模型,显著提升了长上下文检索能力且不损害通用基准表现,有效避免幻觉。
2024-10-14 cs.AI cs.CL cs.LG
Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学教育部计算语言学重点实验室)
本研究针对大型语言模型受约束文本生成问题,对主流开源模型在词汇、结构和关系约束下的生成能力进行了评估与改进,并发布相关基准与数据集以促进未来研究。
2024-03-21 cs.CL
LLM-dCache: Improving Tool-Augmented LLMs with GPT-Driven Localized Data Caching
Microsoft Corporation(微软公司);Southern Illinois University(南伊利诺伊大学);University of Pittsburgh(匹兹堡大学)
本文提出LLM-dCache,将缓存操作作为可调用API暴露给工具增强型智能体,赋予LLMs通过提示自主管理缓存决策的能力,在工业级平台上将Copilot时间平均提升1.24倍。
2024-09-21 cs.CL cs.DC
Combinatorial Optimization for All: Using LLMs to Aid Non-Experts in Improving Optimization Algorithms
Artificial Intelligence Research Institute (IIIA-CSIC)(人工智能研究所(IIIA-CSIC))
该研究提出利用大语言模型辅助非专业人士改进现有组合优化算法,通过在10种不同领域的基线优化算法上针对旅行商问题开展实验,验证了该方法可在解质量、计算效率和代码简洁性上实现提升,降低了算法优化的专业门槛。
2025-07-18 cs.AI cs.CL cs.LG
Improving Romanian LLM Pretraining Data using Diversity and Quality Filtering
National University of Science and Technology(科学与技术国家大学);POLITEHNICA Bucharest(布加勒斯特理工大学)
本研究针对罗马尼亚语高质量预训练语料稀缺问题,通过训练轻量级多任务模型对文本进行多级过滤生成高质量数据集,有效提升了LLM在多个基准上的预训练性能。
2025-11-02 cs.CL
Telescope: Improving Zero Shot Detection of LLM Generated Content By Measuring Token Repetition Probability
研究区分大语言模型生成文本与人类写作的难题,提出用望远镜困惑度衡量模型令牌重复,揭示该特征在预训练早期出现,能有效进行零样本检测,性能优于其他方法。
2026-07-07 cs.AI cs.CL cs.LG
Improving Existing Optimization Algorithms with LLMs
Artificial Intelligence Research Institute (IIIA-CSIC)(人工智能研究所(IIIA-CSIC))
本文研究大语言模型(LLMs)对现有优化算法的增强作用,通过将GPT-4o提出的替代启发式应用于组合优化混合元启发式算法CMSA,发现其性能优于专家设计的启发式,且在更大更密图上优势更显著。
2025-02-12 cs.AI cs.CL cs.LG
Auto-Cypher: Improving LLMs on Cypher generation via LLM-supervised generation-verification framework
ServiceNow(ServiceNow公司)
提出LLM监督的生成-验证流水线,生成高质量Text2Cypher数据SynthCypher(29.8k实例),训练开源LLM在Cypher生成上性能提升高达40%。
2025-01-24 cs.AI cs.CL cs.IR
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research(LG人工智能研究院)
针对RLHF导致的表面化对齐问题,提出RLRF框架,利用细粒度自我反思机制探索和优化响应,并通过RL算法微调模型,有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Improving Diversity in LLM Short Story Generation
University College London(伦敦大学学院)
针对LLM生成短篇故事缺乏多样性的问题,提出DivLM后训练框架,通过持续预训练和强化学习提升体裁、语气、风格和命名实体多样性,平均提高多样性指标超9%。
2026-10-30 cs.CL
Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain
Nomura Research Institute, Ltd.(摩根士丹利研究机构)
本研究提出了一种通用方法,通过构建合成指令数据集提升领域特定大语言模型的推理能力,并在金融领域进行了验证。
2026-03-02 cs.AI cs.CL cs.LG
Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment
Hanyang University(汉阳大学)
针对量化大语言模型对话能力下降的问题,提出量化感知直接偏好优化(QDPO),对齐量化与全精度模型,在多种语言上超越现有技术,提升对话性能。
2024-07-18 cs.CL
Improving Argument Saliency Coverage in Small LLMs for Long Legal Opinion Summarization via Sequence-Level Distillation
University of Pittsburgh(匹兹堡大学);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
该研究针对小型LLMs在长法律意见摘要中难以保留关键论点的问题,提出从高性能长上下文教师模型进行序列级蒸馏的方法,其数据效率高且效果优于专家摘要微调,为该任务提供了高效解决方案。
2026-09-01 cs.CL
Improving LLM General Preference Alignment via Optimistic Online Mirror Descent
University of YYY(YYY大学);Institute of WWW(WWW研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tencent AI Lab(腾讯AI实验室)
本文提出一种基于乐观在线镜像下降的通用偏好对齐方法,通过双人博弈框架近似纳什策略,实现对偶间隙$O(T^{-1})$界,并在多个基准上超越现有RLHF算法。
2025-02-24 cs.AI cs.CL cs.LG
MART: Improving LLM Safety with Multi-round Automatic Red-Teaming
GenAI, Meta(Meta GenAI)
本文提出多轮自动红队测试(MART)方法,通过对抗性LLM与目标LLM迭代交互,自动生成攻击提示并安全微调,将违规率降低84.7%,同时保持模型有用性。
2023-11-13 cs.CL
Improving Language Model Prompting in Support of Semi-autonomous Task Learning
IQM Research Institute(IQM研究院)
语言模型(LLM)为需要在性能环境中获得新任务能力的代理提供了潜在的知识来源。我们描述了一种新的代理能力,可以构建线索(或“提示”),导致有用的LLM响应代理学习新任务的努力。重要的是,响应不仅必须是“合理的”(通常用于从LLM中提取知识的研究的措施),而且还特定于代理的任务上下文,并以代理可以解释其母语能力的形式。我们总结了一系列的实证研究的提示策略和评估的目标,有针对性的和可操作的任务学习的反应。我们的研究结果表明,可操作的任务知识,可以从LLM支持在线代理任务学习。
2022-11-19 cs.AI cs.CL cs.LG
Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs
Fudan University(复旦大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Southern California(南加州大学)
本研究针对大语言模型推理规则掌握不足的问题,提出逻辑脚手架框架并构建规则库ULogic,发现LLMs在复杂规则上与人类有差距,经规则蒸馏的推理引擎可有效提升其逻辑推理能力。
2024-06-21 cs.CL
Improving Latent Reasoning in LLMs via Soft Concept Mixing
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
通过引入Soft Concept Mixing方法,改进大语言模型的潜在推理能力,提升推理性能并保持训练稳定性。
2025-11-21 cs.CL
Unused information in token probability distribution of generative LLM: improving LLM reading comprehension through calculation of expected values
Samsung Research Poland(三星波兰研究院)
本文通过计算token概率分布的期望值并引入大温度缩放logits,显著提升了LLM在SummEval数据集上的阅读理解性能,并利用概率树采样算法检查最可能生成结果。
2024-09-26 cs.AI cs.CL
ChatGLM-Math: Improving Math Problem-Solving in Large Language Models with a Self-Critique Pipeline
Tsinghua University(清华大学)
本文提出Self-Critique流水线,通过Math-Critique模型、拒绝式微调和DPO在对齐阶段同步提升ChatGLM3-32B的数学与语言能力。
2024-04-03 cs.CL
PromptMind Team at MEDIQA-CORR 2024: Improving Clinical Text Correction with Error Categorization and LLM Ensembles
本研究针对MEDIQA-CORR 2024临床文本纠错共享任务的三个子任务,提出基于提示的上下文学习策略,并结合自一致性与LLM集成方法提升医疗文本的错误检测与纠正性能。
2024-05-14 cs.AI cs.CL cs.LG
D4: Improving LLM Pretraining via Document De-Duplication and Diversification
Meta AI Research(元人工智能研究院)
针对大语言模型预训练中随机采样网络数据收益递减的问题,提出在去重基础上通过预训练嵌入做数据选择与智能数据复用,在6.7B规模下实现20%训练效率提升与最高2%的下游任务准确率提升,为模型优化提供新路径。
2023-08-23 cs.AI cs.CL cs.LG
Improving Mathematical Reasoning Capabilities in Large Language Models via Reasoning Process Error Classification
Human Informatics Labs., NTT, Inc.(NTT公司人类信息学实验室)
本研究通过定义并分类21种推理错误,设计聚焦八种错误类别的提示词,有效提升了大语言模型在数学推理任务上的性能。
2026-09-15 cs.CL
CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs
University of Southern California(南加州大学)
提出CoCo-CoLa指标评估多语言LLM语言一致性,发现模型跨语言共享知识但输出语言存在偏差,关键层决定输出语言,据此提出选择性微调策略,在降低计算成本的同时提升语言一致性,尤其利于低资源语言。
2025-05-29 cs.CL
AnswerCarefully: A Dataset for Improving the Safety of Japanese LLM Output
NII-LLMC(日本国立信息与通信技术研究所语言模型中心);Retrieva, Inc.(Retrieva公司);Kagoshima University(鹿儿岛大学)
本文提出日语大语言模型安全数据集 AnswerCarefully,包含 1,800 对需谨慎回答的问答对,覆盖日本社会文化背景下的风险类别,并通过指令微调与 12 个模型的基准评估验证其提升输出安全性且不损害通用效用的作用。
2025-06-03 cs.CL
Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL through Workflow Paradigm
Sun Yat-sen University(中山大学);Platform and Content Group, Tencent(腾讯平台与内容事业群)
本文提出一种基于工作流范式的文本到SQL方法,通过信息确定、问题分类、自校正和主动学习等模块增强大语言模型的注意力与求解范围,在多个数据集上取得显著提升。
2024-07-03 cs.CL
ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs
Institute of Science Tokyo(东京科学研究所);Tencent(腾讯)
提出ReverseEOL方法,通过反转输入文本生成互补嵌入,结合前向嵌入提升冻结解码器仅LLM的文本表示能力,在STS和MTEB基准上显著提升无训练基线性能。
2026-06-04 cs.CL
LLM-Detector: Improving AI-Generated Chinese Text Detection with Open-Source LLM Instruction Tuning
Macao Polytechnic University(澳门理工大学);Fudan University(复旦大学);Wuhan University(武汉大学)
针对现有AI生成中文文本检测模型域内过拟合、域外及句子级检测效果差的问题,提出基于开源LLM指令微调的LLM-Detector,在两级检测任务上均优于基线且泛化性强、易部署。
2024-02-02 cs.CL
Improving LLM-based Ontology Matching with fine-tuning on synthetic data
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔理工大学)
本文提出通过生成合成数据并微调LLM,提升本体匹配任务的性能。
2025-11-27 cs.CL
PiVe: Prompting with Iterative Verification Improving Graph-based Generative Capability of LLMs
Monash University(莫纳什大学);VinUniversity;University of Cambridge(剑桥大学)
提出PiVe框架,通过训练小型语言模型作为验证器,利用细粒度纠正指令迭代提升LLM的图生成能力,并验证其在数据集上的改进及数据增强作用。
2024-05-30 cs.CL
Creative Beam Search: LLM-as-a-Judge For Improving Response Generation
Alma Mater Studiorum Università di Bologna(博洛尼亚大学);University College London(伦敦大学学院)
针对大语言模型生成缺乏意向性与创作过程的问题,提出结合多样性束搜索与大模型评判的Creative Beam Search方法,经定性实验验证其输出优于标准采样,且验证步骤是生成步骤的必要补充。
2024-10-07 cs.AI cs.CL cs.HC
Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge
Meta FAIR;University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学)
提出Meta-Rewarding步骤让LLM评判自身评判以提升对齐能力,实验证明该方法在无监督下显著提高了Llama-3-8B-Instruct的指令遵循与评判表现。
2024-07-30 cs.AI cs.CL
Improving Implicit Discourse Relation Recognition with Natural Language Explanations from LLMs
本文通过利用LLMs生成的自然语言解释提升隐含话语关系识别的性能和可解释性。
2026-02-25 cs.CL
PromptMind Team at EHRSQL-2024: Improving Reliability of SQL Generation using Ensemble LLMs
PromptMind Team(PromptMind团队)
针对EHRSQL-2024共享任务的电子健康记录Text-to-SQL需求,提出基于LLM提示和微调的两种方法并集成,弥合知识差距、提升生成可靠性,获竞赛第二名,方法可迁移至同类领域任务。
2024-05-14 cs.AI cs.CL cs.DB
FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance
Stanford University(斯坦福大学)
针对LLM查询成本高昂的问题,提出FrugalGPT,通过LLM级联策略学习查询与模型组合,实现高达98%成本削减或同成本下4%精度提升。
2023-05-09 cs.AI cs.CL cs.LG
Toolken+: Improving LLM Tool Usage with Reranking and a Reject Option
HSE University(高等经济大学);ISP RAS(俄罗斯科学院信息学研究所);St. Petersburg Department of the Steklov Institute of Mathematics(斯捷克洛夫数学研究所圣彼得堡分部);Yandex(Yandex公司)
Toolken+通过重排序前$k$个工具并引入“Reject”选项,解决了ToolkenGPT无法利用工具文档及误用工具的问题,在多步数值推理和工具选择任务上验证了有效性。
2024-10-15 cs.CL
Improving LLM-as-a-Judge Inference with the Judgment Distribution
Department of Computer Science(计算机科学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学)
本研究提出利用LLM法官输出的判断分布而非仅文本输出来改进推理,发现取均值优于贪婪解码,且风险规避方法有效,但思维链提示可能损害性能。
2025-09-26 cs.CL
Improving Score Reliability of Multiple Choice Benchmarks with Consistency Evaluation and Altered Answer Choices
IBM Research Brazil(IBM巴西研究院)
本文提出CoRA指标,通过一致性评估和改变答案选项提高LLM在多项选择基准中的评分可靠性。
2025-11-26 cs.AI cs.CL