FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
FastGuide提出一种并行与自回归自适应混合解码方法,加速扩散语言模型的奖励引导,在三个基准上实现高达4.4倍加速且保持生成质量。
2026-09-30 cs.CL cs.LG
RupeeBias: Auditing Demographic Bias in Indian Economic Guidance from Large Language Models
Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham(阿姆里塔大学网络安全系统与网络中心);Unique Identification Authority of India(印度唯一身份识别管理局)
RupeeBias基准通过39,150个反事实提示审计LLM在印度经济指导中的偏见,覆盖六个轴线87个标识符,发现九个模型输出平均差异20.2%。
2026-09-29 cs.CL
Improving Consistency in Large Language Models through Chain of Guidance
Northeastern University(东北大学);Pennsylvania State University(宾夕法尼亚州立大学);Dalhousie University(达尔豪斯大学);Vijil(维吉尔科技)
针对大语言模型推理阶段输出一致性难以控制的问题,提出基于引导链(CoG)的多步提示对齐策略,结合合成数据微调,使模型一致性提升超两倍且泛化性强。
2025-02-21 cs.CL
Inference-Time Language Model Alignment via Integrated Value Guidance
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学)
本文提出IVG方法,利用隐式和显式价值函数在token和块级别引导解码,无需微调即可在推理时高效对齐大型语言模型,在多项任务及AlpacaEval 2.0基准上显著提升了模型对齐效果与胜率。
2024-09-26 cs.AI cs.CL
Memorizing Documents with Guidance in Large Language Models
KAIST AI(韩国科学技术院人工智能学院);INEEJI
本研究提出逐文档记忆架构与文档引导损失,在训练中追踪大语言模型的文档记忆,实验验证其可为不同文档分配独立记忆条目,并提升生成时文档相关内容的召回率。
2024-06-23 cs.AI cs.CL
Language Models Guidance with Multi-Aspect-Cueing: A Case Study for Competitor Analysis
Nokia Bell Labs(诺基亚贝尔实验室)
本文提出将商业方面信息纳入大型语言模型以增强其对竞争市场的理解,通过定量和定性实验证明该方法能持续提升模型性能,从而提高竞争对手分析的分析效率。
2025-04-03 cs.AI cs.CL
Small Language Models for Curriculum-based Guidance
Copenhagen Business School(哥本哈根商学院);Hanken School of Economics(汉肯经济学院)
本研究将RAG流水线应用于开源小型语言模型构建AI教学助手,测试发现经恰当提示与定向检索的70-170亿参数SLM,教学回复准确性可匹配GPT-4o,且更低碳低成本、可离线运行,适用于教育机构规模化个性化学习。
2025-09-27 cs.AI cs.CL
RFG: Self-Improving Diffusion Large Language Models with Reward-Free Guidance
Stanford University(斯坦福大学)
本文提出无奖励引导框架 RFG,通过增强型与参考 dLLM 的对数似然比隐式参数化过程奖励,实现免训练的测试时推理扩展,实验显示最高 9.2% 的准确率提升。
2026-10-06 cs.CL cs.LG
Guidance is All You Need: Temperature-Guided Reasoning in Large Language Models
SILX AI
本研究提出新型架构Quasar-1,通过Token温度机制和引导思维序列实现大语言模型的温度引导推理,经数学证明收敛性与实验验证,在多任务中显著提升推理准确率与计算效率。
2024-12-05 cs.AI cs.CL cs.LG
Stable Language Guidance for Vision-Language-Action Models
Sun Yat-sen University(中山大学);Guangdong Key Lab of Big Data Analysis & Processing(广东大数据分析与处理重点实验室);X-Era AI Lab(X-Era AI实验室)
本文提出RSS框架,通过解耦物理 affordance 与语义执行,提升视觉-语言-动作模型在语言扰动下的鲁棒性,实验表明其在多种操作基准测试中达到最优性能。
2026-04-20 cs.CL cs.RO
Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks
University of Science and Technology of China(中国科学技术大学)
本文提出即插即用的越狱防御框架Prefix Guidance(PG),通过设置模型输出前几个token引导其识别有害提示,结合模型内在安全能力与外部分类器,在多模型和攻击方法上验证了其高效性及对模型性能的保持。
2024-08-22 cs.AI cs.CL cs.CR
ExploreSelf: Fostering User-driven Exploration and Reflection on Personal Challenges with Adaptive Guidance by Large Language Models
KAIST(韩国科学技术院);NAVER Cloud(NAVER云);Northwestern University(西北大学);Georgia Institute of Technology(佐治亚理工学院);NAVER AI Lab(NAVER AI实验室)
ExploreSelf利用大语言模型动态生成自适应问题,让用户灵活掌控个人挑战的反思过程,研究证实其能提升参与深度与洞察力。
2025-02-05 cs.AI cs.CL cs.HC
METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Beijing University of Posts and Telecommunications(北京邮电大学)
针对模型进化缺乏统一有效引导方法的问题,提出包含弱到强数据蒸馏、迭代训练和自我进化策略三阶段的METEOR方法,显著提升大型语言模型在特定领域任务中的多维度性能。
2024-11-29 cs.AI cs.CL cs.LG
MedGellan: LLM-Generated Medical Guidance to Support Physicians
University of Pisa(帕尔米斯大学);University of Trento(特伦托大学);DISI, University of Trento(特伦托大学DISI学院);CIMEC, university of Trento(特伦托大学CIMEC中心)
MedGellan提出一种轻量级、无需标注的LLM框架,通过贝叶斯启发式提示从医疗记录生成临床指导,辅助医生诊断,实验表明可提升召回率和F1分数。
2025-09-09 cs.AI cs.CL
FOCUS & RePAIR: Mitigating Text Degeneration via Token-Level Guidance for Pruned Large Language Models
POSTECH(浦项科技大学);Daegu Gyeongbuk Institute of Science and Technology (DGIST)(大邱庆北科学技术院);Hanyang University(汉阳大学)
该研究针对剪枝后大语言模型的文本退化问题,提出FOCUS与RePAIR两种令牌级引导微调方法,在两类生成任务上均有效减少重复并提升生成质量。
2026-08-28 cs.AI cs.CL cs.LG
When AI Is Your Pastor: A Benchmark for Theological Triage and Pastoral Guidance in Large Language Models
Fide AI
本研究推出FMG-Bench基准测试,评估LLM在基督教神学分诊与牧灵指导场景的表现,发现结构化框架可提升模型表现与鲁棒性,且该基准仅为测量工具。
2026-08-14 cs.AI cs.CL cs.CY
HealthGenie: Empowering Users with Healthy Dietary Guidance through Knowledge Graph and Large Language Models
The University of Tokyo(东京大学);Duke-NUS Medical School(杜克-新加坡国立大学医学院);Smartor Inc.(Smartor公司);MIT Media Lab(麻省理工学院媒体实验室);Korea University(韩国大学)
HealthGenie结合知识图谱与大语言模型,提供个性化饮食推荐和可视化概览,通过交互调整减少用户认知负担,实验证明其有效支持健康决策。
2025-04-20 cs.AI cs.CL cs.HC
Accurate Word Representations with Universal Visual Guidance
Shanghai Jiao Tong University(上海交通大学);National Institute of Information(国立信息研究所)
词汇表征是神经语言理解模型的一个基本组成部分。最近,预训练的语言模型(PrLM)提供了一种新的高性能的上下文化的单词表示方法,利用序列级的上下文建模。虽然PrLM一般给出更准确的语境化的词表示比非语境化的模型做,他们仍然受到一系列的文本上下文没有不同的提示,从多模态的词表示。因此,本文提出了一种视觉表示方法,显式地增强传统的词嵌入与多方面的意义,从视觉指导。详细地说,我们从多模态种子数据集构建了一个小规模的单词图像字典,其中每个单词对应于不同的相关图像。文本和成对的图像被并行编码,然后是一个注意层来整合多模态表示。我们表明,该方法大大提高了消歧的准确性。在12个自然语言理解和机器翻译任务上的实验进一步验证了该方法的有效性和泛化能力。
2020-12-30 cs.AI cs.CL cs.CV
Guidance Is Not a Hyperparameter: Learning Dynamic Control in Diffusion Language Models
KU Leuven(卢森堡大学)
本文提出通过强化学习学习动态指导轨迹,以解决扩散模型中指导尺度固定导致的可控性与生成质量平衡问题。
2026-05-08 cs.CL
Structural Guidance for Transformer Language Models
MIT(麻省理工学院);IBM Research(IBM研究院)
在大量文本数据上预训练的基于transformer的语言模型在学习通用可迁移语言表示方面已经证明是非常成功的。在这里,我们研究结构指导是否会在Transformer语言模型中导致更像人类的系统语言概括,而无需对大量数据进行预训练。我们探讨两个一般的想法。“生成式解析”的思想将增量解析和单词序列联合建模为同一序列建模任务的一部分。“结构支架”思想通过额外的结构损失来指导语言模型的表示,该结构损失单独预测增量选区解析。我们训练所提出的模型与香草Transformer语言模型基线上的14万个令牌和46万个令牌的BLLIP数据集的子集,并评估模型的语法泛化性能SG测试套件和大小BLiMP。两个基准测试的实验结果表明,生成结构监督可以在Transformer语言模型中诱导更鲁棒和人性化的语言泛化,而不需要数据密集的预训练。
2021-07-30 cs.CL
Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学)
本文提出Box$^2$-Bench基准,研究语言模型能否有选择地依赖外部指导,通过反事实监督微调和强化学习提升模型鲁棒性,揭示了选择性依赖是智能体可靠性的关键维度。
2026-10-09 cs.CL
Preference-grounded Token-level Guidance for Language Model Fine-tuning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Salesforce Research(Salesforce研究院)
针对序列级偏好与 token 级训练的粒度不匹配,本文提出交替学习 token 级指导并据此微调 LM 的框架,在离散 prompt 生成和文本摘要任务上取得有竞争力的结果。
2025-01-08 cs.CL
Controllable Text Generation with Language Constraints
Princeton University(普林斯顿大学)
我们认为,在语言模型中的文本生成的任务与自然语言中指定的约束。为此,我们首先创建了一个具有挑战性的基准Cognac,它为模型提供了一个包含示例文本的主题,以及要避免的文本约束。与以前的工作不同,我们的基准测试包含来自Wordnet和Wikidata等数据库的知识密集型约束,它允许直接评估,同时在广泛的属性级别和狭窄的词汇级别控制之间取得平衡。我们发现,即使是国家的最先进的语言模型,如GPT-3经常失败的任务,并提出了一个解决方案,利用语言模型自己的内部知识来指导生成。我们的方法,称为CognacGen,首先查询的语言模型生成一个指定的主题或约束的指导条款,并使用指导修改模型的令牌生成概率。我们提出了三种形式的指导(二进制验证,前k令牌,文本示例),并采用前缀调整方法来提取指导,以解决不同的自然语言的约束。通过广泛的实证评估,我们证明了CognacGen可以成功地推广到看不见的指令,并在生成符合约束的文本方面优于竞争基线。
2022-12-20 cs.CL
Phrase-Localized Language-Contrastive Guidance: Training-Free Localized Accent Control for Code-Switching Text-to-Speech
Seoul National University(首尔大学);University of Seoul(首尔市立大学)
该研究针对代码切换文本到语音的重音偏差问题,提出无训练的短语定位语言对比引导框架,通过自注意力探测定位短语边界,实现各语言区域重音的准确控制,提升代码切换语音的原生度与自然度。
2026-09-02 cs.CL cs.SD
Commitment Before Realization: When Classifier-Free Guidance Becomes Unnecessary in Masked Diffusion Language Models
KU Leuven(鲁汶大学);Ruhr University Bochum(波鸿鲁尔大学)
该研究探究掩码扩散语言模型解码中无分类器引导(CFG)的必要性,定义承诺 horizon τ*,发现固定提示的交叉验证 horizon 时,其表现不劣于全程CFG,还可优化并行度与失败轨迹恢复效果。
2026-08-11 cs.CL
Adaptive Classifier-Free Guidance via Dynamic Low-Confidence Masking
PolyU;FDU;THU;CUHK;PKU;ICL
针对标准CFG静态无条件输入在迭代生成中的不足,提出自适应分类器自由引导(A-CFG),通过动态低置信度掩码定制无条件输入,在掩码扩散语言模型上显著提升生成质量,如GPQA提升3.9分。
2025-05-26 cs.CL
Explore More Guidance: A Task-aware Instruction Network for Sign Language Translation Enhanced with Data Augmentation
Huazhong University of Science and Technology(华中科技大学);Nanchang University(南昌大学);Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出任务感知指令网络TIN-SLT,通过指令模块、特征融合策略和多层次数据增强提升手语翻译性能,并在两个基准数据集上取得领先结果。
2023-05-25 cs.CL
PIG: Parallel Inconsistency Guidance for Accelerating Diffusion Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出PIG范式,通过轻量级辅助模型估计并行与顺序生成的不一致性,在多个基准数据集上提升了扩散语言模型的准确率-效率表现。
2026-10-14 cs.CL
Entropy Aware Reward Guidance for Diffusion Language Model Alignment
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出EntRGi机制,解决离散扩散语言模型中无法通过自然输出区分的问题,通过动态插值连续token放松与采样硬token,提升奖励模型可靠性与优化精度。
2026-05-12 cs.AI cs.CL cs.LG
Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学);Tsinghua University(清华大学)
针对大型视觉语言模型因语言偏差导致的幻觉问题,提出LACING框架,采用多模态双注意力机制和软图像引导策略,在不增加训练资源的情况下增强视觉理解并减少幻觉。
2026-05-28 cs.CL cs.CV
Pi-SQL: Enhancing Text-to-SQL with Fine-Grained Guidance from Pivot Programming Languages
Shanghai University of Finance and Economics(上海金融学院);Tsinghua University(清华大学);Beihang University(北航);Wuhan University(武汉大学);Southern University of Science and Technology(南方科技大学)
Pi-SQL提出以高资源的Python程序作为枢轴,先为自然语言查询生成带细粒度逐步指导的Python代码,再据此生成SQL程序,并通过候选选择优化执行效率,显著提升了文本到SQL的执行准确率。
2025-06-03 cs.AI cs.CL
Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models
KAIST(韩国科学技术院)
本文提出ARAM框架,通过动态校准引导尺度提升检索增强扩散模型在知识密集型问答中的性能。
2026-04-03 cs.AI cs.CL cs.LG
Co-Evolution of Policy and Internal Reward for Language Agents
McGill University(麦吉尔大学);McMaster University(麦克马斯特大学);The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Peking University(北京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);DeepWisdom(深度智慧);Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
本文提出Self-Guide方法,通过自动生成内部奖励实现推理和训练时的协同优化,提升语言代理性能。
2026-04-03 cs.AI cs.CL cs.LG
A Language Model's Guide Through Latent Space
ETH Zurich(苏黎世联邦理工学院)
本文将概念引导从真实性扩展到得体性、幽默等更复杂概念,提出兼顾激发成功与流畅性的新度量,发现检测最优的探针未必是最佳引导器,并构建了引导研究实验平台。
2024-02-22 cs.AI cs.CL
Leveraging Unit Language Guidance to Advance Speech Modeling in Textless Speech-to-Speech Translation
Northeastern University(东北大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kunming University of Science and Technology(昆明理工大学);NiuTrans Research(牛翻译研究院)
针对无文本语音到语音翻译的跨模态特征提取、跨语言长序列对齐两大挑战,提出基于n-gram构建的单元语言,结合多任务学习与任务提示建模指导语音建模,在Voxpupil数据集上实现显著提升,性能比肩文本训练模型。
2025-05-21 cs.AI cs.CL cs.SD
Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance
针对大视觉语言模型的物体幻觉问题,提出无需训练和API调用的MARINE框架,通过开源视觉模型提取物体级信息提供图像锚定引导,在5种主流LVLM上的表现优于现有微调方法,且能保持生成内容详细度。
2025-06-11 cs.AI cs.CL cs.CV
Natural language guidance of high-fidelity text-to-speech with synthetic annotations
Stability AI;University of Edinburgh(爱丁堡大学)
提出用合成标注可扩展标注说话人身份、风格和录音条件,训练语音语言模型,实现高保真、多样化语音生成,仅凭自然语言控制。
2024-02-02 cs.CL cs.SD eess.AS
Zero-shot audio captioning with audio-language model guidance and audio context keywords
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
提出ZerAuCap框架,利用预训练大语言模型和音频-语言模型引导,结合音频上下文关键词,实现零样本音频描述生成,在AudioCaps和Clotho数据集上取得最优结果。
2023-11-14 cs.AI cs.CL cs.SD
Tell, Don't Show!: Language Guidance Eases Transfer Across Domains in Images and Videos
UC San Diego(加州大学圣迭戈分校);Allen Institute for AI(艾伦人工智能研究所)
本文提出 LaGTran 框架,利用文本监督引导跨域判别知识迁移,在图像数据集上显著超越现有方法,并引入 Ego2Exo 视频基准验证其在 ego-exo 迁移中的有效性。
2024-06-06 cs.AI cs.CL cs.CV
Learning adaptive planning representations with natural language guidance
MIT(麻省理工学院);Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校);Microsoft(微软)
本研究提出Ada框架,借助语言模型的通用知识自动构建任务特定的规划表示,交互式学习适配领域的高层动作抽象与低层控制器,在两个规划基准上性能优于现有LM序列决策方法,泛化性更强。
2023-12-13 cs.AI cs.CL cs.RO