Diverse Keyphrase Generation with Neural Unlikelihood Training
Borealis AI(Borealis AI(北极星人工智能));Montreal(蒙特利尔(城市名,此处可能指机构所在地,按要求不提取额外信息,仅保留机构名部分,原机构名应为Borealis AI,Montreal为地点,故正确机构仅Borealis AI))
在本文中,我们研究序列到序列(S2 S)的关键短语生成模型从多样性的角度。神经自然语言生成的最新进展已经在关键短语生成任务上取得了显着进展,通过F1分数等质量指标的改进来证明。然而,多样性在关键词生成中的重要性在很大程度上被忽视了。我们首先分析了使用最大似然估计(MLE)训练的基线模型生成的输出中存在的信息冗余程度。我们的研究结果表明,关键词的重复是MLE训练的一个主要问题。为了缓解这个问题,我们采用神经不似然(UL)目标来训练S2 S模型。我们的UL训练版本在(1)目标令牌级别运行,以阻止重复令牌的生成;(2)复制令牌级别,以避免从源文本复制重复令牌。此外,为了在解码过程中鼓励更好的模型规划,我们结合了K步提前令牌预测目标,该目标还计算未来令牌的MLE和UL损失。通过对来自三个不同领域的数据集进行广泛的实验,我们证明了所提出的方法获得了相当大的多样性增益,同时保持了有竞争力的输出质量。
2020-10-15 cs.CL
Cascade Reward Sampling for Efficient Decoding-Time Alignment
Department of Computer Science(计算机科学系)
本文提出级联奖励采样(CARDS),通过段级拒绝采样和不确定性分段机制,解决解码时对齐中令牌生成与奖励评估的效率瓶颈,实现约70%解码时间减少和超90%胜平率。
2025-08-03 cs.CL cs.LG stat.ML
Keyphrase Generation with Fine-Grained Evaluation-Guided Reinforcement Learning
Fudan University(复旦大学)
关键词生成(KG)是一个经典的任务,用于从给定的文档中捕获中心思想,以生成一组关键词。基于Seq2Seq模型,先前的KG任务上的强化学习框架利用评估指标来进一步改进训练良好的神经模型。然而,诸如$F_1@5$和$F_1@M$的这些KG评估度量仅知道短语级别上的预测的确切正确性,而忽略了相似预测和目标之间的语义相似性,这抑制了模型学习深度语言模式。针对这个问题,我们提出了一个新的细粒度的评价指标,以改善RL框架,它考虑不同的粒度:令牌级$F_1$分数,编辑距离,重复,和预测量。总体而言,新框架包括两个奖励函数:细粒度的评估分数和香草$F_1$分数。该框架有助于模型识别部分匹配短语,这些部分匹配短语可以进一步优化为精确匹配短语。KG基准测试的实验表明,我们提出的训练框架优于以前的RL训练框架的所有评价分数。此外,我们的方法可以有效地缓解同义词问题,并产生更高质量的预测。源代码可从\url{https://github.com/xuyige/FGRL4KG}获得。
2021-09-10 cs.CL
FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
FastGuide提出一种并行与自回归自适应混合解码方法,加速扩散语言模型的奖励引导,在三个基准上实现高达4.4倍加速且保持生成质量。
2026-09-30 cs.CL cs.LG
Controlling Multimodal LLMs via Reward-guided Decoding
Mila - Quebec AI Institute(魁北克AI研究院);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Meta FAIR;Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文提出首个针对多模态大语言模型的奖励引导解码方法,通过两个独立奖励模型分别控制目标精确度和召回率,并控制搜索广度,在标准目标幻觉基准上实现了对MLLM推理的即时可控性,且持续优于现有幻觉缓解方法。
2025-08-15 cs.AI cs.CL cs.CV
Reward-Augmented Decoding: Efficient Controlled Text Generation With a Unidirectional Reward Model
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出Reward-Augmented Decoding (RAD),利用小型单向奖励模型在解码时对生成文本评分并调整采样概率,以高效实现受控文本生成,其性能媲美需重新训练的最先进方法且计算开销极小。
2024-01-02 cs.CL
One Source, Two Targets: Challenges and Rewards of Dual Decoding
Univ. Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LISN(信号与噪声实验室);Orsay, France(法国奥赛)
机器翻译通常被理解为从输入源文档生成一个目标文本。在本文中,我们考虑了一个更强的要求:联合生成两个文本,使每个输出端有效地依赖于其他。正如我们所讨论的,这样的设备有几个实际用途,从多目标机器翻译到目标文本的受控变体的生成。我们提出了一个分析可能实现的双重解码,并与四个应用程序的实验。从多个角度来看这个问题,使我们能够更好地突出双重解码的挑战,并彻底分析生成匹配而不是独立翻译的好处。
2021-09-21 cs.CL
Reward-Guided Speculative Decoding for Efficient LLM Reasoning
Language Technology Lab, University of Amsterdam(阿姆斯特丹大学语言技术实验室);Salesforce AI Research(Salesforce人工智能研究)
本文提出RSD框架,结合轻量级草稿模型与目标模型,利用过程奖励模型动态评估解码步骤并决定是否调用目标模型,在保证准确率的同时显著降低计算成本。
2025-06-26 cs.AI cs.CL
The Missing Piece in Pre-trained Model Evaluation: Reward-Guided Decoding Unlocks Task-Oriented Behavior Without Parameter Updates
Shanghai Jiao Tong University(上海交通大学);Qwen Team, Alibaba Group(阿里云Qwen团队);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出一种无需训练的奖励引导解码框架EBD,通过外部轻量奖励模型调整输出分布,激活冻结预训练模型的任务导向行为,实现更公平的推理时评估。
2026-05-27 cs.CL
Transfer Q Star: Principled Decoding for LLM Alignment
University of Maryland, College Park(马里兰大学帕克分校);Princeton University(普林斯顿大学);University of Central Florida(中佛罗里达大学)
本文提出Transfer Q*解码方法,通过基线模型隐式估计目标奖励的最优价值函数,避免了传统微调的计算开销和现有解码方法对最优Q函数的依赖,在理论和实验上均显著降低次优性差距并提升对齐性能。
2024-05-30 cs.CL cs.LG
SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding
Yonsei University(延世大学)
研究如何增强大语言模型对系统提示的遵循,提出SyRuP框架,通过训练交叉注意力奖励头产生令牌级遵循分数,推理时结合多种信号对候选重新排序,实验表明该方法能有效提升系统提示遵循度且开销适度。
2026-09-01 cs.AI cs.CL
ARGS: Alignment as Reward-Guided Search
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Stanford University(斯坦福大学)
提出ARGS框架,将人类偏好对齐融入解码过程,通过奖励信号调整概率预测,免去昂贵强化学习训练,在多种任务上显著提升平均奖励并获GPT-4高评价。
2024-01-23 cs.AI cs.CL cs.LG
GrammarRL: Effective Grammar-Constrained Decoding via Reinforcement Learning
University of Catania(卡塔尼亚大学);ISTC - National Research Council, Italy(意大利国家研究委员会科学技术研究所);University of Bologna(博洛尼亚大学)
GrammarRL提出无标签强化学习方法,通过直接与反向奖励优化语言模型适应语法约束,在多项任务上平均提升9.8分,最高达22.8 BLEU,且保持贪心解码成本。
2026-10-01 cs.AI cs.CL cs.LG
On the Low-Rank Parametrization of Reward Models for Controlled Language Generation
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文研究受控文本生成中外部奖励模型的参数化选择,提出低秩参数化的奖励增强解码方法,在去毒化和情感控制任务上以更低计算成本达到与高秩方法相当的性能。
2025-09-20 cs.CL
Jina-OCR-v1: Efficient Document Parsing with Speculative Decoding and Dense Verifiable Rewards
Jina AI(金纳人工智能)
Jina-OCR-v1是专为低预算GPU设计的端到端文档解析模型,结合DeepSeek-OCR的编码器与解码器,采用FastMTP推测解码和密集可验证奖励训练,在多个基准上取得优异性能且解码速度提升显著。
2026-09-04 cs.CL cs.CV
Personalized LLM Decoding via Contrasting Personal Preference
Yonsei University(延世大学);Opt-AI Inc.(Opt-AI公司)
本文提出CoPe方法,通过奖励引导解码实现个性化,提升ROUGE-L指标10.57%。
2025-11-24 cs.AI cs.CL
Controlled Decoding from Language Models
Google DeepMind(谷歌DeepMind);OpenAI
提出受控解码(CD)方法,通过独立训练的前缀评分器在推理时控制冻结基础模型的生成,有效解决语言模型对齐中的多目标强化学习问题,并弥合best-of-K策略与逐token控制的差距。
2024-06-03 cs.AI cs.CL cs.LG
A Critical Look At Tokenwise Reward-Guided Text Generation
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Western University(西方大学)
针对Token级奖励引导文本生成,本文指出全序列奖励模型不适用于部分序列评分,提出在部分序列上训练Bradley-Terry模型并自回归采样,其策略与两个RLHF策略比率成正比,性能优于先前方法且无需大规模微调。
2025-09-26 cs.CL cs.LG
Decoding-time Realignment of Language Models
University of Basel(巴塞尔大学);University of Edinburgh(爱丁堡大学);Université Paris-Saclay(巴黎-萨克雷大学);Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出解码时重新对齐(DeRa)方法,无需重新训练即可探索不同正则化强度,实现对对齐程度的平滑控制,并提高超参数调优效率。
2026-10-06 cs.AI cs.CL cs.LG
Towards Bridging the Reward-Generation Gap in Direct Alignment Algorithms
Shanghai University of Finance and Economics(上海财经大学);Beihang University(北航);Southern University of Science and Technology(南方科技大学)
本文探讨了直接对齐算法中奖励生成差距的问题,提出Prefix-Oriented Equal-length Training方法,通过截断响应长度来提升对齐效果,实验显示在AlpacaEval 2上提升显著。
2026-04-16 cs.CL cs.LG
Safe Inference-Time Alignment via Lagrangian Reward Augmentation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Independent Researcher(独立研究者)
研究提出拉格朗日奖励增强框架,从含奖励与成本模型的约束目标出发,经对偶化将问题转化为一维凸问题,校准对偶变量获增强奖励,提升推理时对齐的有益性与无害性权衡。
2026-10-06 cs.AI cs.CL cs.LG
Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models
Google Research(谷歌研究院)
本文提出 Arithmetic Sampling 框架,利用大语言模型隐式定义的算术码本实现可并行、可证明多样且无偏一致的采样,并在 WMT 翻译上显著降低奖励估计方差、缩小与束搜索的 BLEU 差距。
2023-06-01 cs.CL cs.LG stat.ML
Language Ranker: A Lightweight Ranking framework for LLM Decoding
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(一般人工智能国家重点实验室,智能科学与技术学院,北京大学);Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学);MIT CSAIL, MA, USA(MIT CSAIL,马萨诸塞州,美国);Microsoft Research Asia(微软亚洲研究院)
本文提出语言排序器,一种轻量级排序框架,通过将LLM解码视为推荐排序阶段,利用基础模型特征重排候选响应,以不到0.5M参数达到大规模奖励模型性能,降低计算开销。
2025-10-23 cs.AI cs.CL
PAD: Personalized Alignment of LLMs at Decoding-Time
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);University of Washington(华盛顿大学)
本文提出无需训练的解码时个性化对齐框架 PAD,通过 token 级个性化奖励引导 LLM 输出,在多样、未见偏好及跨模型场景中优于训练式方法。
2025-03-13 cs.AI cs.CL
Performance-Driven Policy Optimization for Speculative Decoding with Adaptive Windowing
本文提出PPOW框架,通过窗口级优化提升投机解码效率,采用成本感知加速奖励和分布基 proximity 奖励,实现平均接受长度和加速效果提升。
2026-10-21 cs.CL
Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
Purdue University(普渡大学);University of California, Davis(加州大学戴维斯分校)
提出主动层对比解码(ActLCD),通过强化学习策略在生成过程中动态决定何时应用对比层,在五个基准上超越现有方法,有效缓解大语言模型的长上下文幻觉问题。
2025-09-15 cs.AI cs.CL cs.LG
MEMETRON: Metaheuristic Mechanisms for Test-time Response Optimization of Large Language Models
Department of Information and Decision Sciences University of Illinois Chicago(信息与决策科学系伊利诺伊大学香槟分校)
针对大语言模型现有启发式解码策略控制有限、未显式优化任务目标的问题,提出将解码建模为离散黑盒优化的MEMETRON框架,借助混合元启发式算法在奖励模型引导下搜索高奖励响应,无需重训练模型即可在人类偏好对齐任务上显著优于标准方法。
2025-06-10 cs.CL
Adaptive Decoding via Test-Time Policy Learning for Self-Improving Generation
UC San Diego(加州大学圣地亚哥分校);Plastic Labs;IBM Research(IBM研究院)
本文提出基于强化学习的解码器采样器,通过在测试时调整采样参数提升生成质量,实验表明其在多个数据集上优于传统方法,且能稳定提升生成效果。
2026-03-19 cs.AI cs.CL
DocQAC: Adaptive Trie-Guided Decoding for Effective In-Document Query Auto-Completion
Microsoft Corporation(微软公司);Indian Institute of Technology(印度理工学院);Indian Institute of Technology Kharagpur(印度理工学院卡拉格浦)
DocQAC通过适应性前缀引导解码框架提升长文档内的搜索效率,利用文档特定上下文增强查询精度,优于现有基线模型。
2026-04-20 cs.AI cs.CL cs.IR
S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
S³R通过自稀疏投机解码,在不改变策略优化响应组的前提下,减少RLVR的KV缓存流量,提升训练吞吐量并保持任务稳定性,在Qwen3模型上实现1.39倍、1.35倍的训练吞吐量提升。
2026-11-04 cs.CL cs.LG
Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding
Stanford University(斯坦福大学);Oxford University(牛津大学)
在开放式自然语言生成中,现有的文本解码方法通常难以生成既多样又高质量的文本。贪婪和束搜索已知会遭受文本退化和语言多样性问题,而温度、top-k和核采样通常会产生多样但低质量的输出。在这项工作中,我们提出了人群抽样,贝叶斯风险最小化的解码方法的基础上,家庭,以解决这种多样性的质量权衡。受“群体智慧”原则的启发,群体抽样试图从候选人池中选择具有最小预期风险的候选人(即,最高预期奖励)。群体抽样可以被视为许多现有方法的概括,包括多数投票,在实践中,它可以被用作现有抽样方法的直接替代品。大量的实验表明,人群抽样在广泛的任务(包括摘要、数据到文本、翻译和文本风格转换)中提供了3-7个ROUGE和BLEU点的改进,同时在WebNLG和WMT'16上实现了最先进的新结果。
2022-11-14 cs.CL cs.LG
Look Inward to Explore Outward: Learning Temperature Policy from LLM Internal States via Hierarchical RL
Zhejiang University(浙江大学);Southeast University(东南大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Innovation Institute(上海创新研究院)
Introspective LLM通过分层强化学习从LLM内部状态学习温度策略,提升数学推理任务中的探索效率与可解释性。
2026-02-13 cs.AI cs.CL cs.LG
CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Intel(英特尔);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·拉希德人工智能大学);Rutgers University(罗格斯大学)
本文提出CITER框架,通过词元级路由协同小模型与大模型,以策略优化训练路由器,在降低推理成本的同时保持生成质量,适用于资源受限场景。
2025-09-10 cs.AI cs.CL cs.LG
Aligning a medium-size GPT model in English to a small closed domain in Spanish
Facultad de Matemáticas(数学学院);Universidad Autónoma de Yucatán(尤卡坦自治大学)
本文提出用奖励模型辅助解码,将英语开放域中型GPT模型对齐到西班牙语小型封闭域问答任务,实验证明该方法可行且效果更优。
2023-05-30 cs.CL cs.LG
Contrastive Weak-to-strong Generalization
ustc(中国科学技术大学);nus(新加坡国立大学);zgc(中关村学院);smu(新加坡管理学院)
研究针对弱到强泛化中弱模型输出噪声和偏差问题,利用隐式奖励与对比解码的联系,提出ConG框架,通过对比解码生成高质量样本,实现可靠能力转移等,经实证验证其有效性和通用性,推动了弱到强泛化及通向通用人工智能。
2026-07-29 cs.AI cs.CL
KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection
HKUST(香港科技大学)
提出KCTS解码方法,结合知识分类器评分和MCTS,并引入词元级幻觉检测RIPA,在对话和摘要任务中有效减少幻觉,无需微调。
2023-10-13 cs.AI cs.CL cs.LG
Critic-Guided Decoding for Controlled Text Generation
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);University of Richmond(里士满大学)
引导语言生成朝向目标或远离不期望的内容一直是利用语言模型(LM)的长期目标。最近的工作表明,强化学习和加权解码的有效方法,以实现更高水平的语言控制和质量的利弊。在这项工作中,我们提出了一种新的批评解码方法控制语言生成(CriticControl),结合了强化学习和加权解码的优势。具体来说,我们采用演员批评的框架训练LM转向评论家从不可微的奖励模型。类似于加权解码,我们的方法冻结了语言模型,并使用所谓的评论家操纵输出令牌分布,提高训练效率和稳定性。我们的方法上的三个控制生成任务,即主题控制,情绪控制和解毒的评估表明,我们的方法比以前的方法产生更多的连贯性和良好的控制文本。此外,CriticControl在zero-shot设置中展示了卓越的泛化能力。人体评估研究也证实了我们的发现。
2022-12-21 cs.CL
Sampling-Efficient Test-Time Scaling: Self-Estimating the Best-of-N Sampling in Early Decoding
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);Tongyi Lab, Alibaba Group(阿里集团通义实验室)
提出ST-BoN解码方法,利用模型内部状态的早期采样一致性截断次优路径,无需奖励模型即可避免完全生成所有样本,在保持性能的同时大幅降低GPU内存和延迟开销。
2025-11-02 cs.AI cs.CL
Mitigating Metric Bias in Minimum Bayes Risk Decoding
Google(谷歌公司)
本研究针对最小贝叶斯风险解码中的度量偏差问题,发现神经指标会高估解码质量,并提出通过集成多个效用指标来缓解该偏差,从而提升解码性能。
2024-11-05 cs.AI cs.CL
Constrained Decoding with Speculative Lookaheads
Purdue University(普渡大学);AWS AI Labs(AWS AI实验室)
针对基于前瞻启发式的约束解码(CDLH)成本高、贪心解码约束满足度低的问题,提出CDSL技术,受推测解码启发用草稿模型生成前瞻并结合目标LLM与任务奖励验证,在保持性能的同时实现2.2-12.15倍加速。
2025-02-10 cs.AI cs.CL
Amortized Noisy Channel Neural Machine Translation
New York University(纽约大学);Genentech(基因泰克);CIFAR(加拿大高等研究院)
噪声信道模型在神经机器翻译(NMT)中特别有效。然而,最近的方法,如“束搜索和重新排序”(BSR)在推理过程中产生显着的计算开销,使现实世界的应用不可行。我们的目标是研究是否有可能建立一个摊销的噪声信道NMT模型,使得当我们在推理过程中进行贪心解码时,翻译准确度在奖励(基于源到目标的日志概率和目标到源的日志概率)和质量(基于BLEU和BLEURT)方面与BSR相匹配。我们尝试了三种训练新模型的方法:知识蒸馏、一步偏差模仿学习和Q学习。第一种方法从伪语料库中获取有噪信道信号,后两种方法旨在直接优化有噪信道MT奖励。对于所有三种方法,生成的翻译都无法获得与BSR相当的回报,但BLEU和BLEURT近似的翻译质量与BSR生成的翻译质量相似。此外,这三种方法都将推理速度提高了1-2个数量级。
2022-07-18 cs.CL cs.LG
Minimum Bayes' Risk Decoding for System Combination of Grammatical Error Correction Systems
ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
本文针对语法纠错系统组合问题,提出一种与编辑F-score直接关联的最小贝叶斯风险解码方法,并扩展候选句子集合,在多个数据集上验证了其有效性及对精确率、召回率和F-score的可控性。
2023-10-27 cs.AI cs.CL
PARM: Pipeline-Adapted Reward Model
Graduate Student Member, IEEE(IEEE研究生会员);Member, IEEE(IEEE会员);Senior Member, IEEE(IEEE高级会员)
针对多阶段LLM流水线中奖励指导不足的问题,提出PARM模型,通过整合奖励模型到 formulation 和 solution 阶段,提升代码生成质量与稳定性。
2026-04-20 cs.AI cs.CL
AURA: Affordance-Understanding and Risk-aware Alignment Technique for Large Language Models
针对LLM因忽略逻辑含义而引发供用性安全风险的问题,提出多层框架AURA,结合内省自我批评、细粒度PRM评估与自适应安全感知解码,显著提升模型输出的逻辑完整性与安全性。
2025-08-08 cs.CL
Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding
研究专利权利要求生成中自回归解码器的局限,提出SPG方法,通过指针头选择父权利要求,结合梯度与正则化器重塑解码器表示,经两阶段训练,在HUPD-DCG上恢复大量黄金父链接并提升先行一致性。
2026-07-28 cs.CL
Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs
Praxis Business School(普拉克斯商业学校);San Jose State University(旧金山州立大学)
提出自适应语义感知典型性采样(ASTS)改进局部典型采样算法,通过动态熵阈值、多目标评分和奖惩调整,在保持计算效率的同时提升文本生成的流畅性、多样性和连贯性。
2025-06-11 cs.AI cs.CL
Ensembling Large Language Models with Process Reward-Guided Tree Search for Better Complex Reasoning
KAIST AI(韩国科学技术院人工智能学院);Microsoft Research(微软研究院)
针对开源大型语言模型在复杂推理任务上的不足,提出LE-MCTS框架,将多模型逐步推理建模为马尔可夫决策过程,通过过程奖励引导的蒙特卡洛树搜索寻找最优推理链,在多个数学基准上显著优于现有方法。
2024-12-20 cs.CL
Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents
Stanford University(斯坦福大学);Robotics at Google(谷歌机器人部门);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
针对大语言模型缺乏物理世界接地性、语言条件机器人策略语义理解不足的问题,提出Grounded Decoding方法,通过概率滤波式解码融合两类模型优势,可解决复杂长时程机器人具身任务。
2023-12-11 cs.AI cs.CL cs.CV
Decoding the End-to-end Writing Trajectory in Scholarly Manuscripts
University of Minnesota(明尼苏达大学)
针对LLM难以提供文档级学术写作反馈的问题,提出基于意图、动作和数据类型的写作行为分类体系,并构建ManuScript数据集以捕捉端到端写作轨迹,辅助提升写作助手的反馈能力。
2023-03-31 cs.CL cs.HC
DeCoRL: Decoupling Reasoning Chains via Parallel Sub-Step Generation and Cascaded Reinforcement for Interpretable and Scalable RLHF
Ziyuan Gao 1(某大学);Di Liang 2(某大学);Xianjie Wu 3(某大学);Philippe Morel 1(某大学);Minlong Peng 2(某大学)
DeCoRL通过并行子步骤生成和级联强化学习,实现了推理链的解耦,提升了推理效率、可解释性和系统性能。
2025-11-11 cs.CL