COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement
National University of Singapore(新加坡国立大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Mila(米拉研究所);Nanyang Technological University(南洋理工大学);University of Arizona(亚利桑那大学)
提出COrAL,将迭代优化融入LLM架构,通过滑动块级顺序无关解码实现多token并行前向预测与后向重构,在提升推理任务准确率的同时显著加速推理。
2024-10-12 cs.CL
Fine-Refine: Iterative Fine-grained Refinement for Mitigating Dialogue Hallucination
Queen Mary University of London(伦敦女王学院);Queen’s University Belfast(贝尔法斯特女王大学);Institut Jožef Stefan(乔泽夫·斯蒂芬研究所)
Fine-Refine通过细粒度细化框架提升对话系统事实准确性,实现7.63分的提升,同时牺牲少量对话质量。
2026-02-17 cs.CL
Iterative Experience Refinement of Software-Developing Agents
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Siemens(西门子);Dalian University of Technology(大连理工大学)
针对 LLM 软件开发智能体静态经验难以适应任务的问题,提出迭代经验精炼框架及连续、累积两种模式,并通过启发式经验剔除以少量高质量经验提升稳定性与性能。
2024-05-07 cs.AI cs.CL cs.MA
Iterative Translation Refinement with Large Language Models
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University(清华大学计算机科学与技术系人工智能研究院)
本文提出迭代提示大型语言模型进行翻译自我修正,实验表明该方法在流畅性和自然度上优于初始翻译及人工参考,同时保持翻译质量,并强调了源文本锚定和合理种子翻译的重要性。
2024-05-01 cs.AI cs.CL
ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models
Capital One, USA(Capital One公司)
ReHear通过整合音频感知大语言模型实现伪标签迭代细化,有效缓解半监督语音识别中的误差传播问题。
2026-10-30 cs.CL eess.AS
ToolACE-R: Model-aware Iterative Training and Adaptive Refinement for Tool Learning
ToolACE-R通过基于模型的迭代训练和自适应细化,提升工具学习的效率和性能。
2026-01-10 cs.AI cs.CL cs.LG
RefineCoder: Iterative Improving of Large Language Models via Adaptive Critique Refinement for Code Generation
School of Computer Science and Technology, Beijing Institute of Technology, Beijing, China(北京理工大学计算机科学与技术学院);Peking University(北京大学);Meituan(美团)
本文提出自适应批评精炼方法ACR,通过自生成代码和外部批评迭代改进代码LLM,并据此构建RefineCoder系列,在多个基准上以更少数据取得相当或更优性能。
2025-08-21 cs.AI cs.CL
Evolutionary Guided Decoding: Iterative Value Refinement for LLMs
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Soochow University(苏州大学);Zhejiang University(浙江大学);Fudan University(复旦大学)
研究发现引导解码中值函数不准确源于分布差距,提出迭代值细化框架,用值探索提供训练信号,迭代自我细化利用改进值函数生成高质量数据,实验证明该框架能有效对齐语言模型并降低计算成本。
2026-07-07 cs.AI cs.CL cs.LG
AIR: Complex Instruction Generation via Automatic Iterative Refinement
Alibaba Group(阿里巴巴集团)
本文提出自动迭代细化框架AIR,通过从文档生成并迭代优化带约束的复杂指令,构建AIR-10K数据集,显著提升大语言模型遵循复杂指令的能力。
2025-02-27 cs.AI cs.CL
Iterative Augmentation with Summarization Refinement (IASR) Evaluation for Unstructured Survey data Modeling and Analysis
University of Toledo(托莱多大学);George Mason University(乔治梅森大学)
本文提出用于LLM文本增强的原则性评估框架,包含可扩展性分析和迭代增强与摘要精炼(IASR),在真实主题建模任务中使主题粒度增加400%并消除重叠,验证了其有效性。
2025-07-16 cs.CL cs.LG
MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline
Buzzni AI Lab(Buzzni人工智能实验室);KAIST(韩国科学技术院);Mathpresso Inc.(Mathpresso公司);UC Berkeley(加州大学伯克利分校);Fainders AI(Fainders人工智能公司);Seoul National University(首尔大学)
提出无需训练的MERLIN流水线,利用LLM进行迭代反馈学习以从用户视角精炼查询嵌入,显著提升文本-视频检索的Recall@1。
2024-10-16 cs.AI cs.CL cs.CV
LLM driven Text-to-Table Generation through Sub-Tasks Guidance and Iterative Refinement
IBM Research(IBM研究院);IIIT-Bangalore(班加罗尔印度理工学院)
本文提出一种基于LLM的文本到表格生成系统,通过将任务分解为引导式子任务并利用迭代自反馈优化表格,有效提升了生成质量,在两个公开数据集上表现优于基线。
2025-08-12 cs.AI cs.CL
T-LLM Compiler: Trusted LLM-based Code Optimization and Verification Framework
Huawei Technologies(华为技术有限公司)
本文提出T-LLM编译器,结合LLM代码变换、传统编译器与验证工具,在PolyBench/C基准测试上实现最高83.3%优化准确率,变换后代码平均提速26.7%,并开源了项目代码。
2026-08-18 cs.AI cs.CL cs.LG
A Multi-AI Agent System for Autonomous Optimization of Agentic AI Solutions via Iterative Refinement and LLM-Driven Feedback Loops
aiXplain Inc.(aiXplain公司)
本文提出一种多智能体系统,通过LLM驱动的迭代反馈循环自主优化Agentic AI解决方案,无需人工干预即可提升系统配置的输出质量与可扩展性。
2024-12-22 cs.AI cs.CL cs.ET
Semantic Role Labeling with Iterative Structure Refinement
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
现代最先进的语义角色标注(SRL)方法依赖于表达性句子编码器(例如,多层LSTM),但倾向于仅对各个变元标记决策之间的局部(如果有的话)交互进行建模。这与早期的工作形成了对比,也与个体论证的标签是强烈相互依赖的直觉形成了对比。我们通过{ \it迭代细化}对参数标签决策之间的交互进行建模。从因子分解模型产生的输出开始,我们使用精化网络迭代地精化它。而不是建模任意角色和单词之间的相互作用,我们编码先验知识的SRL问题,通过设计一个限制性的网络架构捕捉非本地的相互作用。这种建模选择可以防止过度拟合,并产生有效的模型,在所有7种CoNLL-2009语言上的表现优于强因子分解基线模型,并在其中5种语言上实现了最先进的结果,包括英语。
2019-09-07 cs.CL
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University(纽约大学)
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计,一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译(En-De和En-Ro)和图像字幕生成,并观察到它显着加快解码,同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
Progressive Refinement: An Iterative Pseudo-Labeling Approach for Mandarin-English Code-Switching ASR
针对汉英混合语音识别训练数据不足的问题,提出迭代伪标签方法,通过多阶段训练与迭代优化利用无标注数据,在SEAME数据集上显著降低混合错误率。
2026-07-07 cs.CL
Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
我们提出了递归的非自回归图到图的Transformer架构(RNGTr)的迭代细化的任意图形通过递归应用的非自回归图到图的Transformer,并将其应用到语法依存句法分析。我们使用经过BERT预训练的细化模型,在多个依赖语料库上展示了RNGTr的功能和有效性。我们还介绍了语法Transformer(SynTr),一个类似于我们的细化模型的非递归解析器。RNGTr可以提高各种初始解析器对来自通用词典树库、英语和中文Penn树库以及德语CoNLL 2009语料库的13种语言的准确性,甚至比SynTr实现的新的最先进的结果更好,显著提高了所有测试语料库的最先进水平。
2020-11-10 cs.CL cs.LG
PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学);Computer Science and Engineering(计算机科学与工程);University of Michigan(密歇根大学)
预先训练的Transformers在生成长而流畅的文本方面取得了令人印象深刻的突破,但它们的输出通常是“漫无边际”的,没有连贯的内容。在这项工作中,我们提出了一种新的内容控制的文本生成框架,PAIR,规划和迭代细化,这是建立在一个大的模型,BART。我们首先适应BERT模型自动构建的内容计划,包括关键词分配和相应的文档级别的位置。BART模型用于生成,而不修改其结构。然后,我们提出了一个细化算法,逐步提高序列到序列的框架内的生成质量。使用自动度量进行的评估表明,添加规划一致地提高了三个不同领域的生成质量,平均提高了20个BLEU点和12个METEOR点。此外,人类法官认为我们的系统输出比没有计划的比较更相关和一致。
2020-10-05 cs.CL
Iterative Refinement for Machine Translation
Ecole Polytechnique(巴黎综合理工学院);Facebook AI Research(Facebook人工智能研究院)
现有的机器翻译解码算法以严格单调的方式生成翻译,并且从不重新访问先前的决策。因此,早期的错误无法在后期纠正。在本文中,我们提出了一个翻译方案,从一个初始的猜测,然后进行迭代改进,可能会重新访问以前的决定。我们将我们的模型参数化为一个卷积神经网络,该网络基于源句子和当前翻译输出的注意力机制预测对现有翻译的离散替换。通过对每个句子进行不到一次修改,我们将基于短语的翻译系统的输出在WMT 15德英翻译上提高了0.4 BLEU。
2018-04-13 cs.CL
IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models
Xiamen University(厦门大学);Baidu Inc.(百度公司)
本文提出迭代式偏差感知数据集精化框架IBADR,通过训练浅层模型量化样本偏差、学习偏差指示器与样本的对应关系并生成低偏差伪样本,无需预定义偏差特征即可消除NLU模型偏差,在两个NLU任务上达到SOTA且兼容以模型为中心的方法。
2023-11-01 cs.CL
Spontaneous Reward Hacking in Iterative Self-Refinement
New York University(纽约大学);Anthropic, PBC(Anthropic公司);George Washington University(乔治·华盛顿大学)
本文研究语言模型迭代自精炼中的自发奖励黑客现象,通过论文编辑任务证明生成器与评估器共享模型时会出现评分与人类判断的偏差,并发现模型规模和上下文共享是影响严重程度的关键因素。
2024-07-05 cs.AI cs.CL
Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0
Department of Linguistics(语言学系);Department of Computer Science(计算机科学系);Department of French(法语系)
本研究比较了HuBERT和wav2vec 2.0的架构差异,发现隐藏表征与词、音素及说话人身份的典型相关性差异由训练迭代而非训练目标决定,建议未来研究迭代细化的有效性。
2025-08-11 cs.CL cs.SD eess.AS
Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation
New York University(纽约大学)
我们提出了一个有效的推理过程,非自回归机器翻译,迭代完善纯粹在连续空间的翻译。给定用于机器翻译的连续潜变量模型(Shu等人,2020),我们训练一个推理网络来近似目标句子的边缘对数概率的梯度,只使用潜在变量作为输入。这允许我们使用基于梯度的优化来在推理时找到近似最大化其边际概率的目标句子。由于每个细化步骤只涉及低维潜在空间中的计算(我们在实验中使用8),我们避免了现有的非自回归推理过程,往往在令牌空间细化所产生的计算开销。我们将我们的方法与最近提出的类似EM的推理过程(Shu等人,2020),在混合空间中进行优化,包括离散和连续变量。我们在WMT'14 En-De,WMT'16 Ro-En和IWELL '16 De-En上评估了我们的方法,并观察到与EM类推理相比的两个优点:(1)它在计算上是高效的,即每个细化步骤的速度是原来的两倍,(2)它更有效,在相同数量的细化步骤的情况下产生更高的边际概率和BLEU分数。例如,在WMT'14 En-De上,我们的方法能够以比自回归模型快6.2倍的速度解码,而对翻译质量的影响最小(0.9 BLEU)。
2020-09-15 cs.CL
Sentence Embeddings in NLI with Iterative Refinement Encoders
University of Helsinki(赫尔辛基大学)
句子级表示对于各种NLP任务是必要的。递归神经网络已被证明在学习分布式表示方面非常有效,并且可以在自然语言推理任务上进行有效训练。我们建立在这样一个模型之上,并提出了一个BiLSTM和最大池化层的层次结构,该层次结构实现了迭代细化策略,并在SciTail数据集上产生了最先进的结果,以及SNLI和MultiNLI的强结果。我们可以证明,以这种方式学习的句子嵌入可以用于各种各样的迁移学习任务,在10个SentEval句子嵌入评估任务中有7个优于InferSent,在9个SentEval评估任务中有8个优于SkipThought。此外,我们的模型在最近发表的10个SentEval探测任务中的8个中击败了InferSent模型,这些探测任务旨在评估句子嵌入捕捉句子的一些重要语言属性的能力。
2019-06-03 cs.CL cs.LG
TriTopic: Tri-Modal Graph-Based Topic Modeling with Iterative Refinement and Archetypes
Modul University Vienna(维也纳莫杜尔大学)
TriTopic通过三模图融合与迭代优化,提升主题建模的稳定性与精度,实现更高的NMI得分和全面的语料覆盖。
2026-02-22 cs.CL
Iterative Prompt Refinement for Dyslexia-Friendly Text Summarization Using GPT-4o
University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
本文提出基于GPT-4o的迭代提示细化方法,通过提升文本摘要的可读性,为视读障碍人群提供更友好的信息获取方式。
2026-02-26 cs.AI cs.CL
Iterative NLP Query Refinement for Enhancing Domain-Specific Information Retrieval: A Case Study in Career Services
Humber College(亨伯学院)
本文针对传统TF-IDF系统在特定领域检索性能不佳的问题,提出一种结合领域术语与结构化描述符的半自动迭代查询细化方法,在Humber College职业服务数据上显著提升了文档相似度与检索效果。
2024-12-22 cs.CL cs.IR
Iterative Corpus Refinement for Materials Property Prediction Based on Scientific Texts
Interdisciplinary Centre for Advanced Materials Simulation(交叉学科先进材料模拟中心)
提出一种迭代语料库精炼框架,利用科学文本训练 Word2Vec 并监测成分—属性相关性收敛,从而在稀缺数据下筛选 ORR、HER、OER 高性能候选材料。
2025-06-10 cond-mat.mtrl-sci cs.CL
Small sample-based adaptive text classification through iterative and contrastive description refinement
Mphasis Limited(Mphasis公司)
提出一种结合迭代主题精化、对比提示和主动学习的分类框架,利用小样本和人工反馈精化类别描述,在AGNews和DBpedia上分别达到91%和84%的准确率,并能无缝集成新类别。
2025-08-01 cs.AI cs.CL cs.LG