PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models
Huawei Hisilicon(华为海思);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology(哈尔滨工业大学);City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
本文提出ProxyQA框架,通过人工策划的元问题和代理问题,利用评估器准确率评估LLMs的长文本生成质量,解决了现有方法效率低且与人类判断不一致的问题。
2024-06-04 cs.AI cs.CL
Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Laboratory(深空探测实验室);Institute for Advanced Algorithms Research(先进算法研究院);Sangfor Technologies Inc.(深信服科技股份有限公司);Research Institute of China Telecom(中国电信研究院)
针对现有RLHF方法计算成本高的问题,提出Proxy-RLHF解耦LLM的生成与对齐,通过RL训练精简代理模型监督LLM token生成,仅用1%训练参数就达到相当的对齐效果。
2024-03-07 cs.AI cs.CL cs.LG
Knowledge Distillation of Black-Box Large Language Models
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Alibaba Group(阿里巴巴集团)
针对黑盒大模型知识蒸馏中内部状态不可访问的问题,提出使用代理模型的Proxy-KD方法,实验表明其性能优于传统白盒蒸馏,为从先进LLMs蒸馏知识提供了新途径。
2024-11-09 cs.CL
Targeting Misalignment: A Conflict-Aware Framework for Reward-Model-based LLM Alignment
本文提出了一种基于冲突意识的框架,通过识别和缓解代理模型与策略间的冲突来提升大语言模型的对齐性能。
2026-01-17 cs.CL
Let's Be Self-generated via Step by Step: A Curriculum Learning Approach to Automated Reasoning with Large Language Models
East China Normal University(东华大学);Youtu Lab, Tencent(腾讯优图实验室);Shanghai Normal University(上海师范大学)
针对CoT提示依赖人力或生成质量不足的问题,受课程学习启发提出LBS3提示方法,通过由易到难的代理查询渐进式引导LLMs生成高质量示例解,在多种推理任务中取得SOTA竞争力。
2025-05-30 cs.CL
Rethinking the Role of Proxy Rewards in Language Model Alignment
NAVER Cloud(NAVER云);NAVER AI Lab(NAVER AI实验室);KAIST AI(韩国科学技术院人工智能学院)
本研究通过逆向奖励工程构建白盒奖励函数,探究代理奖励在大语言模型对齐中的作用,发现模拟黄金奖励的关键要求,且所提白盒奖励模型性能比肩开源RM,可作为无需人类反馈数据集的强基线。
2024-10-06 cs.AI cs.CL cs.LG
Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation
Samsung SDS Technology Research(三星SDS技术研究院)
针对语言模型指令响应质量评估困难的问题,提出基于贝叶斯近似的URM模型,通过评估响应不确定性优化数据筛选与策略目标,显著提升了模型指令遵循能力。
2025-01-31 cs.AI cs.CL cs.LG
Focus-LIME: Surgical Interpretation of Long-Context Large Language Models via Proxy-Based Neighborhood Selection
Key Lab of High Confidence Software Technologies (Peking University)(高可信软件技术重点实验室(北京大学));School of Computer Science, Peking University(计算机学院(北京大学))
Focus-LIME通过基于代理的邻域选择方法,实现长上下文大语言模型的手术级解释,解决了高维特征空间下的归因稀释问题。
2026-02-04 cs.CL cs.LG
MUG-Eval: A Proxy Evaluation Framework for Multilingual Generation Capabilities in Any Language
KAIST(韩国科学技术院);Trillion Labs
本文提出 MUG-Eval 框架,通过将现有基准转化为对话任务并以任务成功率作为代理指标来评估 LLM 的多语言生成能力,在 30 种语言上验证其与既有基准强相关,为低资源语言评估提供了可扩展的高效方案。
2025-09-19 cs.AI cs.CL
Language Models Give Group-Linked Fields the Wrong Weight
University of Osaka(大阪大学)
该研究针对LLM决策中代理依赖未与预测证据校准的问题,通过临床排序任务测量四种LLM的因果代理效应,发现依赖程度跟不上证据、社会标签抑制脆弱,且准确率评估无法检测这些问题。
2026-10-22 cs.AI cs.CL cs.CY
RegMix-D: Dynamic Data Mixing via Proxy Training Trajectories
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
提出RegMix-D,通过代理训练轨迹预测多阶段最优混合比例,实现动态数据混合,在13个下游任务上优于RegMix和DoReMi,且代理计算预算仅为RegMix的25%。
2026-06-18 cs.CL
Gaussian mixture models as a proxy for interacting language models
Helivan Research
本文提出交互高斯混合模型作为交互语言模型的代理,通过构建具有类RAG更新机制的模型,展示其在低计算成本下模拟交互语言模型的反馈过程,并提供理论分析。
2026-04-03 cs.CL cs.LG stat.ML
Predictable Emergent Abilities of LLMs: Proxy Tasks Are All You Need
Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院(BAAI));China University of Mining and Technology Beijing(中国矿业大学(北京));Peking University(北京大学)
本文提出利用代理任务预测 LLM 涌现能力的方法,通过跨模型性能差异筛选鲁棒代理任务并整合评估结果,在工具使用案例中验证了预测与实际性能的强相关性。
2024-12-10 cs.CL
Towards Automatic Continual Learning: A Self-Adaptive Framework for Continual Instruction Tuning
National Supercomputer Center in Tianjin(国家超级计算天津中心);School of Science, Tianjin University of Technology and Education(天津职业技术师范大学理学院)
针对现有持续指令调优方法侧重旧知识保留、忽视新知识选择及领域部署难题,提出带代理模型动态过滤的自适应框架,可降本提效并实现自主更新。
2025-03-20 cs.AI cs.CL
Self-Refinement of Language Models from External Proxy Metrics Feedback
University of Pennsylvania(宾夕法尼亚大学);IBM Research AI(IBM研究院人工智能部门)
本文提出 ProMiSe,利用原则特定的外部代理指标反馈引导 LLM 逐项迭代精炼回复,并在文档问答任务中验证其可提升 Flan-T5-XXL 与 Llama-2-13B-Chat 的表现。
2024-02-27 cs.AI cs.CL cs.LG
Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning
Alibaba Cloud Computing(阿里巴巴云 computing);The University of Edinburgh(爱丁堡大学)
GRADFILTERING通过利用GPT-2代理和LoRA集成,提出了一种考虑不确定性的数据选择方法,以提高指令微调的效率和效果。
2026-01-20 cs.AI cs.CL cs.LG
Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文通过 LIX 与 ADD 任务评估多款 LLM,发现语言复杂度测量能力与 MMLU 表现显著相关,可作为噪声零样本代理评估模型通用能力。
2025-02-17 cs.AI cs.CL
The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
Language Technology Lab University of Amsterdam(语言技术实验室 阿姆斯特丹大学)
本文通过132个翻译方向的受控实验,系统揭示了微调中语言多样性对翻译质量的非线性影响,并证明其通过形成语言无关表示提升性能。
2025-09-19 cs.CL
GR-SAP: Generative Replay for Safety Alignment Preservation during Fine-Tuning
GR-SAP通过生成领域特定对齐数据来保持微调过程中的安全对齐,有效缓解了微调导致的安全退化问题。
2026-08-26 cs.CL
Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models
Xi’an Jiaotong University(西安交通大学)
针对大语言模型上下文知识敏感度难以持续调控的问题,提出CSKS框架,通过两个小型代理模型的输出分布差偏移大模型分布,无需修改大模型权重即可灵活调控其对上下文知识的敏感度。
2025-08-30 cs.CL
Language-Aware Token Boosting: LLM Language Confusion Reduction Without Tuning
SCB DataX;Tsinghua University(清华大学);SCBX
提出无需微调的语言混淆减少方法,通过语言感知令牌增强(LATB)和自适应版本(Adaptive-LATB)对目标语言令牌施加扰动,有效提升多语言对齐并保持摘要质量。
2026-06-08 cs.CL
How Many Languages Make Good Multilingual Instruction Tuning? A Case Study on BLOOM
Technical University of Darmstadt(达姆施塔特工业大学);University of Helsinki(赫尔辛基大学);University of Edinburgh(爱丁堡大学)
该研究以BLOOM为对象开展多语言指令微调案例研究,探究语言数量、接触量、语际相似性对性能的影响,证实扩大语言覆盖有益,测试语言在训练集中可显著提效,且谱系特征比语言数量更影响跨语言迁移。
2024-12-09 cs.CL
Kad: A Framework for Proxy-based Test-time Alignment with Knapsack Approximation Deferral
Université Paris-Saclay, CNRS, LISN(巴黎-萨克雷大学、法国国家科学研究中心、计算机科学跨学科实验室);INSA Rennes, IRISA, CNRS, Université de Rennes(雷恩国立应用科学学院、布列塔尼大区信息科学与随机系统研究实验室、法国国家科学研究中心、雷恩大学)
Kad通过基于代理的测试时对齐方法,将令牌特定的延迟规则转化为0-1背包问题,从而降低对齐过程的计算成本,并提升任务性能和解码速度。
2026-01-24 cs.CL
Evaluation of Best-of-N Sampling Strategies for Language Model Alignment
Nara Institute of Science and Technology(奈良科学技术研究所);CyberAgent(CyberAgent公司);Advanced Telecommunications Research Institute International(国际电气通信基础技术研究所)
针对最佳N(BoN)采样的奖励黑客问题,本研究分析正则化策略影响,提出随机RBoN(SRBoN)和句子长度正则化BoN方法,通过AlpacaFarm等数据集实证验证其缓解奖励黑客、提升性能的效果。
2025-02-18 cs.CL
Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models
University of North Texas(北德克萨斯大学);Microsoft Research(微软研究院)
针对预训练语言模型存在社会偏见、现有去偏方法成本高且损害下游任务性能的问题,提出Gender-tuning方法,将MLM目标融入下游任务微调,在降低偏见的同时提升下游性能,且适用于各类支持微调的PLM。
2023-07-20 cs.CL
Adapting Pre-trained Language Models to African Languages via Multilingual Adaptive Fine-Tuning
Saarland University(萨尔兰大学)
多语言预训练的语言模型(PLM)在高资源和低资源语言的几个下游任务上表现出令人印象深刻的性能。然而,在预训练期间看不见的语言,特别是非洲语言,仍然存在很大的性能下降。适应新语言的最有效方法之一是\textit{language adaptive fine-tuning}(LAFT)--使用预训练目标在一种语言的单语文本上微调多语言PLM。然而,单独适应目标语言需要大量的磁盘空间,并限制了所得到的模型的跨语言迁移能力,因为它们是专门针对单一语言的。在本文中,我们执行\textit{multilingual adaptive fine-tuning}对17个资源最丰富的非洲语言和其他三个高资源的语言在非洲大陆广泛使用,以鼓励跨语言迁移学习。为了进一步专门化多语言PLM,我们在MAFT之前从嵌入层中删除了与非非洲书写脚本相对应的词汇标记,从而将模型大小减少了约50%。我们对两种多语言PLM(AfriBERTa和XLM-R)和三种NLP任务(NER,新闻主题分类和情感分类)的评估表明,我们的方法在单个语言上应用LAFT时具有竞争力,同时需要更少的磁盘空间。此外,我们表明,我们的适应PLM也提高了参数高效微调方法的zero-shot跨语言迁移能力。
2022-10-18 cs.CL
Role of Language Relatedness in Multilingual Fine-tuning of Language Models: A Case Study in Indo-Aryan Languages
IBM Research(IBM研究院);IIT Bombay(印度理工学院孟买分校)
我们探索了利用多语言微调在NLP模型中利用属于同一家族的语言的相关性的影响。我们假设并验证了预训练的语言模型的多语言微调可以在下游NLP应用程序上产生更好的性能,而不是在单个语言上微调的模型。第一种详细的研究,以跟踪性能变化的语言添加到一个基础语言的分级和贪婪(在这个意义上的最佳提升性能)的方式,这表明,仔细选择相关语言的子集可以显着提高性能比利用所有相关的语言。印度-雅利安(IA)语系被选为研究对象,确切的语言是孟加拉语,古吉拉特语,印地语,马拉地语,奥里亚语,旁遮普语和乌尔都语。通过将所有语言的文本简单地基于规则音译为梵文,可以跨越脚本障碍。实验在mBERT,IndicBERT,MuRIL和两个基于RoberTa的LM上进行,最后两个由我们预先训练。低资源语言,如奥里亚语和旁遮普语,被认为是多语言微调的最大受益者。文本蕴涵、实体分类、章节标题预测、IndicGLUE任务和词性标注构成了我们的测试平台。与单语微调相比,我们在下游任务中获得了高达150%的相对性能改善。令人惊讶的是,对于任何语言来说,都有其他语言的特定组合可以产生最佳性能,任何额外的语言实际上都是有害的。
2021-09-22 cs.CL
MLAN: Language-Based Instruction Tuning Preserves and Transfers Knowledge in Multimodal Language Models
Washington University in St. Louis(华盛顿大学圣路易斯分校);The University of British Columbia(不列颠哥伦比亚大学);Google Research(谷歌研究);Virginia Tech(弗吉尼亚理工大学);University of California, Davis(加州大学戴维斯分校);Sony AI(索尼人工智能);University of California, Berkeley(加州大学伯克利分校)
提出一种偏重文本的视觉指令微调策略,通过引入多样化纯文本数据建立知识库,在12个数据集上以一半训练token实现跨模态知识迁移并保持零样本性能。
2025-06-28 cs.CL
HyPe: Better Pre-trained Language Model Fine-tuning with Hidden Representation Perturbation
Alibaba DAMO Academy(阿里巴巴达摩院);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
HyPe通过扰动Transformer层隐藏表示来缓解预训练语言模型微调中的过拟合和表示坍缩问题,在GLUE等数据集上优于普通微调,且计算开销极小。
2023-05-11 cs.CL
Improving Text Embeddings for Smaller Language Models Using Contrastive Fine-tuning
Tsinghua University(清华大学)
本文针对较小语言模型嵌入质量不足的问题,对MiniCPM、Phi-2和Gemma在NLI数据集上进行对比微调,在多个基准上提升文本嵌入质量,其中MiniCPM平均性能提升56.33%。
2024-08-02 cs.CL
Data Selection for Fine-tuning Large Language Models Using Transferred Shapley Values
University of Virginia(弗吉尼亚大学)
针对Shapley值计算成本高难以用于大模型微调数据选择的问题,提出TS-DShapley算法,通过采样聚合和值迁移降低计算开销,在NLU基准上优于现有方法并提升模型性能。
2023-06-16 cs.CL
A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on Chinese Instruction Data for Instruction Following Large Language Model
Beike Inc.(贝壳公司)
本文以LLaMA为基座,在中文指令数据上对比全参数微调与LoRA微调,分析基座模型、数据规模、可学习参数量和训练成本对性能的影响,为中文大模型训练提供成本与性能权衡参考。
2023-04-18 cs.CL
Understanding the effects of language-specific class imbalance in multilingual fine-tuning
Idiap Research Institute(Idiap研究所)
本文研究多语言分类中标签跨语言分布不均对LLM微调的影响,提出按语言分别计算类别权重的方法,有效缓解了性能下降和语言分离加剧等问题。
2024-02-20 cs.CL
DSCC-HS: A Dynamic Self-Reinforcing Framework for Hallucination Suppression in Large Language Models
School of Computing and Technology(计算机学院);China University of Petroleum(中国石油大学);Qingdao(青岛)
提出DSCC-HS框架,通过FAP和HDP双代理在自回归解码时注入实时引导向量,无需修改目标模型即可主动抑制LLM幻觉,在TruthfulQA和BioGEN上达到SOTA。
2025-09-17 cs.AI cs.CL
PAL: Proxy-Guided Black-Box Attack on Large Language Models
UC Berkeley(加州大学伯克利分校);New York University(纽约大学)
本文提出PAL,首个在纯黑盒查询设置下基于优化的LLM攻击方法,利用代理模型和专为现实API设计的损失函数,在GPT-3.5-Turbo上实现84%攻击成功率,并提出了GCG++和RAL基线,助力LLM安全测试。
2024-02-15 cs.AI cs.CL cs.CR
Humanizing the Machine: Proxy Attacks to Mislead LLM Detectors
The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Nanjing University(南京大学);University of Virginia(弗吉尼亚大学);NEC Laboratories America(美国NEC实验室)
本研究提出一种基于强化学习微调拟人化SLM的代理攻击策略,可在白盒与黑盒设置下误导主流LLM检测器,大幅降低其AUROC,同时保留模型生成质量。
2025-02-22 cs.CL cs.CR cs.LG
Translation as a Scalable Proxy for Multilingual Evaluation
University of California, Los Angeles(加州大学洛杉矶分校);African Languages Lab(非洲语言实验室);Mila - Quebec AI Institute(魁北克人工智能研究所);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本研究通过评估翻译质量与多语言任务表现的关系,提出翻译作为多语言评估的可扩展代理,为模型评估提供低成本的初步筛选方法。
2026-01-16 cs.AI cs.CL
Training-Free Adaptation of New-Generation LLMs using Legacy Clinical Models
Stanford University(斯坦福大学);MemorialCare(纪念医疗中心)
本文提出CAPT方法,通过模型融合实现无需训练的临床模型与通用领域模型适应,提升临床任务性能,适用于计算资源有限的医疗机构。
2026-04-28 cs.AI cs.CL
Hallucinations in Bibliographic Recommendation: Citation Frequency as a Proxy for Training Data Redundancy
Meijo University(名古屋大学);RIKEN AIP(理化学研究所AIP)
本研究针对大语言模型在书目推荐中的论文幻觉问题,提出以引用频次作为训练数据冗余度代理指标,通过GPT-4.1实验验证了高被引论文幻觉率更低、被引超千次后近乎逐字记忆的结论,揭示了泛化到记忆的转变阈值。
2025-10-29 cs.AI cs.CL
ProxyLM: Predicting Language Model Performance on Multilingual Tasks via Proxy Models
University of Toronto(多伦多大学);Capital One(第一资本金融公司);Institut Teknologi Bandung(万隆理工学院);Ontario Tech University(安大略理工大学)
ProxyLM提出一种可扩展的任务和语言无关框架,利用代理模型预测语言模型性能,实现高达37.08倍加速,并在RMSE上超越现有最优方法至少1.78倍。
2024-12-16 cs.CL
PEFTT: Parameter-Efficient Fine-Tuning for low-resource Tibetan pre-trained language models
Tibet University(西藏大学);Collaborative Innovation Center for Tibet Informatization by MOE and Tibet Autonomous Region(教育部与西藏自治区藏文信息化协同创新中心);Engineering Research Center of Tibetan Information Technology, Ministry of Education(教育部藏文信息技术工程研究中心)
本文针对低资源藏语预训练语言模型,在 TNCC-title 数据集上比较提示微调、Adapter 轻量微调及其组合方法,验证了参数高效微调对藏语 NLP 任务的有效性。
2023-09-21 cs.AI cs.CL
Tutorials on Stance Detection using Pre-trained Language Models: Fine-tuning BERT and Prompting Large Language Models
本文介绍两个立场检测教程,分别讲解BERT微调与LLMs提示技术,通过实践代码与评估揭示few-shot ChatGPT和FLAN-T5优于微调BERT的优势。
2023-07-28 cs.AI cs.CL
Embedding Hallucination for Few-Shot Language Fine-tuning
Dartmouth College(达特茅斯学院);Northwestern University(西北大学)
Few-Shot语言学习者从预先训练的模型中调整知识,从少量标记的句子中识别新的类别。在这样的设置中,微调预训练的语言模型可能导致严重的过拟合。在本文中,我们提出了一种嵌入幻觉(EmbedHalluc)方法,该方法生成辅助嵌入标签对来扩展微调数据集。幻觉器是通过与神经网络进行对抗游戏来训练的,这样幻觉嵌入对微调数据集中的真实嵌入是不加区分的。通过使用扩展数据集进行训练,语言学习者可以有效地从各种幻觉嵌入中学习,以克服过度拟合问题。实验表明,我们提出的方法是有效的,在广泛的语言任务,优于目前的微调方法。此外,我们表明EmbedHalluc优于其他方法,解决这个过拟合问题,如常见的数据增强,半监督伪标签,和正则化。该守则将在https://github.com/yiren-jian/EmbedHalluc上提供。
2022-05-03 cs.AI cs.CL
Fine-tuning vs Prompting, Can Language Models Understand Human Values?
HKUST(香港科技大学)
本文探讨了微调与提示调优在人类价值检测任务中的效果,并验证了预训练知识与RLHF对齐的LLMs在该任务中的能力,展示了初步实验结果。
2024-03-12 cs.AI cs.CL
Prompt Tuning for Discriminative Pre-trained Language Models
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);National University of Singapore(新加坡国立大学);Tencent(腾讯)
最近的工作表明,在刺激预训练的语言模型(PLM)的自然语言处理(NLP)任务的提示微调有前途的结果。然而,据我们所知,现有的工作集中在预训练生成目标令牌,如BERT的自动调整生成PLM。目前还不清楚是否以及如何区分PLM,例如,ELECTRA,可以有效地调谐。在这项工作中,我们提出了DPT,歧视性PLM的第一个提示微调框架,它将NLP任务重新表述为歧视性语言建模问题。文本分类和问答的综合实验表明,与普通的微调相比,DPT的性能显著提高,同时也避免了在全集合和低资源环境下调优大型PLM时出现的不稳定问题。本文的源代码和实验细节可以从https://github.com/thunlp/DPT获得。
2022-05-23 cs.AI cs.CL
LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning
Institute of Computing and Intelligence, Harbin Institute of Technology(哈尔滨工业大学计算与智能学院);Peng Cheng Laboratory(鹏城实验室)
本文提出两阶段指令微调框架 LinguaLIFT,通过语言对齐层和语码转换微调,仅用英文数据将推理能力迁移至低资源语言,并构建覆盖48种语言的 MMWP 基准,实验表现优于多个基线。
2025-02-17 cs.AI cs.CL
Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
Hubei University(湖北大学)
本文针对Llama-2-7B,发现微调下注意力层级的ICL代理与实际行为分离,提出ICS指标,验证其需经行为差距验证才适合作为训练目标。
2026-09-02 cs.AI cs.CL cs.LG
User Perceptions vs. Proxy LLM Judges: Privacy and Helpfulness in LLM Responses to Privacy-Sensitive Scenarios
Fujitsu Research of America Inc.(富士通美国研究所);Carnegie Mellon University(卡内基梅隆大学)
研究发现用户对LLM响应的隐私和帮助性感知与代理LLM评判存在显著差异,需加强用户为中心的评估以提升隐私保护与实用性平衡。
2026-09-04 cs.AI cs.CL cs.HC
Robust Incomplete Multimodal Sentiment Analysis via Iterative Proxy Correction
Renmin University of China(中国人民大学);Anhui Polytechnic University(安徽工程大学)
针对不完整多模态情感分析中一次性代理初始化粗糙的问题,提出迭代代理修正框架,在MOSI等数据集上实现了优于基线的鲁棒情感预测。
2026-08-21 cs.CL
IntPro: Context-Aware Intent Inference via Selective Retrieval from User History
Fudan University(复旦大学);Lenovo Group Ltd(联想集团有限公司)
IntPro通过检索条件推理学习适应个体用户,提升基于情境的意图理解性能。
2026-11-10 cs.AI cs.CL cs.LG
Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景,对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Re-Tuning: Overcoming the Compositionality Limits of Large Language Models with Recursive Tuning
Washington University in St. Louis(圣路易斯华盛顿大学);UC Berkeley(加州大学伯克利分校)
本文提出 Re-Tuning 方法,通过递归调优使大模型分解并求解子问题,在整数加法、动态规划和奇偶校验任务上显著提升准确率并降低 GPU 内存开销。
2024-07-05 cs.AI cs.CL cs.LG
Reward Design with Language Models
Stanford University(斯坦福大学);DeepMind(深度思维)
强化学习(RL)中的奖励设计是具有挑战性的,因为通过奖励函数指定人类对期望行为的概念可能很困难,或者需要许多专家演示。我们能用自然语言界面来设计奖励吗?本文探讨了如何简化奖励设计,提示一个大语言模型(LLM),如GPT-3作为代理奖励功能,其中用户提供一个文本提示包含一些例子(Few-Shot)或描述(zero-shot)所需的行为。我们的方法在RL框架中利用了这个代理奖励函数。具体而言,用户在训练开始时指定一次提示。在训练期间,LLM根据提示所描述的期望行为来评估RL代理的行为,并输出相应的奖励信号。然后,RL代理使用此奖励来更新其行为。我们评估我们的方法是否可以训练代理与用户目标一致的最后通牒游戏,矩阵游戏,和DealOrNoDeal谈判任务。在所有三个任务中,我们表明,用我们的框架训练的RL代理与用户的目标保持一致,并且优于用通过监督学习学习的奖励函数训练的RL代理
2023-02-27 cs.AI cs.CL cs.LG
Multilingual Instruction Tuning With Just a Pinch of Multilinguality
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
本研究探究多语言大语言模型指令微调中的多语言数据作用,发现少量多语言样本即可显著提升跨语言指令遵循与泛化能力,为高效构建多语言指令微调模型提供新思路。
2024-05-21 cs.AI cs.CL cs.LG