arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 464 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 464 篇

2606.16497 2026-07-28 cs.LG cs.AI cs.CL 版本更新 88%

daVinci-kernel: Co-Evolving Skill Selection, Summarization, and Utilization via RL for GPU Kernel Optimization

daVinci-kernel:通过强化学习协同进化技能选择、总结与利用的GPU内核优化

Dayuan Fu, Mohan Jiang, Tongyu Wang, Dian Yang, Jiarui Hu, Liming Liu, Jinlong Hou, Pengfei Liu

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 指令微调 :LLM(summary_cn,abstract);SFT(abstract,abstract_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 提出daVinci-kernel框架,通过强化学习联合训练技能选择、策略生成和技能总结三个智能体,共享LLM骨干,实现GPU内核优化,在KernelBench上超越先前最优模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.16461 2026-07-21 cs.CV 版本更新 88%

GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models

GAP-MLLM:几何对齐预训练以激活多模态大语言模型中的3D空间感知

Jiaxin Zhang, Junjun Jiang, Haijie Li, Youyu Chen, Kui Jiang, Dave Zhenyu Chen

机构 * Harbin Institute of Technology(哈尔滨工业大学) School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院) Huawei(华为)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract)

AI总结 本文提出GAP-MLLM,通过几何对齐预训练激活多模态大语言模型中的3D空间感知,改进了传统方法在3D空间感知上的不足。

Comments Accepted by ECCV 2026. Project page: https://gapmllm.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.12262 2026-07-20 cs.CV 版本更新 88%

Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously

视频流思考:VideoLLMs可以同时观看和思考

Yiran Guan, Liang Yin, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology(华中科技大学) MiLM Plus Xiaomi Inc.(小米公司)

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 VST提出了一种视频流理解的新范式,通过在流式过程中激活推理,提高实时响应和理解能力,同时在多个基准测试中表现出更高的效率和泛化能力。

Comments Accepted by ECCV 2026, project page https://1ranguan.github.io/VST/

详情

展开后加载摘要…

URL PDF HTML 收藏
2406.07925 2026-07-07 cs.DC 版本更新 88%

FDLoRA: Personalized Federated Learning of Large Language Model via Dual LoRA Tuning

FDLoRA:通过双LoRA调整实现大语言模型的个性化联邦学习

Yao Lu, Jiaxing QI, Zhongzhi Luan, Shaohan Huang, Carol Fung, Hailong Yang, Depei Qian

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract)

AI总结 针对单个用户训练大语言模型资源需求高的挑战,提出FDLoRA框架,采用双LoRA调整,在客户端分别捕捉个性化和全局知识,仅全局模块上传参数,经自适应融合提升性能,降低通信和计算成本。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23783 2026-06-08 cs.CY 版本更新 88%

Benchmarking LLMs for Community Governance Simulation with Life-history Narratives

用生命历程叙事对社区治理模拟中的大语言模型进行基准测试

Xu Chen, Yuanzi Li, Lei Wang, Nan Lu, Yang Wang, Anding Wang, Lei Shi, Xiaoxing Fu, Ji-Rong Wen

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 针对社区治理中居民个体模拟需求,提出包含数据集、基准测试、算法和系统的框架,通过丰富生命历程叙事提升LLM模拟保真度,并设计curriculum-LoRA算法在降低调用成本的同时保持高保真度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17450 2026-08-13 cs.IR cs.AI 版本更新 87%

VLM2Rec: Resolving Modality Collapse in Vision-Language Model Embedders for Multimodal Sequential Recommendation

VLM2Rec: 解决视觉语言模型嵌入器在多模态序列推荐中的模态崩溃问题

Junyoung Kim, Woojoo Kim, Wonbin Kweon, Jaehyung Lim, Dongha Kim, Hwanjo Yu

机构 * Pohang University of Science

专题命中 指令微调 :language model(title,abstract);SFT(abstract,abstract_cn);large language model(abstract);分类 cs.AI

AI总结 本文提出VLM2Rec框架,通过弱模态惩罚对比学习和跨模态关系拓扑正则化,解决多模态序列推荐中模态崩溃问题,提升推荐准确性和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04412 2026-08-11 cs.AI 版本更新 87%

LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

大语言模型作为导师:不可验证强化学习中的策略感知提示适应

Yujin Kim, Namgyu Ho, Sangmin Hwang, Joonkee Kim, Yongjin Yang, Sangmin Bae, Seungone Kim, Jaehun Jung, Se-Young Yun, Hwanjun Song

机构 * KAIST(韩国科学技术院) Upstage University of Toronto(多伦多大学) Carnegie Mellon University(卡内基梅隆大学) NVIDIA(英伟达)

专题命中 指令微调 :LLM(title,summary_cn);分类 cs.AI

AI总结 针对不可验证强化学习中训练提示静态导致的问题,提出LLM-as-a-Tutor框架,让大语言模型从评判扩展为导师,通过对比策略展开检测无挑战性提示并添加约束,提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18232 2026-07-23 cs.CL 版本更新 87%

It's Not What You Say, It's How You Say It: Evaluating LLM Responses to Expressions of Belief

重要的不是你说了什么,而是你怎么说:评估大语言模型对信念表达的回应

Kevin Du, Clara Kümpel, Michelle Wastl, Alex Warstadt

机构 * ETH Zürich(苏黎世联邦理工学院) University of Zurich(苏黎世大学) UC San Diego(加州大学圣地亚哥分校)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究用户信念表达形式对大语言模型的影响,引入基于语言维度的类型学,生成可控查询对,评估不同架构、规模和训练阶段的16个LLMs,发现响应行为差异及能显著说服模型的特定信念表达,揭示语言框架对模型情境整合的影响。

Comments Published at ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14530 2026-07-17 cs.LG 版本更新 87%

Code Correctness Is Linearly Decodable from LLM Hidden States Before Generation

LLM隐藏状态中的代码正确性信号:生成前探测与修复几何

Carlo Di Cicco

机构 * Independent researcher(独立研究员)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文通过残差化方法,发现Qwen3-4B-Instruct模型在生成前隐藏状态可线性解码代码正确性(AUC 0.931),但修复成功的方向性信号在控制上下文协变量后消失,揭示了方法学上的正负结果。

Comments 7 pages, 4 tables. Code, data, and analysis scripts available at https://github.com/CarloDiCicco/ReasoningLab

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.24787 2026-07-15 cs.AI 版本更新 87%

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

ReLope:KL正则化的LoRA探针用于多模态大语言模型路由

Yaopei Zeng, Congchao Wang, Blake JianHang Chen, Lu Lin

机构 * Pennsylvania State University(宾夕法尼亚州立大学) Amazon AGI(亚马逊AGI) Google(谷歌)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对多模态大语言模型路由中探针性能下降问题,提出Attention Probe和KL正则化的LoRA探针ReLope,通过改进隐藏状态质量提升路由效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.12682 2026-07-15 cs.LG 版本更新 87%

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

RAFP:通过稀有区域指纹识别大语言模型谱系

Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

机构 * Department of Computer Science, Columbia University, USA(哥伦比亚大学计算机科学系) Meta, USA(Meta公司)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 针对大语言模型所有权验证需求,提出RAFP框架,利用稀有区域指纹识别模型谱系。该方法非侵入性,通过离散梯度优化构建指纹,理论分析表明其在微调下似然变化有界,实验显示在黑盒设置中性能优于基线。

Comments 16 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.09448 2026-07-07 cs.SD cs.AI 版本更新 87%

One Prompt, Many Sounds: Modeling Listener Variability in LLM-Based Equalization

一个提示,多种声音:在基于大语言模型的均衡中建模听众差异

Ioannis Stylianou, Jon Francombe, Pablo Martinez-Nuevo, Sven Ewan Shepstone, Zheng-Hua Tan

机构 * Bang & Olufsen A/S, Struer, Denmark(丹麦Bang & Olufsen A/S公司,Struer) Department of Electronic Systems, Aalborg University(奥胡斯大学电子系统系) Pioneer Centre for AI, Copenhagen, Denmark(哥本哈根先锋人工智能中心)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出利用大语言模型将自然语言提示映射到均衡设置,通过上下文学习和参数高效微调技术,实现更灵活的音频均衡控制。

Comments 13 pages, 15 figures, 2 tables, Accepted for publication in the IEEE Journal of Selected Topics in Signal Processing

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17289 2026-07-02 cs.LG 版本更新 87%

REALM: Reliable Expertise-Aware Language Model Fine-Tuning from Noisy Annotations

REALM:从嘈杂标注中可靠地进行语言模型微调

Sajjad Ghiasvand, Mark Beliaev, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * Department of Electrical and Computer Engineering(电气与计算机工程系)

专题命中 指令微调 :language model(title,abstract);SFT(abstract,abstract_cn);large language model(abstract);分类 cs.LG

AI总结 REALM通过无监督学习同时学习模型参数和标注者专业能力评分,提升在噪声标注下的微调效果,实验显示其在多种任务和数据集上均优于传统方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19364 2026-08-12 cs.AI cs.CL 版本更新 87%

SAE-StatSteer: Statistical Consensus Feature Selection for Optimization-Free Activation Steering of Large Language Models

用于大语言模型激活空间控制的基于统计的稀疏特征干预

Oshayer Siddique, J. M Areeb Uzair Alam, Md Jobayer Rahman Rafy, Syed Rifat Raiyan, Hasan Mahmud, Md Kamrul Hasan

机构 * Islamic University of Technology(伊斯兰科技大学) Systems and Software Lab (SSL)(系统与软件实验室)

专题命中 指令微调 :large language model(title);language model(title);LLM(abstract);分类 cs.CL、cs.AI

AI总结 研究大语言模型激活空间控制问题时,提出基于统计的稀疏特征干预方法,先经可靠性过滤,再用三个统计量排序特征,构建引导方向。在多模型、领域和配置上实验,发现该方法有特定领域转移效果,且引导受多种因素影响,强调评估应兼顾质量与行为转移。

Comments Under review, 26 pages, 5 figures, 16 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06160 2026-08-04 cs.CL cs.AI 版本更新 87%

LongCrafter: Towards Diverse Long-Context Understanding via Evidence-Graph-Guided Instruction Synthesis

LongCrafter:通过证据图引导的指令合成实现多样化的长上下文理解

Chenhao Yuan, Yinhao Xu, Shuwen Xu, Xizhi Yang, Jiaxiang Liu, Chenxi Zhou, Shaoping Huang, Haolin Ren, Pengfei Cao, Jun Zhao, Kang Liu

机构 * University of Chinese Academy of Sciences(中国科学院大学) The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所认知与决策智能复杂系统重点实验室)

专题命中 指令微调 :SFT(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 针对现有长上下文理解方法的局限,提出LongCrafter框架,结合分层任务分类法与证据管道,生成多样化长上下文SFT数据,微调后的模型在多个数据集上表现优异,能有效缓解“中间迷失”问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13627 2026-08-04 cs.LG cs.CL 版本更新 87%

(How) Learning Rates Regulate Catastrophic Overtraining

(如何) 学习率调节灾难性过训练

Mark Rofin, Aditya Varre, Nicolas Flammarion

机构 * EPFL(瑞士联邦理工学院)

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);pretraining(abstract);post-training(abstract)

AI总结 研究通过隐式正则化分析学习率对微调中灾难性遗忘的影响,发现学习率大小影响模型收敛方向,并揭示学习率衰减加剧预训练模型尖锐性从而导致灾难性过训练。

Comments COLM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.18874 2026-06-29 cs.LG cs.CL 版本更新 87%

Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

在做中保留:在线策略数据在缓解遗忘中的作用

Howard Chen, Noam Razin, Karthik Narasimhan, Danqi Chen

专题命中 指令微调 :SFT(summary_cn,abstract);language model(abstract);post-training(abstract);分类 cs.CL、cs.LG

AI总结 本文系统比较了监督微调(SFT)和强化学习(RL)在语言模型后训练中的遗忘模式,发现RL因使用在线策略数据而更少遗忘,并验证了在线策略数据是缓解遗忘的关键因素。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.07082 2026-06-16 cs.LG cs.AI 版本更新 87%

On the Geometry of On-Policy Distillation

论在线策略蒸馏的几何结构

Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

机构 * HKUST(香港科技大学) UT Austin(得克萨斯大学奥斯汀分校) Zhejiang University(浙江大学) Hong Kong PolyU(香港理工大学) USTC(中国科学技术大学) BUPT(北京邮电大学) Nankai University(南开大学) BIT(北京理工大学)

专题命中 指令微调 :SFT(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文通过参数空间诊断,揭示在线策略蒸馏(OPD)的更新轨迹具有松弛离主成分、子空间锁定等独特几何特性,表明其并非介于SFT和RLVR之间的中间方法。

Comments 17 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.09737 2026-06-15 cs.LG cs.AI 版本更新 87%

STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction

STaR-DRO: 面向群体鲁棒结构化预测的状态化Tsallis重加权

Samah Fodeh, Ganesh Puthiaraju, Elyas Irankhah, Afshan Khan, Sreeraj Ramachandran, Linhai Ma, Srivani Talakokkul, Sarah Schellhorn

机构 * Yale University(耶鲁大学) Yale School of Medicine(耶鲁医学院)

专题命中 指令微调 :SFT(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 提出STaR-DRO框架,结合Tsallis镜像上升和稀疏entmax映射,仅对持续困难群体上权重,在结构化预测中提升标签准确性和鲁棒性,在EPPC Miner任务上相比SFT和标准DRO分别提升F1分数1.08和2.20。

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.12147 2026-08-18 cs.CL cs.AI cs.LG 版本更新 87%

Improving Influence-based Instruction Tuning Data Selection for Balanced Learning of Diverse Capabilities

改进基于影响力的指令调优数据选择以实现多样化能力的均衡学习

Qirun Dai, Dylan Zhang, Jiaqi W. Ma, Hao Peng

专题命中 指令微调 :instruction tuning(title);LLM(abstract_cn);large language model(abstract);language model(abstract)

AI总结 该研究针对基于影响力的指令调优数据选择的任务偏向问题,提出BIDS算法,经实验验证其在小比例数据下可实现更均衡性能且优于现有方法。

Comments Accepted to EMNLP 2025 (Findings)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06027 2026-08-13 cs.AI cs.CL cs.LG cs.SI 版本更新 87%

RedditPersona: A Modular Framework for Community-Conditioned LLM Adaptation from Reddit

RedditPersona: 一个用于从Reddit进行社区条件化LLM适配的模块化框架

Amirhossein Ghaffari, Ali Goodarzi, Huong Nguyen, Simo Hosio, Lauri Lovén, Ekaterina Gilman

机构 * Future Computing Group University of Oulu(未来计算组奥卢大学) Centre for Applied Computing University of Oulu(应用计算中心奥卢大学)

专题命中 指令微调 :LLM(title,title_cn);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出RedditPersona模块化框架,通过五种分组策略和QLoRA训练参数高效适配器,在112个Reddit子版块上评估社区条件化语言模型,发现适配器的行为可识别性与策略内在一致性相关,且所有策略在可识别性和分布相似性之间存在一致权衡。

Comments Accepted manuscript (CC BY 4.0). To appear in ACM CIKM 2026, Rome, Italy, Nov 7-11, 2026. DOI: https://doi.org/10.1145/3799682.3840182

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11528 2026-08-06 cs.CE 版本更新 87%

HermesHFL: Incentive-Compatible Hierarchical Federated Unlearning for Dynamic LLM Fine-Tuning

HermesHFL:用于动态大语言模型微调的激励兼容分层联邦遗忘

Chenxi Sun, Minghui Liwang, Wusi He, Yuhan Su, Zhang Liu, Sai Zou, Wei Ni, Seyyedali Hosseinalipour

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract)

AI总结 针对大语言模型微调中分层联邦遗忘面临的挑战,提出HermesHFL框架,通过参数高效微调支持选择性遗忘等。制定统一优化问题,开发Neogen框架解决,实验表明该框架在模型效用等多方面优于现有基线。

Comments 15pages,8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.05080 2026-07-28 q-fin.TR 版本更新 87%

MM-ARC: Multimodal Adaptive Routing of Capital with Robustness-Audited Strategy Pools

MM-ARC:具有稳健性审核策略池的资本多模态自适应路由

Yang Chen, Yuchen Cao, Jacky Keung, Leilei Gan, Kun Kuang, Yueheng Jiang, Zhaozhao Ma, Jianping Zhu, Fei Wu, Jinpeng Li

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);SFT(abstract)

AI总结 研究金融交易系统如何转化多模态市场历史,提出MM-ARC方法,通过多视图在不同专家间分配资本,经稳健性审核筛选候选方案,实验显示该方法在夏普比率和最大回撤等指标上优于基线,有相对基准的支持。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.06941 2026-07-07 cs.LG cs.AI cs.CL 版本更新 87%

Endogenous Resistance to Activation Steering in Language Models

语言模型中激活引导的内生抵抗

Alex McKenzie, Keenan Pepper, Stijn Servaes, Martin Leitgab, Murat Cubuktepe, Mike Vaiana, Diogo de Lucena, Judd Rosenblatt, Michael S. A. Graziano

机构 * University of Washington(华盛顿大学)

专题命中 指令微调 :language model(title,abstract);large language model(abstract);prompting(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现大型语言模型在任务不匹配的激活引导下能内生抵抗,通过显式重启恢复正确生成,并识别出相关稀疏自编码器潜在变量,可增强或削弱该抵抗。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.27999 2026-07-03 cs.CV 版本更新 87%

CLIP-AUTT: Test-Time Personalization with Action Unit Prompting for Fine-Grained Video Emotion Recognition

CLIP-AUTT: 基于动作单元提示的测试时个性化方法用于细粒度视频情绪识别

Muhammad Osama Zeeshan, Masoumeh Sharafi, Benoit Savary, Alessandro Lameiras Koerich, Marco Pedersoli, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal(LIVIA, ILLS, 系统工程学院, 蒙特利尔高等技术学院) LIVIA, Dept. of Software and IT Engineering, ETS Montreal(LIVIA, 软件与IT工程学院, 蒙特利尔高等技术学院) Dept. of Computer Science, École Polytechnique(计算机科学系, 巴黎综合理工学院)

专题命中 指令微调 :prompting(title);LLM(abstract,abstract_cn);language model(abstract);pretraining(abstract)

AI总结 本文提出CLIP-AUTT,通过动作单元提示实现测试时个性化,提升细粒度视频情绪识别的鲁棒性和个性化能力。

Comments ECCV, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17566 2026-08-20 cs.CL 版本更新 86%

KA2L: A Knowledge-Aware Active Learning Framework for LLMs

KA2L:一种面向大语言模型的基于知识的主动学习框架

Haoxuan Yin, Chen Tang, Yangfan Wang, Lian Yan, Jingchi Jiang

机构 * Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院) Institute for Advanced Algorithms Research(先进算法研究所) National Key Laboratory of Smart Farm Technologies(智能农业技术与系统国家重点实验室)

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出KA2L框架,通过分析潜在空间评估LLM对特定知识的掌握程度,生成未知问题以提升模型能力,实验表明该方法能有效降低标注和计算成本,并在多个数据集上取得更好性能。

Comments 17 pages, 3 figures. Published in Expert Systems with Applications 333 (2027) 133951

Journal ref Expert Systems with Applications 333 (2027) 133951

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.19337 2026-07-24 cs.CL cs.CV 版本更新 86%

Token-Level Entropy Reveals Demographic Disparities in Large Language Models

Token级熵揭示语言模型中的群体统计差异

Messi H. J. Lee

机构 * Independent Researcher(独立研究者)

专题命中 指令微调 :language model(title,abstract);large language model(title);分类 cs.CL

AI总结 通过测量零温度下全词汇香农熵,发现黑裔名字比白裔名字产生更高的首token熵,且女性名字比男性名字产生更低的熵和更同质的输出,种族和性别效应可加,指令微调未减弱种族差距,显式群体标签探测无显著种族效应。

Comments 25 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.10848 2026-07-21 cs.CL 版本更新 86%

Psyche-R1: Towards Reliable Psychological LLMs through Unified Empathy, Expertise, and Reasoning

Psyche-R1:通过统一的同理心、专业知识和推理实现可靠的心理语言模型

Chongyuan Dai, Jinpeng Hu, Hongchang Shi, Zhuo Li, Dan Guo, Xun Yang, Meng Wang

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 研究旨在将大语言模型应用于心理领域,提出Psyche-R1模型。通过设计数据合成管道生成大量心理问题及对话,采用混合训练策略,经实验验证该模型在多个心理基准测试中有效,7B的Psyche-R1能取得与671B的DeepSeek-R1相当的结果。

Comments ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.07961 2026-07-07 cs.LG cs.CR cs.NI 版本更新 86%

Graph Representation Learning Augmented Model Manipulation on Federated Fine-Tuning of LLMs

图表示学习增强的模型操纵在联邦微调大型语言模型中的应用

Hanlin Cai, Kai Li, Houtianfu Wang, Haofan Dong, Yichen Li, Falko Dressler, Ozgur B. Akan

机构 * Centre for neXt Communications (CXC), Department of Engineering, University of Cambridge(下一代通讯中心(CXC),工程系,剑桥大学) Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(安全、可靠与信任跨学科中心(SnT),卢森堡大学) Telecommunication Networks group (TKN) at the School of Electrical Engineering and Computer Science, TU Berlin(电信网络组(TKN)位于电气工程与计算机科学学院,柏林技术大学) Center for neXt-Generation Communications (CXC), Department of Electrical and Electronics Engineering, Koç University(下一代通讯中心(CXC),电子与电气工程系,科克大学)

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出AugMP策略,通过图表示学习框架和迭代操纵算法,增强对抗性更新的有效性和隐蔽性,实验表明其能显著降低全局LLM准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.10827 2026-06-18 cs.SD cs.AI 版本更新 86%

Speaker Verification with Speech-Aware LLMs: Evaluation and Augmentation

语音感知大语言模型的说话人验证:评估与增强

Thomas Thebaud, Yuzhe Wang, Laureano Moro-Velazquez, Jesus Villalba-Lopez, Najim Dehak

机构 * Electrical and Computer Engineering Department, Johns Hopkins University, Baltimore, MD, USA(约翰霍普金斯大学电气与计算机工程系) Human Language Technology Center of Excellence, Johns Hopkins University, Baltimore, MD, USA(约翰霍普金斯大学人机语言技术中心卓越中心)

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出模型无关的评分协议评估语音感知LLM的说话人区分能力(EER>20%),并通过注入冻结的ECAPA-TDNN说话人嵌入和LoRA微调,实现接近专用系统的性能(EER 1.03%)。

Comments 3 Tables, 1 Figure, Published in Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏