作者
Natural Language Processing
单个冻结模拟器不够：多智能体强化学习中的模拟器崩溃问题
机构 * Northeastern University（东北大学） ； New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学）
AI总结 针对人机交互多智能体强化学习中单个LLM模拟器导致的策略泛化缺陷，提出Verbalized Sampling和Co-Training两种方案，在多轮基准测试和真实用户研究中显著提升了性能，发布了开源框架SCOPE。
Comments 42 pages, 29 figures
言语化采样：如何减轻模式坍塌并释放大语言模型的多样性
AI总结 研究发现偏好数据中的典型性偏差致大语言模型模式坍塌，引入言语化采样策略。该策略能促使模型说出响应概率分布，经实验验证可显著提升创意写作等多方面性能，为模式坍塌提供新视角及实用补救方法。
Comments 83 pages, 31 figures, 44 tables. Code is available at https://github.com/CHATS-lab/verbalize-sampling
Shepherd: 一个为元代理提供形式化执行迹的运行时基座
机构 * Northeastern University（东北大学） ； Stanford University（斯坦福大学）
AI总结 提出Shepherd，一个基于函数式编程的Python运行时基座，将代理执行作为一等对象，通过类似Git的执行迹支持元代理的检查、分叉和重放，在三个用例中显著提升性能。
Comments 50 pages, 22 figures, 14 tables
SecureForge：通过提示优化发现并防止LLM生成代码中的漏洞
机构 * Stanford University（斯坦福大学）
AI总结 本文提出SecureForge框架，通过自动化流程发现并减少LLM生成代码中的安全漏洞，提升代码安全性的同时保持单元测试性能，实验显示漏洞减少达48%。
人类与变换器语言模型：抽象驱动语言学习
机构 * Stanford University（斯坦福大学）
AI总结 研究比较变换器语言模型在训练过程中对语言类别的学习行为，发现抽象层面的行为早于词汇层面，揭示抽象对语言学习的重要性。
Comments EACL 2026
WebDS: 一种端到端的基于网络的数据科学基准
机构 * Stanford University（斯坦福大学） ； Pinetree Research（Pinetree研究公司） ； University of California, Berkeley（加州大学伯克利分校） ； Singapore University of Technology and Design（新加坡科技设计大学） ； University of Southern California（南加州大学）
AI总结 WebDS提出了一种端到端的基于网络的数据科学基准，旨在评估代理在复杂多步骤任务中的表现，揭示当前LLM在实际数据科学任务中的性能差距。
Comments 14 pages, ICLR 2026
DistillKac：通过阻尼波动方程实现少步图像生成
机构 * MIT（麻省理工学院） ； Stanford（斯坦福大学）
AI总结 DistillKac通过阻尼波动方程和随机Kac表示实现少步高质量图像生成，结合无分类指导和终点蒸馏方法，在保持数值稳定性的同时提升生成质量。
Comments Accepted to ICLR 2026
Thoughtbubbles: 一种用于潜在空间中并行思维的无监督方法
机构 * Department of Computer Science, Stanford University, Stanford, CA, United States（计算机科学系，斯坦福大学，斯坦福，CA，美国）
AI总结 Thoughtbubbles是一种通过预训练学习并行自适应计算的转换器变体，能够在潜在空间中实现更高效的计算，提升模型的推理性能和零样本评估表现。
更强的检索增强生成基线：长上下文语言模型
机构 * Stanford University（斯坦福大学）
AI总结 本文提出DOS RAG作为长上下文问答任务的强基线，通过保持文档结构和简单性，在多个基准上超越复杂方法。
Comments 11 pages, 6 figures, for associated source code, see https://github.com/alex-laitenberger/stronger-baselines-rag
Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025), pages 32559-32569
机制与结果：句法探测无法解释在定向句法评估上的表现
机构 * Stanford University（斯坦福大学）
AI总结 本文通过评估32个开放权重transformer模型，发现句法探测准确率无法预测定向句法评估表现，揭示了潜在句法表征与下游句法行为之间的显著脱节。
Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing
语言模型是否高效利用其深度？
机构 * Stanford University（斯坦福大学）
AI总结 该研究通过分析多款大语言模型的残差流，发现深层模型未利用深度开展新型计算，仅对残差做更细粒度调整，解释了堆叠Transformer架构规模扩大收益递减的现象。
Comments Accepted to NeurIPS 2025
油气广告框架与潜在绿色漂洗检测的多模态基准
机构 * Hitachi, Ltd.（日立公司） ； Stanford University（斯坦福大学） ； Centre for the Acceleration of Social Technology（社会技术加速中心） ； Princeton University（普林斯顿大学）
AI总结 该研究构建了一个多模态视频广告基准数据集，用于检测油气行业的绿色漂洗框架，并评估视觉-语言模型在13种框架类型上的表现，发现现有模型仍有较大提升空间。
Comments Forthcoming in NeurIPS 2025 Datasets and Benchmarks Track
转写、翻译或音译：口语语言模型中中间表示的研究
机构 * Stanford University（斯坦福大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
AI总结 本研究通过分析三个口语语言模型的模态适配器输出，发现其表示策略取决于语音编码器训练任务：Whisper编码器采用英语中间语言表示语义，而其他编码器用英语单词表示语音特征。
Comments ASRU 2025
Tversky神经网络：基于可微Tversky相似度的心理学合理深度学习
机构 * Department of Computer Science, 353 Jane Stanford Way（计算机科学系）
AI总结 本文提出一种可微的Tversky相似度参数化方法及Tversky投影层，通过实验证明其在图像和语言任务中优于线性层，为构建心理学合理且可解释的神经网络提供了新范式。
一双新的 GloVe
机构 * Stanford NLP Group（斯坦福大学NLP组） ； Stanford University（斯坦福大学）
AI总结 本文发布并评估基于 Wikipedia、Gigaword 与 Dolma 子集训练的2024年英语 GloVe 词向量，完善数据与预处理记录，并验证其在新词覆盖及时效性 NER 任务上的优势。
在单轮语言模型预训练中丢弃 Dropout
机构 * Stanford University（斯坦福大学）
AI总结 本文通过实验发现在BERT和Pythia等语言模型的单轮预训练中不使用Dropout能提升下游任务性能和模型可编辑性，提倡在单轮预训练中丢弃Dropout。
Comments Accepted to ACL Findings; 5 pages, 2 figures, 4 pages of appendix
语言模型表示引导的改进方法
机构 * Stanford University（斯坦福大学）
AI总结 提出无参考偏好引导（RePS），一种双向偏好优化目标，在Gemma模型上优于现有表示引导方法，缩小与提示引导的差距，并提升可解释性和鲁棒性。
Comments 46 pages, 23 figures, preprint
Osiris：一个轻量级开源幻觉检测系统
机构 * Stanford University（斯坦福大学） ； Stanford HAI（斯坦福HAI）
AI总结 本文提出轻量级开源幻觉检测系统Osiris，通过构建带诱导幻觉的扰动多跳问答数据集并微调7B模型，在RAGTruth基准上以更少参数超越GPT-4o的召回率，为RAG系统幻觉检测提供低成本可扩展方案。
Comments Stanford 191W
一个以推理为核心的法律检索基准
机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学）
AI总结 本文针对法律RAG系统缺乏现实基准的问题，提出Bar Exam QA和Housing Statute QA两个新基准，并通过实验表明法律RAG仍具挑战性，为未来研究提供方向。
Comments CS&Law 2025. For data, see https://reglab.github.io/legal-rag-benchmarks/
用于推理与工具使用的合成数据生成与多步强化学习
机构 * Department of Computer Science Stanford University（计算机科学系 斯坦福大学）
AI总结 针对大型语言模型在复杂推理与智能体任务中的多步交互需求，提出逐步强化学习（SWiRL）方法，通过迭代生成多步推理与工具使用数据并进行子轨迹分解、过滤与优化，显著提升了多步问答及数学推理任务的准确率，并展现出良好的跨任务泛化能力。
AuroraCap：高效、高性能的视频详细描述生成与新基准
机构 * University of Washington（华盛顿大学） ； Pika Labs（皮卡实验室） ； Stanford University（斯坦福大学） ； Harvard University（哈佛大学） ； New York University（纽约大学）
AI总结 本文提出基于大型多模态模型的视频描述器AuroraCap，通过token合并策略实现高效视频详细描述，并构建VDC基准及LLM辅助评估指标VDCscore，在多个基准上超越GPT-4V等模型。
Comments Accepted to ICLR 2025. Code, docs, weight, benchmark and training data are all avaliable at https://rese1f.github.io/aurora-web/
MrT5：用于高效字节级语言模型的动态Token合并
机构 * Stanford University（斯坦福大学）
AI总结 MrT5通过在ByT5编码器中引入动态token删除门机制，将已删除token的关键信息合并至紧凑序列中，在保持下游任务准确率的同时将序列长度减少高达75%，有效提升了字节级模型的推理效率。
h4rm3l：一种用于可组合越狱攻击合成的语言
机构 * Cranberry-Lemon University（蔓越莓柠檬大学） ； University of the Witwatersrand（金山大学）
AI总结 针对LLM安全评估中越狱攻击覆盖不足的问题，提出h4rm3l语言，以DSL形式化可组合攻击，结合bandit合成器生成多样化攻击，在6个SOTA模型上成功率超90%。
Comments Accepted to the Thirteenth International Conference on Learning Representations (ICLR 2025)
通过树正则化将句法悄悄引入Transformer语言模型
机构 * Stanford University（斯坦福大学）
AI总结 本研究提出TreeReg树正则化辅助损失，将银标句法结构转化为可微正交约束软性注入Transformer，无需改架构，能提升模型分布外性能、句法泛化能力与数据效率，对预训练LLM也有效。
Comments Accepted to NAACL 2025
AI 推动法律改革规模化：圣克拉拉县种族限制性契约的测绘与删改
机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学）
AI总结 本文与圣克拉拉县合作，利用微调的开源大语言模型高效检测房产契约中的种族限制性条款，大幅降低人工与成本，并揭示其历史分布与少数开发商的关键作用。
AxBench：引导LLM？即使是简单的基线也优于稀疏自编码器
机构 * Stanford University（斯坦福大学）
AI总结 本文提出AxBench基准，用于评估和比较语言模型的引导与概念检测技术，发现提示和简单基线方法优于稀疏自编码器，并引入了兼具竞争力和可解释性的ReFT-r1方法。
NNetNav：通过在真实环境中与环境交互实现浏览器智能体的无监督学习
机构 * Stanford University（斯坦福大学） ； ServiceNow Research（ServiceNow研究中心）
AI总结 NNetNav利用语言指令的层次结构进行无监督交互探索，通过追溯标注和自动剪枝生成训练演示，使微调后的LLama-3.1-8b在WebArena和WebVoyager上显著超越零样本GPT-4，达到无监督方法最优水平。
Comments Code, Data and Models available at https://www.nnetnav.dev
LawInstruct：研究语言模型适应法律领域的资源
机构 * Stanford University（斯坦福大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； the Moonshot Factory（Moonshot工厂） ； Princeton University（普林斯顿大学）
AI总结 本研究构建法律指令数据集LawInstruct，覆盖58个数据集、17个司法管辖区和1200万示例，通过法律指令微调Flan-T5生成FLawN-T5，在LegalBench上提升50%性能且不损害通用能力。
Comments Accepted at Findings of NAACL 2025
MoEUT：混合专家通用Transformer
机构 * Stanford University（斯坦福大学） ； Center for Brain Science, Harvard University（哈佛大学脑科学中心） ； The Swiss AI Lab IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室（隶属于瑞士意大利语区大学与瑞士南部应用科学大学）） ； AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能倡议）
AI总结 提出基于混合专家的共享层Transformer架构MoEUT，通过结合MoE进展与新型层归一化和分组方案，首次在BLiMP和PIQA等语言建模任务上以更少计算和内存略优于标准Transformers。
Comments Accepted to NeurIPS 2024
无需指令微调的指令遵循
机构 * Stanford University（斯坦福大学）
AI总结 本文提出隐式指令微调，发现仅在响应上训练或在窄领域数据上训练均可产生指令遵循，并假设对语言模型分布进行简单改变即可实现该能力。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈