语言大模型 / LLM

STELLA: Guiding Large Language Models for Time Series Forecasting with Semantic Abstractions

STELLA: 通过语义抽象引导大型语言模型进行时间序列预测

Junjie Fan, Hongye Zhao, Linduo Wei, Jiayu Rao, Guijia Li, Jiaxin Yuan, Wenqi Xu, Yong Qi

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 STELLA通过动态语义抽象机制，提升大型语言模型在时间序列预测中的表现，实现更精准的长期和短期预测。

Comments This work has been submitted to the IEEE for possible publication

EMMA-500: Enhancing Massively Multilingual Adaptation of Large Language Models

EMMA-500: 提升大规模多语言适应性的大语言模型

Shaoxiong Ji, Zihao Li, Jaakko Paavola, Peiqin Lin, Pinzhen Chen, Dayyán O'Brien, Hengyu Luo, Hinrich Schütze, Jörg Tiedemann, Barry Haddow

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 EMMA-500通过持续预训练提升多语言性能，尤其改善低资源语言的覆盖与跨语言迁移能力。

Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data

利用双语翻译数据进行大规模多语言大语言模型适应

Shaoxiong Ji, Zihao Li, Jaakko Paavola, Hengyu Luo, Jörg Tiedemann

专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 本文提出利用双语翻译数据提升大规模多语言大语言模型在500种语言上的适应性能，通过构建MaLA语料库和开发EMMA-500模型，验证了双语数据对语言迁移和低资源语言性能的积极影响。

Comments EMMA-500 Gen 2; refer to Gen 1 in arXiv:2409.17892

EgoDTM: Towards 3D-Aware Egocentric Video-Language Pretraining

EgoDTM: 向3D感知的自体视频-语言预训练迈进

Boshen Xu, Yuting Mei, Xinbi Liu, Sipeng Zheng, Qin Jin

机构 * AIM3 Lab, Renmin University of China（中国人民大学人工智能3实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 EgoDTM通过结合大规模3D感知视频预训练和视频-文本对比学习，提升视频-语言模型的3D感知能力，实现更丰富的空间理解。

Comments Code: https://github.com/xuboshen/EgoDTM

MANTRA: a Framework for Multi-stage Adaptive Noise TReAtment During Training

MANTRA: 一个用于训练期间多阶段自适应噪声处理的框架

Zixiao Zhao, Fatemeh H. Fard, Jie JW Wu

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Michigan Technological University（密歇根技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MANTRA通过多阶段自适应噪声处理框架提升代码预训练模型和LLMs在软件工程任务中的性能和鲁棒性。

Semi-Supervised Synthetic Data Generation with Fine-Grained Relevance Control for Short Video Search Relevance Modeling

半监督合成数据生成与细粒度相关性控制用于短视频搜索相关性建模

Haoran Li, Zhiming Su, Junyan Yao, Enwei Zhang, Yang Ji, Yan Chen, Kan Zhou, Chao Feng, Jiao Ran

专题命中 预训练与数据 ：SFT(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出一种半监督合成数据生成方法，通过细粒度相关性控制提升短视频搜索相关性建模效果，实验显示其在推荐系统中提升了CTR、SRR和IUPR

Comments Submitted to AAAI 2026

ChatGPT for President! Presupposed content in politicians versus GPT-generated texts

总统用ChatGPT！政治家与GPT生成文本中的预设内容

Davide Garassino, Nicola Brocca, Viviana Masia

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究分析ChatGPT生成文本与政治家演讲在预设使用上的差异，揭示其在政治话语中的潜在风险。

Comments 36 pages, 6 figures

ReasonX: MLLM-Guided Intrinsic Image Decomposition

ReasonX: 基于多模态大语言模型的内在图像分解

Alara Dirik, Tuanfeng Wang, Duygu Ceylan, Stefanos Zafeiriou, Anna Frühstück

机构 * Imperial College London（伦敦帝国学院） ； Adobe Research（Adobe研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 ReasonX通过多模态大语言模型提供相对比较监督，提升内在图像分解的泛化能力与精度。

OMTRA: A Multi-Task Generative Model for Structure-Based Drug Design

OMTRA: 一种基于结构的药物设计多任务生成模型

Ian Dunn, Liv Toft, Tyler Katz, Juhi Gupta, Riya Shah, Ramith Hettiarachchi, David R. Koes

机构 * Department of Computational and Systems Biology, School of Medicine, University of Pittsburgh（计算生物学系，医学院，匹兹堡大学） ； Ray and Stephanie Lane Computational Biology Department, School of Computer Science, Carnegie Mellon University（Ray和Stephanie Lane计算生物学系，计算机科学学院，卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 OMTRA是一种多任务生成模型，用于基于结构的药物设计，通过多模态流匹配模型实现多种相关任务的统一框架，提升了从头设计和对接性能。

Comments Presented at the Machine Learning for Structural Biology Workshop, 2025

Multimodal Markup Document Models for Graphic Design Completion

多模态标记文档模型用于图形设计完成

Kotaro Kikuchi, Ukyo Honda, Naoto Inoue, Mayu Otani, Edgar Simo-Serra, Kota Yamaguchi

机构 * Waseda University（早稻田大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 MarkupDM是一种多模态标记文档模型，通过统一处理图形设计任务，实现文本、图像和属性值的完成，展示了其在设计自动化中的广泛适用性。

Comments Accepted by ACM Multimedia 2025, Project page: https://cyberagentailab.github.io/MarkupDM/

Journal ref Proceedings of the 33rd ACM International Conference on Multimedia. 2025. p.11022-11031

MetaSynth: Multi-Agent Metadata Generation from Implicit Feedback in Black-Box Systems

MetaSynth: 从黑盒系统中的隐式反馈生成多智能体元数据

Shreeranjani Srirangamsridharan, Ali Abavisani, Reza Yousefi Maragheh, Ramin Giahi, Kai Zhao, Jason Cho, Sushant Kumar

专题命中 预训练与数据 ：LLM(abstract)

AI总结 MetaSynth通过多智能体检索增强生成框架，利用黑盒系统中的隐式反馈优化元数据生成，提升了CTR和点击率表现。

Comments IEEE Big Data 2025

Retrieval-Augmented Few-Shot Prompting Versus Fine-Tuning for Code Vulnerability Detection

检索增强的少样本提示与微调在代码漏洞检测中的比较

Fouad Trad, Ali Chehab

机构 * Electrical and Computer Engineering（电气与计算机工程） ； American University of Beirut（贝鲁特美国大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract,comments)；language model(abstract,comments)；分类 cs.CL、cs.AI

AI总结 本研究比较了检索增强的少样本提示与微调方法在代码漏洞检测中的性能，发现检索增强提示在效率和效果上均优于微调方法。

Comments Accepted in the 3rd International Conference on Foundation and Large Language Models (FLLM2025)

ClusterFusion: Hybrid Clustering with Embedding Guidance and LLM Adaptation

ClusterFusion: 嵌入引导的混合聚类与LLM适应

Yiming Xu, Yuan Yuan, Vijay Viswanathan, Graham Neubig

机构 * Adobe（Adobe公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ClusterFusion通过将LLM作为聚类核心，结合嵌入引导方法，实现领域知识与用户偏好的整合，提升文本聚类在标准任务和特定领域的性能。

UW-BioNLP at ChemoTimelines 2025: Thinking, Fine-Tuning, and Dictionary-Enhanced LLM Systems for Chemotherapy Timeline Extraction

UW-BioNLP在ChemoTimelines 2025中的表现：基于思考、微调和词典增强的LLM系统用于化疗时间线提取

Tianmai M. Zhang, Zhaoyi Sun, Sihang Zeng, Chenxi Li, Neil F. Abernethy, Barbara D. Lam, Fei Xia, Meliha Yetisgen

机构 * University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 UW-BioNLP通过思考、微调和词典增强LLM方法，在ChemoTimelines 2025中实现了最佳性能，提升了化疗时间线提取的准确性。

Comments To be published in Proceedings of the 7th Clinical Natural Language Processing Workshop

Let the Trial Begin: A Mock-Court Approach to Vulnerability Detection using LLM-Based Agents

开庭吧：一种基于大语言模型代理的漏洞检测方法

Ratnadira Widyasari, Martin Weyssow, Ivana Clairine Irsan, Han Wei Ang, Frank Liauw, Eng Lieh Ouh, Lwin Khin Shar, Hong Jin Kang, David Lo

机构 * School of Computing and Information Systems, Singapore Management University, Singapore（计算与信息系统学院，新加坡管理大学，新加坡） ； School of Computer Science, University of Sydney, Australia（计算机科学学院，悉尼大学，澳大利亚） 纠错

专题命中 指令微调 ：LLM(title,abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 VulTrial通过多代理框架利用大语言模型检测漏洞，显著提升检测效率并发现多个零日漏洞。

BioAnalyst: A Foundation Model for Biodiversity

BioAnalyst: 一种用于生物多样性的基础模型

Athanasios Trantas, Martino Mensio, Stylianos Stasinos, Sebastian Gribincea, Taimur Khan, Damian Podareanu, Aliene van der Veen

机构 * Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek – TNO（荷兰应用自然科学研究院 – TNO） ； Eindhoven University of Technology（埃因霍温理工大学） ； Amazon（亚马逊） ； University of Groningen（格罗宁根大学） ； Helmholtz Center for Environmental Research – UFZ（环境研究赫尔姆霍茨中心 – UFZ） ； SURF 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 BioAnalyst是一种针对生物多样性分析和保护规划的多模态基础模型，通过预训练和微调实现物种分布建模和生态预测。

ADAPT: Learning Task Mixtures for Budget-Constrained Instruction Tuning

ADAPT：为预算受限的指令微调学习任务混合

Pritam Kadasi, Abhishek Upperwal, Mayank SIngh

机构 * Lingo Research Group, Indian Institute of Technology Gandhinagar（林戈研究组，印度理工学院冈德hinagar分校） ； Soket AI（Soket人工智能） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.CL

AI总结 ADAPT通过学习任务采样比例优化预算受限的指令微调，提升下游任务性能并更高效地分配训练资源。

Comments Under Review

Semantic Mastery: Enhancing LLMs with Advanced Natural Language Understanding

语义 mastery：通过高级自然语言理解增强大语言模型

Mohanakrishnan Hariharan

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过高级自然语言理解技术提升大语言模型的语义理解和推理能力，探讨了知识图谱、检索增强生成和对比学习等方法在解决复杂NLP任务中的应用。

Fine-Tuning ChemBERTa for Predicting Inhibitory Activity Against TDP1 Using Deep Learning

利用深度学习微调ChemBERTa预测抑制TDP1的活性

Baichuan Zeng

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 利用深度学习微调ChemBERTa模型，实现从SMILES字符串准确预测TDP1抑制活性，提升药物发现效率。

Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation

Align$^2$LLaVA: 多模态指令编纂的级联人类与大语言模型偏好对齐

Hongzhe Huang, Jiang Liu, Zhewen Yu, Li Cai, Dian Jiao, Wenqiao Zhang, Siliang Tang, Juncheng Li, Hao Jiang, Haoyuan Li, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Alibaba（阿里巴巴） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 Align$^2$LLaVA通过级联人类与LLM偏好对齐方法，有效压缩多模态指令数据，提升模型性能。

Solving LLM Repetition Problem in Production: A Comprehensive Study of Multiple Solutions

在生产环境中解决大语言模型重复问题：对多种解决方案的综合研究

Weiwei Wang, Weijie Zou, Jiyong Min

机构 * Shenzhen Sunline Tech Co., Ltd（深圳Sunline科技有限公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文针对大语言模型在生产环境中重复问题，提出多种解决方案并验证其有效性，通过理论分析和实验评估，识别关键参数并提供实用的生产级方法。

On-Policy Optimization with Group Equivalent Preference for Multi-Programming Language Understanding

基于组等价偏好的多编程语言理解的在线优化

Haoyuan Wu, Rui Ming, Jilong Gao, Hangyu Zhao, Xueyi Chen, Yikai Yang, Haisheng Zheng, Zhuolun He, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； ChatEDA Tech（ChatEDA科技） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文提出OORL框架和GEPO方法，通过代码翻译任务提升LLMs对多编程语言代码功能的理解和跨语言关系的认知。

Multidimensional Rubric-oriented Reward Model Learning via Geometric Projection Reference Constraints

通过几何投影参考约束的多维评分导向奖励模型学习

Yongnan Jin, Xurui Li, Feng Cao, Liucun Gao, Juanjuan Yao

机构 * Shanghai Mingpin Medical Data Technology Co., Ltd.（上海明品医疗数据技术有限公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过几何投影参考约束的多维评分导向奖励模型学习，提升医疗领域大型语言模型的性能和对齐能力。

QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA

QA-LIGN：通过宪法分解的问答对对齐大语言模型

Jacob Dineen, Aswin RRV, Qin Liu, Zhikun Xu, Xiao Ye, Ming Shen, Zhaonan Li, Shijie Lu, Chitta Baral, Muhao Chen, Ben Zhou

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 QA-LIGN通过分解奖励信号提升LLM对齐效果，降低攻击成功率并保持低拒绝率，实现安全与帮助性的帕累托最优。

Comments Findings of the Association for Computational Linguistics: EMNLP 2025, pages 20619-20642, Suzhou, China

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 20619-20642, Suzhou, China, 2025

TTRV: Test-Time Reinforcement Learning for Vision Language Models

TTRV：用于视觉语言模型的测试时间强化学习

Akshit Singh, Shyam Marjit, Wei Lin, Paul Gavrikov, Serena Yeung-Levy, Hilde Kuehne, Rogerio Feris, Sivan Doveh, James Glass, M. Jehanzeb Mirza

机构 * IISc Bangalore（班加罗尔印度理工学院） ； JKU Linz（林茨约翰·凯撒大学） ； Stanford（斯坦福大学） ； Tübingen AI Center（图宾根人工智能中心） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； MIT CSAIL Project（麻省理工CSAIL项目） 纠错

专题命中 后训练与偏好优化 ：language model(title)

AI总结 TTRV通过测试时间强化学习提升视觉语言模型的识别和问答性能，无需标记数据，在多个任务中取得显著提升。

MMAG: Mixed Memory-Augmented Generation for Large Language Models Applications

MMAG：混合记忆增强生成用于大型语言模型应用

Stefano Zeppieri

机构 * Department of Computer Science, Sapienza University of Rome（罗马大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；language agent(abstract)

AI总结 MMAG通过整合五层记忆机制提升大型语言模型在对话中的连贯性、个性化和持续性，通过Heero代理验证其有效性，并探讨了存储、隐私等实施挑战。

Evaluating Long-Context Reasoning in LLM-Based WebAgents

评估基于大语言模型的WebAgent的长上下文推理能力

Andy Chung, Yichi Zhang, Kaixiang Lin, Aditya Rawal, Qiaozi Gao, Joyce Chai

机构 * University of Michigan（密歇根大学） ； Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文评估了基于大语言模型的WebAgent在长上下文场景中的推理能力，发现随着上下文长度增加，性能显著下降，提出隐式RAG方法以改进任务执行。

Comments Accepted NeurIPS 25 LAW Workshop

MemLoRA: Distilling Expert Adapters for On-Device Memory Systems

MemLoRA: 通过专家适配器实现设备端记忆系统

Massimo Bini, Ondrej Bohdal, Umberto Michieli, Zeynep Akata, Mete Ozay, Taha Ceritli

机构 * Samsung R&D Institute UK（三星英国研发中心） ； Technical University of Munich（慕尼黑技术大学） ； Helmholtz Munich（慕尼黑海德堡研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 MemLoRA通过为小型语言模型添加专用记忆适配器，实现设备端记忆系统的本地部署，并扩展至视觉理解任务，提升多模态场景下的性能。

EgoLCD: Egocentric Video Generation with Long Context Diffusion

EgoLCD：基于长上下文扩散的自体视频生成

Liuzhou Zhang, Jiarui Ye, Yuanlei Wang, Ming Zhong, Mingju Cao, Wanke Xia, Bowen Zeng, Zeyu Zhang, Hao Tang

机构 * Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） ； Chinese Academy of Sciences（中国科学院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)

AI总结 EgoLCD通过结合长时稀疏KV缓存和LoRA扩展的注意力机制，实现了高效稳定的自体长上下文视频生成，提升了感知质量和时间一致性。

Route-and-Reason: Scaling Large Language Model Reasoning with Reinforced Model Router

路由与推理：通过强化模型路由扩展大语言模型推理

Chenyang Shao, Xinyang Liu, Yutang Lin, Fengli Xu, Yong Li

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； BNRist, Tsinghua University（清华大学BNRist） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 R2-Reasoner通过强化模型路由器实现高效的大语言模型推理扩展，减少API成本并保持推理准确性。