语言大模型 / LLM

Protein language model rescue mutations highlight variant effects and structure in clinically relevant genes

Onuralp Soylemez, Pablo Cordero

专题命中 领域大模型 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

Comments NeurIPS 2022, Workshop on Learning Meaningful Representations of Life

Branch-Train-Merge: Embarrassingly Parallel Training of Expert Language Models

Margaret Li, Suchin Gururangan, Tim Dettmers, Mike Lewis, Tim Althoff, Noah A. Smith, Luke Zettlemoyer

专题命中 领域大模型 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement

Yuting Yang, Pei Huang, Juan Cao, Jintao Li, Yun Lin, Jin Song Dong, Feifei Ma, Jian Zhang

专题命中 领域大模型 ：prompting(title,abstract)；language model(abstract)；分类 cs.CL

LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language Model Pre-Training

Benjamin Clavié, Akshita Gheewala, Paul Briton, Marc Alphonsus, Rym Laabiyad, Francesco Piccoli

专题命中 领域大模型 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Multilingual Language Models Predict Human Reading Behavior

Nora Hollenstein, Federico Pirovano, Ce Zhang, Lena Jäger, Lisa Beinborn

专题命中 领域大模型 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Comments accepted at NAACL 2021

Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model

Juntao Li, Ruidan He, Hai Ye, Hwee Tou Ng, Lidong Bing, Rui Yan

专题命中 领域大模型 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Journal ref IJCAI-PRICAI2020

An Empirical Investigation Towards Efficient Multi-Domain Language Model Pre-training

Kristjan Arumae, Qing Sun, Parminder Bhatia

专题命中 领域大模型 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Comments arXiv admin note: text overlap with arXiv:2004.03794

Comparative Study of Language Models on Cross-Domain Data with Model Agnostic Explainability

Mayank Chhipa, Hrushikesh Mahesh Vazurkar, Abhijeet Kumar, Mridul Mishra

专题命中 领域大模型 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments 6 pages Source code at https://github.com/fidelity/classitransformers PyPi https://pypi.org/project/classitransformers/

FinBERT: A Pretrained Language Model for Financial Communications

Yi Yang, Mark Christopher Siy UY, Allen Huang

专题命中 领域大模型 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments https://github.com/yya518/FinBERT

Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA

Nina Poerner, Ulli Waltinger, Hinrich Schütze

专题命中 领域大模型 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

SciBERT: A Pretrained Language Model for Scientific Text

Iz Beltagy, Kyle Lo, Arman Cohan

专题命中 领域大模型 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments https://github.com/allenai/scibert

Journal ref EMNLP 2019

Portability of Syntactic Structure for Language Modeling

Ciprian Chelba

专题命中 领域大模型 ：language model(title,abstract)；SLM(abstract)；分类 cs.CL

Comments ICASSP 2001, Salt Lake City; 4 pages

Journal ref ICASSP 2001 Proceedings

Rethinking Transfer Learning for Industrial Inspection: DINOv3 vs. ImageNet Pretraining Across RGB and X-ray Tasks

重新思考工业检测的迁移学习：DINOv3与ImageNet预训练在RGB和X射线任务上的对比

Mehdi Gharbage, Céline Teulière, Pierre Bouges, Thierry Chateau

机构 * Michelin Tyres Manufacturer（米其林轮胎制造商） ； Université Clermont Auvergne, CNRS, Institut Pascal（克莱蒙特-奥弗涅大学，CNRS，帕西尔研究所） 纠错

专题命中 领域大模型 ：pretraining(title,abstract)；foundation model(abstract,comments)

AI总结 本研究通过对比ConvNeXt骨干网络在监督ImageNet分类和DINOv3蒸馏预训练下的表现，评估了现代自监督预训练在工业视觉检测中的有效性，发现DINOv3在RGB任务微调后表现更优，但在X射线模态下监督预训练仍更有效。

Comments Accepted to the CVPR 2026 Workshop on Vision Foundation Models for Industrial Inspection (VISION'26)

Evaluating Text-to-Speech Synthesis from a Large Discrete Token-based Speech Language Model

Siyang Wang, Éva Székely

专题命中 领域大模型 ：language model(title,abstract)；SLM(abstract,comments)

Comments 11 pages, 4 figures. Language Resources and Evaluation Conference (LREC) 2024. demo: https://swatsw.github.io/lrec24_eval_slm/

Inhibitory Attention for Clinical Long-Context Reasoning: Characterizing and Mitigating Lost-in-the-Middle Effects in EHR Processing

用于临床长上下文推理的抑制注意力：电子病历处理中中间信息丢失效应的表征与缓解

Sanjay Basu

机构 * University of California San Francisco（加利福尼亚大学旧金山分校） ； Waymark（韦马克公司） 纠错

专题命中 领域大模型 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对电子病历处理中的临床中间信息丢失问题，提出查询条件化临床抑制方法，经实验验证其在中间位置指令及整体任务上的表现均优于多种基线检索与重排序方法。

Comments 29 pages, 5 figures. Code: this https URL (https://github.com/sanjaybasu/inhibitory-attention-ehr)

RouteScan: A Non-Intrusive Approach to Auditing MoE LLMs Safety via Expert Routing Telemetry

RouteScan: 通过专家路由遥测对MoE大语言模型安全性进行非侵入式审计

Bo Lv, Zhiheng Xu, KeDong Xiu, Ruyi Ding, Tianhang Zheng, Zhibo Wang, Kui Ren

机构 * Zhejiang University（浙江大学） ； Donghua University（东华大学） ； Louisiana State University（路易斯安那州立大学） 纠错

专题命中 领域大模型 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出RouteScan，一种利用MoE模型GPU级专家路由遥测（如预填充阶段活跃线程数）作为微架构指纹，通过轻量级检测流水线识别恶意提示的非侵入式审计框架，在未见过的有害领域AUROC超0.93，新越狱包装下超0.96，且相比基于内容的审计方法具有隐私优势。

Comments 11 pages. Revised manuscript with expanded experiments

RAG-Based Auto-Configuration for Industrial Fieldbus Devices

基于检索增强生成（RAG）的工业现场总线设备自动配置

Aadil Gani Ganie, Saad Ezzini, Naveed Farooz Marazi

专题命中 领域大模型 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 针对工业现场总线设备手动配置的低效易错问题，提出SysName流水线，结合RAG、本地LLM与两级弃权门控，在多协议设备配置任务中实现高效高准确率的端到端自动化，经基准测试与案例验证效果优异。

Beyond Tables: Doc2DB-Bench for Relationally Faithful Document-to-Database Construction

超越表格：用于关系忠实的文档到数据库构建的Doc2DB-Bench

Zhuowen Liang, Zhengxuan Zhang, Jiayang Wang, Jiazhuo Chen, Nan Tang

专题命中 领域大模型 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对现有文档到表格基准无法适配关系数据库构建需求的问题，推出Doc2DB-Bench基准，含多领域长文档实例，为基于LLM的可靠数据系统提供测试平台。

Comments 24 pages, 13 figures, 7 tables

Routesplain: Towards Faithful and Intervenable Routing for Software-related Tasks

Routesplain：面向软件相关任务的可信赖且可干预的路由方法

Adam Štorek, Vikas Upadhyay, Marianne Menglin Liu, Daniel W. Peterson, Anshul Mittal, Sujeeth Bharadwaj, Fahad Shah, Sujith Ravi, Dan Roth

机构 * Columbia University（哥伦比亚大学） ； Oracle AI 纠错

专题命中 领域大模型 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 Routesplain是首个面向软件相关任务的LLM路由工具，通过提取可解释概念路由，在8项软件任务上的16种LLM中，其性能优于单个模型且不逊于黑盒基线，可提升响应质量并降低成本。

Comments Accepted to COLM 2026

See Me, Believe Me: Causality, Intersectionality, and Interventions Improving the Appearance of Patients

看见我，相信我：提升患者外观的因果关系、交叉性与干预措施

Kenya S. Andrews, Mesrob I. Ohannessian, Elena Zheleva

专题命中 领域大模型 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本研究构建结构化因果模型（SCM）探究医疗记录中证言不公的人口统计特征交叉性，通过有选择性编辑医生记录或用LLM修改，发现针对性编辑可改善患者经历感知、转移责任至外部因素。

Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications

人工智能可在微生物致癌研究出版物的证据提取与严格评估上与领域专家相匹配

Kaela Kokkas, Hairong Wang, Richard Klein, Nazir A. Ismail, Natalie Irwin, Mohammad Z. Moonsamy, Kubendran Naidoo, Jeremy Nel, Ekene E. Nweke, Raveen Parboosing, Emmanuel K. Sekyi, Rebecca T. van Dorsten, Bruce A. Bassett, Robert F. Breiman

专题命中 领域大模型 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究以MMTV-LV与乳腺癌为案例，构建数据集测试4款LLM在24篇微生物致癌研究论文的证据提取与评估任务上的表现，发现GPT-5等两款LLM性能与专家相当，可用于自动化系统证据综合，但仍存在方法学评估等弱点。

Comments Published in Frontiers in Cellular and Infection Microbiology, 45 pages, 14 figures

Journal ref Kokkas K, Wang H, Klein R, et al. (2026) Artificial intelligence can match domain experts in evidence extraction and critical appraisal of microbial oncogenesis research publications. Front. Cell. Infect. Microbiol. 16:1876326

ResidencyRL: Reinforcement Learning in Simulated Clinical Environments

ResidencyRL：在模拟临床环境中开展的强化学习

Valentin Liévin, Samuel Schmidgall, Tim Strother, Alex Bijamov, Akshay Goel, Anil Palepu, Chunjong Park, Vahid Balazadeh, Min Woo Sun, Marius Guerard, Justin Chen, Dave Steiner, Vikram Dhillon, Ibrahim Azar, Akhil Mehta, Nicholas Spetsieris, Shilpan Shah, Maen Abdelrahim, Amit Dahiya, Yun Liu, Katherine Chou, Yossi Matias, Avinatan Hassidim, Dale R. Webster, Quoc V. Le, Raia Hadsell, Joelle Barral, Carey Radebaugh, Aleksandra Faust, Shekoofeh Azizi, Mike Schaekermann, Po-Hsuan Cameron Chen, Tao Tu, David Racz, Lin Yang

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究院） ； Houston Methodist Hospital（休斯顿卫理公会医院） ； Trinity Health Group（三一健康集团） ； Stanford Oncology Partners（斯坦福肿瘤学伙伴） ； St. Luke Hospital（圣卢克医院） 纠错

专题命中 领域大模型 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出 ResidencyRL，通过多轮强化学习训练临床 AI 智能体，在模拟临床环境中提升诊断准确性、降低漏报率，且能力可迁移至多个医学基准测试，为临床 AI 发展提供了新路径。

Unforgettable Generalization in Language Models

语言模型的不可遗忘泛化

Eric Zhang, Leshem Choshen, Jacob Andreas

专题命中 领域大模型 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究探究语言模型通过随机标签微调遗忘技能时的行为差异，发现遗忘泛化程度与初始预测置信度和训练数据表示变异性相关，且遗忘为浅层，凸显技能移除的难度与不可预测性。

Comments 18 pages, 9 figures, published in First Conference on Language Modeling 2024

Journal ref First Conference on Language Modeling (2024)

Learning Clinical-Trial Strategy: Offline Policy Training for Decision Agents

临床试验策略学习：面向决策智能体的离线策略训练

William Bolton, Philip Torr

专题命中 领域大模型 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本研究将肿瘤学临床开发建模为离线决策问题，构建时间数据集，对比4种离线目标与4种LLM智能体，发现奖励加权行为克隆表现最优，证明结构化离线学习可用于规划临床实验。

Comments Accepted for a spotlight at the ICML 2026 Workshop on Generative and Agentic AI for Biology (GenBio) and as a poster at the ICML 2026 Workshop on Decision-Making from Offline Datasets to Online Adaptation: Black-Box Optimization to Reinforcement Learning (DEMO). 15 pages, 3 figures, 11 tables

Patient-centered data science: an integrative framework for evaluating and predicting clinical outcomes in the digital health era

以患者为中心的数据科学：数字健康时代评估与预测临床结局的整合框架

Mohsen Amoei, Dan Poenaru

专题命中 领域大模型 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究提出数字健康时代以患者为中心的数据科学整合框架，结合多类数据构建数字患者表征，采用多智能体AI方法优化患者结局，助力构建学习型医疗系统，提升数字健康创新的临床转化效果。

CALMRec: Causally Aligned Language Memory for Long-Horizon Recommendation

CALMRec：用于长期推荐的因果对齐语言记忆

Gengyu Zhan

机构 * Shenzhen University（深圳大学） 纠错

专题命中 领域大模型 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对当前大语言模型推荐器的问题，提出CALMRec框架，利用冻结多模态语言模型转换信息，维护多种记忆，通过倾向加权更新等减少偏差，在多环境评估中表现良好，提升了折扣长期价值，释义基准上语义原子NDCG显著提高。

GAE: Graph-Augmented Evolution for Scientific Discovery via Reinforcement Optimization

GAE：通过强化优化实现科学发现的图增强进化

Xuanzhou Chen, Taoli Cheng

专题命中 领域大模型 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型引导的进化程序搜索的瓶颈，提出GAE框架，通过图神经网络、强化学习优化的元控制器和在线微调循环解决问题，在复杂非线性振荡器系统符号回归任务中有效发现物理方程，性能达最优。

Comments ICML 2026, AI for Science Workshop

Physics-Audited Agentic Discovery in Scientific Machine Learning

科学机器学习中的物理审核智能发现

Diab W. Abueidda, Bilal Ahmed, Panos Pantidis, Mostafa E. Mobasher

机构 * New York University Abu Dhabi（纽约大学阿布扎比分校） ； National Center for Supercomputing Applications, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心） 纠错

专题命中 领域大模型 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对智能科学机器学习中替代模型选择问题，提出物理审核智能SciML工作流程，先确定评分评估器，推导物理要求并检查候选者输出，搜索违规情况。通过数值示例验证，该方法能选到满足物理条件的替代模型，区别于仅靠综合分数的方法。

A Precedent-Guided Co-Scientist for Side-Effect-Aware Drug Redesign

一种用于副作用感知药物重新设计的先例引导协同科学家

Yujin Kim, Charmgil Hong

专题命中 领域大模型 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出PRECEDE用于副作用感知药物重新设计，将重新设计视为基于证据的推理，由LLM编排，定位为人监督的科学工作流，可审核、证伪且受先前药理学限制。

Comments Accepted at the ICML 2026 Workshop on AI for Science

DiPS: Dialogue Policy Selection for High-Stakes Persuasion Agents

DiPS：高风险说服代理的对话策略选择

Tianyi Zhang, Mousumi Das, Abrar Anwar, Jesse Thomason, David Traum

机构 * University of Southern California（南加州大学） 纠错

专题命中 领域大模型 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对高风险场景中说服策略需个性化的问题，提出DiPS框架，基于Q-learning动态选择说服策略，在火灾疏散模拟和真实人机交互中提升成功率。

Comments Proceedings of the 27th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2026)