语言大模型 / LLM

Doctor Sun: A Bilingual Multimodal Large Language Model for Biomedical AI

Doctor Sun: 一种双语多模态大语言模型用于生物医学AI

Dong Xue, Ziyao Shao, Zhaoyang Duan, Fangzhou Liu, Bing Li, Zhongheng Zhang

机构 * Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education East China University of Science and Technology（能源化工过程智能制造重点实验室，东华大学） ； Research Institute of Intelligent Control and Systems Harbin Institute of Technology（智能控制与系统研究室，哈尔滨工业大学） ； Department of Emergency Medicine, Sir Run Run Shaw Hospital Zhejiang University School of Medicine（浙江大学医学院急诊医学科） ； Provincial Key Laboratory of Precise Diagnosis Treatment of Abdominal Infection, Sir Run Run Shaw Hospital Zhejiang University School of Medicine（腹部感染精准诊断治疗省级重点实验室，浙江大学医学院） ； School of Medicine Shaoxing University（绍兴大学医学院） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；instruction tuning(abstract)

AI总结 Doctor Sun是一种双语多模态大语言模型，通过整合预训练视觉编码器和医学LLM，提升生物医学多模态任务的性能，并提供SunMed-VL数据集支持研究进展。

The Cultural Gene of Large Language Models: A Study on the Impact of Cross-Corpus Training on Model Values and Biases

大语言模型的文化基因：跨语料库训练对模型价值观与偏见的影响研究

Emanuel Z. Fenech-Borg, Tilen P. Meznaric-Kos, Milica D. Lekovic-Bojovic, Arni J. Hentze-Djurhuus

机构 * Department of Communications（通讯系） ； University of Malta（马耳他大学） ； Faculty of Mathematics（数学系） ； University of Primorska（普里摩尔卡大学） ； Faculty of Electrical Engineering（电气工程系） ； University of Montenegro（黑山大学） ； Faculty of Science & Technology（科学与技术系） ； University of the Faroe Islands（法罗群岛大学） ； Department of Computer Science（计算机科学系） ； San Francisco State University（旧金山州立大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本研究通过跨文化探针数据集分析大语言模型在个人主义-集体主义和权力距离维度上的文化偏见，揭示模型价值观与训练语料文化背景的关联。

Comments 10 pages, 5 figures, IEEE conference format, submitted to [Conference Name]

Leveraging Large Language Models for Rare Disease Named Entity Recognition

利用大语言模型进行罕见疾病命名实体识别

Nan Miles Xi, Yu Deng, Lin Wang

专题命中 预训练与数据 ：large language model(title)；language model(title)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究利用大语言模型在低资源环境下提升罕见疾病命名实体识别性能，通过结构化提示框架和语义引导方法，实现优于传统模型的表现。

Scaling Capability in Token Space: An Analysis of Large Vision Language Model

令牌空间中的扩展能力：对大视觉语言模型的分析

Tenghui Li, Guoxu Zhou, Xuyang Zhao, Qibin Zhao

机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院） ； Key Laboratory of Intelligent Detection and the Internet of Things in Manufacturing, Ministry of Education（教育部智能制造智能检测与物联网重点实验室） ； Guangdong Provincial Key Laboratory of Intelligent Systems and Optimization Integration（广东省智能系统与优化集成重点实验室） ； Medical Science Data-driven Mathematics Team, RIKEN Center for Interdisciplinary Theoretical and Mathematical Sciences（RIKEN跨学科理论与数学科学中心医学科学数据驱动数学团队） ； Medical Data Mathematical Reasoning Special Team, RIKEN Center for Integrative Medical Sciences（RIKEN整合医学科学中心医学数据数学推理特别团队） ； Department of Artificial Intelligence Medicine, Chiba University（千叶大学人工智能医学系） ； Tensor Learning Team, RIKEN Center for Advanced Intelligence Project（RIKEN高级人工智能项目中心张量学习团队） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过理论分析和实证验证，揭示了视觉语言模型在视觉令牌数量上的扩展规律，发现不同数量的视觉令牌对应不同的扩展模式，并提出了扩展指数与视觉令牌表示相关结构的关系。

Journal ref Journal of Machine Learning Research, volume 26, number 253, page 1--61, 2025

Stochastic Siamese MAE Pretraining for Longitudinal Medical Images

随机时序Siamese MAE预训练用于纵向医学图像

Taha Emre, Arunava Chakravarty, Thomas Pinetz, Dmitrii Lachinov, Martin J. Menten, Hendrik Scholl, Sobha Sivaprasad, Daniel Rueckert, Andrew Lotery, Stefan Sacu, Ursula Schmidt-Erfurth, Hrvoje Bogunović

机构 * Institute of Artificial Intelligence, Center for Medical Data Science, Medical University of Vienna（人工智能研究所，医学数据科学中心，维也纳医科大学） ； Department of Ophthalmology and Optometry, Medical University of Vienna（眼科学与视光学系，维也纳医科大学） ； Ophthalmic Image Analysis Group (OPTIMA), Medical University of Vienna（眼科影像分析组（OPTIMA），维也纳医科大学） ； BioMedIA, Department of Computing, Imperial College London（BioMedIA，计算系，伦敦帝国理工学院） ； Chair for AI in Healthcare and Medicine, Technical University of Munich（医学与健康人工智能教授职位，慕尼黑技术大学） ； Moorfields National Institute for Health and Care Biomedical Research Centre, Moorfields Eye Hospital（莫尔菲尔兹国家健康与护理生物医学研究中心，莫尔菲尔兹眼科医院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 STAMP通过随机过程和条件变分推断，提升纵向医学图像中疾病进展的建模能力。

Comments Under review. Code is available in https://github.com/EmreTaha/STAMP

PI-MFM: Physics-informed multimodal foundation model for solving partial differential equations

PI-MFM：基于物理的多模态基础模型用于求解偏微分方程

Min Zhu, Jingmin Sun, Zecheng Zhang, Hayden Schaeffer, Lu Lu

机构 * Department of Statistics and Data Science, Yale University（统计与数据科学系，耶鲁大学） ； Department of Applied Mathematics and Statistics, Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学） ； Department of Applied Computational Mathematics and Statistics, University of Notre Dame（应用计算数学与统计学系，圣母大学） ； Department of Mathematics, University of California Los Angeles（数学系，加州大学洛杉矶分校） ； Department of Chemical and Environmental Engineering, Yale University（化学与环境工程系，耶鲁大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 PI-MFM是一种基于物理的多模态基础模型，通过强制执行偏微分方程在预训练和适应过程中，提高求解PDE的效率和鲁棒性。

Learning the Topic, Not the Language: How LLMs Classify Online Immigration Discourse Across Languages

学习主题，而非语言：如何LLMs在跨语言环境下分类在线移民 discourse

Andrea Nasuto, Stefano Maria Iacus, Francisco Rowe, Devika Jain

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出一种轻量级开源框架，利用微调后的LLaMA模型跨13种语言分类移民相关推文，展示LLMs在少量数据下可泛化主题理解，并通过多语言微调捕捉意识形态细微差别，实现高效且低成本的多语言分析。

In Silico Development of Psychometric Scales: Feasibility of Representative Population Data Simulation with LLMs

基于LLM的psychometric量表开发：利用代表性人口数据模拟的可行性

Enrico Cipriani, Pavel Okopnyi, Danilo Menicucci, Simone Grassini

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文探讨了利用LLM生成模拟数据在心理量表开发中的可行性，发现其在群体层面具有应用价值，但无法替代个体层面的验证。

What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models

基础模型发现了什么？利用归纳偏置来探测世界模型

Keyon Vafa, Peter G. Chang, Ashesh Rambachan, Sendhil Mullainathan

机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究通过归纳偏置探测技术揭示基础模型在适应新任务时无法捕捉底层世界模型结构的问题。

Comments To appear in ICML 2025

VLM-PAR: A Vision Language Model for Pedestrian Attribute Recognition

VLM-PAR：一种用于行人属性识别的视觉语言模型

Abdellah Zakaria Sellam, Salah Eddine Bekhouche, Fadi Dornaika, Cosimo Distante, Abdenour Hadid

机构 * Department of Innovation Engineering（创新工程系） ； University of Salento, Italy（意大利萨伦托大学） ； Institute of Applied Sciences and Intelligent Systems - CNR（应用科学与智能系统研究所 - CNR） ； University of the Basque Country UPV/EHU（巴斯克国家大学UPV/EHU） ； IKERBASQUE, Basque Foundation for Science（伊基塔斯克巴塞克基金会） ； Sorbonne University Abu Dhabi（索邦大学阿布扎比分校） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.AI

AI总结 VLM-PAR通过整合大规模视觉语言预训练与跨模态细化，提升行人属性识别在类别不平衡和泛化挑战中的性能。

Understanding the Mechanisms of Fast Hyperparameter Transfer

理解快速超参数转移的机制

Nikhil Ghosh, Denny Wu, Alberto Bietti

机构 * Flatiron Institute（Flatiron研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了深度学习中快速超参数转移的机制，通过理论分析和实验验证，揭示了转移策略在不同问题结构下的有效性及计算效率。

Comments 43 pages

Benchmarking Lie-Algebraic Pretraining and Non-Variational QWOA for the MaxCut Problem

对MaxCut问题中Lie-代数预训练和非变分QWOA的基准测试

Matthaus Zering, Jolyon Joyce, Tal Gurfinkel, Jingbo Wang

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 本文通过对比Lie-代数预训练和非变分QWOA在MaxCut问题上的表现，证明后者在参数空间小的情况下能更高效地找到近优解。

InDRiVE: Reward-Free World-Model Pretraining for Autonomous Driving via Latent Disagreement

InDRiVE: 通过潜在分歧进行无奖励世界模型预训练以实现自动驾驶

Feeza Khan Khanzada, Jaerock Kwon

机构 * Department of Electrical and Computer Engineering, University of Michigan-Dearborn（电气与计算机工程系，密歇根大学-迪尔伯恩分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 InDRiVE通过潜在分歧进行无奖励世界模型预训练，提升了自动驾驶在零样本迁移和少量样本适应中的鲁棒性。

Emergence of Human to Robot Transfer in Vision-Language-Action Models

视觉-语言-动作模型中人类到机器人的转移现象出现

Simar Kareer, Karl Pertsch, James Darpinian, Judy Hoffman, Danfei Xu, Sergey Levine, Chelsea Finn, Suraj Nair

机构 * Physical Intelligence（物理智能） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出了一种简单的方法，通过预训练视觉-语言-动作模型，使模型能从人类数据中学习并转移至机器人任务，从而提升泛化性能。

DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs

DIF: 一个用于基准测试和验证LLM隐性偏见的框架

Lake Yin, Fan Huang

机构 * Indiana University（印第安纳大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DIF框架通过评估LLM逻辑和数学问题数据集，结合统计稳健性检查，用于基准测试和验证LLM中的隐性偏见。

Comments 10 pages, 1 figure

Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection

谁写什么：揭示作者角色对AI生成文本检测的影响

Jiatao Li, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究揭示作者角色（如性别、CEFR熟练度等）对AI生成文本检测的影响，提出多因素分析方法，为更公平的检测系统提供实证支持和框架。

Comments ACL 2025 Main Conference

Learning from Negative Examples: Why Warning-Framed Training Data Teaches What It Warns Against

从负例学习：为什么警告框架的训练数据教会了它所警告的内容

Tsogt-Ochir Enkhbayar

专题命中 预训练与数据 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现，警告框架的训练数据未能有效阻止模型学习警告行为，而是通过统计共现性主导了模型的学习过程。

Comments Submitted to Neel Nanda's MATS Stream

ICONS: Influence Consensus for Vision-Language Data Selection

ICONS: 视觉-语言数据选择中的影响共识

Xindi Wu, Mengzhou Xia, Rulin Shao, Zhiwei Deng, Pang Wei Koh, Olga Russakovsky

机构 * Princeton University（普林斯顿大学） ； University of Washington（华盛顿大学） ； Google DeepMind（谷歌DeepMind） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 ICONS通过影响共识方法高效选择视觉-语言数据，保持高性能并支持多任务泛化。

Close the Loop: Synthesizing Infinite Tool-Use Data via Multi-Agent Role-Playing

闭环：通过多智能体角色扮演合成无限工具使用数据

Yuwen Li, Wei Zhang, Zelong Huang, Mason Yang, Jiajun Wu, Shawn Guo, Huahao Hu, Lingyi Sun, Jian Yang, Mingjie Tang, Byran Dai

机构 * Sichuan University（四川大学） ； Beihang University（北航） ； IQuest Research（IQuest研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 InfTool通过多智能体角色扮演自动生成无限工具使用数据，显著提升大语言模型的调用准确性，无需人工标注。

Trustworthy Machine Learning under Distribution Shifts

在分布偏移下可信的机器学习

Zhuo Huang

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究旨在通过提升鲁棒性、可解释性和适应性，在分布偏移下增强机器学习系统的可靠性与责任性。

Comments PhD Thesis

Chinese Morph Resolution in E-commerce Live Streaming Scenarios

电商直播场景中的中文形态解析

Jiahao Zhu, Jipeng Qiang, Ran Bai, Chenyu Liu, Xiaoye Ouyang

机构 * School of Information Engineering, Yangzhou University, China（扬州大学信息工程学院） ； China Academy of Electronic and Information Technology, China（中国电子信息技术研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究提出LiveAMR任务，通过形态解析技术提升电商直播中的虚假宣传检测能力。

Bidirectional RAG: Safe Self-Improving Retrieval-Augmented Generation Through Multi-Stage Validation

双向RAG：通过多阶段验证实现安全的自我改进检索增强生成

Teja Chinthala

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 双向RAG通过多阶段验证实现安全的自我改进检索增强生成，提高了覆盖率并减少了文档数量，展示了RAG系统在严格验证下的可行性。

Comments 10 pages, 2 figures, 2 tables. 36 experiments across 4 datasets with 3 random seeds. Code available upon request

EEG-to-Voice Decoding of Spoken and Imagined speech Using Non-Invasive EEG

通过非侵入性EEG解码 spoken 和 imagined 语音

Hanbeot Park, Yunjeong Cho, Hunhee Kim

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出了一种无需显式时间对齐的EEG-to-Voice方法，通过非侵入性EEG信号直接重建说话和想象语音，结合生成器、语音编码器和自动语音识别模块，实现了稳定的声学重建和可比的语言准确性。

Comments 20 pages, 7 figures, 4 tables

HELM-BERT: A Transformer for Medium-sized Peptide Property Prediction

HELM-BERT：一种用于中等大小肽性质预测的Transformer

Seungeon Lee, Takuto Koyama, Itsuki Maeda, Shigeyuki Matsumoto, Yasushi Okuno

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 HELM-BERT是一种基于编码器的肽语言模型，利用HELM记法捕捉层次依赖性，显著优于SMILES基模型，在肽性质预测中表现出色。

Comments 35 pages; includes Supplementary Information

Wireless Traffic Prediction with Large Language Model

基于大语言模型的无线交通预测

Chuanting Zhang, Haixia Zhang, Jingping Qiao, Zongzhang Li, Mohamed-Slim Alouini

机构 * Shandong Key Laboratory of Intelligent Communication and Sensing-Computing Integration, Shandong University（山东大学智能通信与感知-计算整合重点实验室） ； School of Information Science and Engineering, Shandong Normal University（山东师范大学信息科学与工程学院） ； China Mobile Communications Group Shandong Co., Ltd（中国移动通信集团山东有限公司） ； Computer, Electrical and Mathematical Science and Engineering Division, King Abdullah University of Science and Technology (KAUST)（卡布斯大学科学与工程学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 本文提出TIDES框架，利用大语言模型和DeepSeek模块，通过空间对齐和个性化模型提升无线交通预测的精度和鲁棒性。

Fine-tuning a Large Language Model for Automating Computational Fluid Dynamics Simulations

针对计算流体力学模拟的大型语言模型微调

Zhehao Dong, Zhen Lu, Yue Yang

机构 * State Key Laboratory for Turbulence and Complex Systems, College of Engineering, Peking University, Beijing 100871, China（湍流与复杂系统国家重点实验室，工程学院，北京大学，北京100871，中国） ； HEDPS-CAPT, Peking University, Beijing 100871, China（HEDPS-CAPT，北京大学，北京100871，中国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 通过微调领域特定LLM，实现从自然语言到CFD模拟配置的自动化，提升复杂工程流程的效率和准确性。

Journal ref Theor. Appl. Mech. Lett. 15, 100594 (2025)

Towards Efficient Post-Training via Fourier-Driven Adapter Architectures

面向通过傅里叶驱动适配架构的高效后训练

Donggyun Bae, Jongil Park

机构 * Konkuk University（韩国康 kuk 大学） 纠错

专题命中 指令微调 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 FAA通过傅里叶驱动的适配架构实现大型语言模型的高效后训练，通过频率感知调节提升性能并降低计算开销。

Comments 10 pages, 5 figures

Accelerating Language Model Workflows with Prompt Choreography

通过提示编排加速语言模型工作流

TJ Bai, Jason Eisner

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 提示编排通过动态缓存和并行处理，显著提升多智能体工作流中语言模型的效率与速度

Comments to appear in TACL (final preprint of 2025-10-12); 10 pages + appendices

How Safe Are AI-Generated Patches? A Large-scale Study on Security Risks in LLM and Agentic Automated Program Repair on SWE-bench

AI生成的补丁有多安全？一项针对LLM和代理自动程序修复在SWE-bench上的大规模安全风险研究

Amirali Sajadi, Kostadin Damevski, Preetha Chatterjee

机构 * Drexel University（德雷塞尔大学） ； Virginia Commonwealth University（弗吉尼亚共同wealth大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究评估了LLM和代理框架生成补丁的安全性，发现LLM引入新漏洞，代理工作流在自主权高时也产生漏洞，需考虑上下文因素进行风险评估。

Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning

基于提示增强与LoRA微调的鲁棒列类型标注

Hanze Meng, Jianhao Cao, Rachel Pottinger

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于提示增强与LoRA微调的鲁棒列类型标注方法，通过减少可训练参数提升模型稳定性与性能。

Comments 13 pages, 8 figures