语言大模型 / LLM

Task-Conditioned Synthetic Data Generation for Improving Machine Learning Performance in Agricultural Prediction Tasks

用于提高农业预测任务中机器学习性能的任务条件合成数据生成

Hamid Ebrahimy, Moritz Lucas, Martin Atzmueller

机构 * Osnabrück University（奥斯纳布吕克大学） ； Leibniz Institute for Agricultural Engineering and Bioeconomy (ATB)（莱布尼茨农业工程与生物经济研究所（ATB）） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对农业预测任务中训练数据受限影响机器学习性能的问题，提出任务条件合成数据生成算法TCSDG，结合贝叶斯网络生成器与表格基础模型，经实验验证其能有效提升性能，优于基准算法，提供实用框架。

Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES

何处切割，多深切割：化学SMILES上的字节对编码（BPE）与一元语法语言模型（Unigram-LM）

Hunter Heidenreich

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究对比化学SMILES上的BPE和Unigram-LM，在固定化学基础、小词汇量规模及多种语料类型和预分词边界策略下，发现二者不收敛，构建几乎不相交的子词词汇表，Unigram-LM分词更多，表明子词算法是建模决策。

EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments

EdgeBench：揭示从真实环境中学习的缩放定律

Deyao Zhu, Xin Zhou, Shengling Qin, Xuekai Zhu, Hangliang Ding, Shu Zhong, Zixin Wen, Zhonglin Xie, Chenhui Gou, Linxuan Ren, Yueyang Wang, Junfeng Zhong, Rui Liu, Tian Gao, Yangguang Lin, Jingyuan Zhang, Maojia Song, Xuan Qi, Jinhong Wu, Chenyang Zhang, Yinzhu Piao, Ziru Niu, Hongbin Lin, Lingxiang Meng, Peng Tang, Chengyao Tang, Shanyu Wu, Huanyu Zheng, Yu Liu, Liya Zhu, He Wang, Ming Ding, Ziyu Wan, Hao Liu, Sibo Wang, Haotian Zhu, Xintian Zhang, Nan Chai, Yipeng Liu, Panhao Lai, Sihang Yuan, Zixin Su, Ge Zhang, Wangchunshu Zhou, Yantao Du, Wenhao Huang, Guang Shi

机构 * ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出含134项长周期真实任务的EdgeBench平台，通过分析大量智能体交互数据，发现环境学习性能符合对数S型缩放定律，为智能体现实经验学习研究提供支撑。

Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization

用于音节切分的说话人解缠块级回归

Ryota Komatsu, Kota Kawakita, Takuma Okamoto, Takahiro Shinozaki

机构 * JTEKT Corporation（捷太格特公司） ； Institute of Science Tokyo（东京理科大学） ； National Institute of Information and Communications Technology（国立情报通信研究机构） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究无监督音节切分问题，提出说话人解缠音节切分器，通过在固定长度块内将受说话人干扰的学生表示向干净教师目标回归，取得了音节边界检测和音节段聚类的最优性能。

Comments Accepted by IEEE Open Journal of Signal Processing (OJSP), 10 pages, 4 figures

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

何时越简单越好：评估中世纪拉丁文手稿的翻译管道

Nguyen Kim Hai Bui, Md. Easin Arafat, Tamás Gábor Orosz, Mufti Mahmud

机构 * Eötvös Loránd University（厄特沃什·罗兰大学） ； King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对历史手稿翻译难题，提出评估中世纪拉丁文手稿图像到翻译流程的框架。通过CATMuS数据集对比发现领域特定OCR模型优势，引入新数据集IPC，实验揭示简单管道表现更佳，为低资源历史场景翻译系统部署提供基准与指导。

Comments 17 pages, preprint

GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech

GRAFT：用于零样本文本到语音中细粒度发音的嫁接参考音频

Antonis Asonitis, Francesco Verdini, Aref Farhadipour, Vijeta Avijeet, Pierre-Edouard Honnet, Marzieh Razavi, Juan Pablo Zuluaga Gomez

机构 * AGIGO ； ETH Zurich（苏黎世联邦理工学院） ； Sapienza University of Rome（罗马大学） ； University of Zurich（苏黎世大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对文本到语音神经编解码器语言建模中单词发音问题，提出GRAFT机制，通过短语音样本控制单词发音，经语音转换训练，提升发音效果，在多语言基准测试中表现出色。

Amplifying Membership Signal Through Chained Regeneration

通过链式再生放大成员信号

Wojciech Łapacz, Stanisław Pawlak

机构 * Warsaw University of Technology（华沙理工大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MADreMIA框架，利用链式再生迭代轨迹增强生成模型的成员推断和数据集推理攻击，在低误报率下提升信号强度。

Data Selection Through Iterative Self-Filtering for Vision-Language Settings

面向视觉-语言场景的迭代自过滤数据选择

Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville

机构 * Mila, Université de Montréal（蒙特利尔大学Mila实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种自举式方法，通过迭代训练CLIP模型并自选择改进的数据混合，无需额外数据或预训练模型即可提升下游性能。

SCRUB-FL: Sanitizing and Cleansing Representations via Unlearning of Backdoors

SCRUB-FL：通过遗忘后门来净化和清洗表示

Osama Wehbi, Sarhad Arisdakessian, Omar Abdel Wahab, Azzam Mourad, Hadi Otrok

机构 * Polytechnique Montréal（蒙特利尔综合理工学院） ； Khalifa University（哈利法大学） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出SCRUB-FL，一种两阶段后门移除方法，在训练时通过谱分析和激活聚类检测可疑样本并训练WGAN-GP捕获触发分布，收敛后利用机器遗忘合成近似触发样本并消除触发-目标关联，在CIFAR-10和GTSRB上后门攻击成功率降至3.88%，正常任务准确率超91%。

Comments 14 pages, 3 tables, 1 algorithm, 4 figures

PoLAR: Factorizing Extent and Mode in Latent Actions for Robot Policy Learning

PoLAR：分解潜在动作中的程度和模式用于机器人策略学习

Youngjoon Jeong, Jihwan Yu, Minsoo Jo, Junha Chun, Taesup Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出PoLAR方法，通过径向方向结构分解潜在动作中的程度和模式，利用时间偏移作为程度代理，在双曲空间中实现，提升下游策略性能。

Comments Project Page: https://joon-stack.github.io/PoLAR

MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data

MindAlign: 在有限数据下通过多模态嵌入对齐从fMRI信号解码内心语言

Muxuan Liu, Ichiro Kobayashi, Satoshi Nishida

机构 * Graduate School of Humanities and Sciences Ochanomizu University（大仓山大学人文科学研究生院） ； Center for Information and Neural Networks Advanced ICT Research Institute National Institute of Information and Communications Technology（信息与神经网络中心先进信息通信研究机构信息通信技术研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出MindAlign两阶段框架，通过神经-语义对齐将fMRI信号映射到多模态语义空间，再结合视觉上下文冻结多模态语言模型生成文本，在静默图像描述数据上优于基线，且语义-语言投影可跨被试泛化。

Comments Preprint. Under review

Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish

Morpheus: 一种面向土耳其语的形态感知神经分词器和词嵌入器

Tolga Şakar

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对土耳其语粘着特性，提出Morpheus神经词素边界模型，实现无损可逆分词与结构化词嵌入，在可逆分词器中达到最低比特每字符（1.425），词素对齐F1提升至0.61，GPU内存节省约19%。

Handling Feature Heterogeneity with Learnable Graph Patches

处理特征异质性：可学习图块方法

Yifei Sun, Yang Yang, Xiao Feng, Zijun Wang, Haoyang Zhong, Chunping Wang, Lei Chen

机构 * Zhejiang University（浙江大学） ； Huazhong University of Science and Technology（华中科技大学） ； Finvolution Group（信也科技集团） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出可学习图块概念，将图分解为语义单元，通过补丁编码器和聚合器实现跨域图数据的可迁移预训练，提升下游任务性能。

Comments Accepted at KDD 2025

Scaling Human and G2P Supervision for Robust Phonetic Transcription

扩展人类与G2P监督以实现鲁棒语音转录

Alexander Metzger, Aruna Srivastava, Ruslan Mukhamedvaleev

机构 * Koel Labs LLC 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究自动语音转录中人类标注与G2P监督的扩展规律，发现当人类标注少于20-30小时时G2P有效，超过后无益甚至降低鲁棒性，而ASR预训练可显著提升性能。

Comments Accepted to Interspeech 2026

When Generator Replay Degrades: Projected Rehearsal Orchestration for Heterogeneous Federated Class-Incremental Learning

当生成器回放退化时：面向异构联邦类增量学习的投影排练编排

Thinh T. H. Nguyen, Khoa D. Doan, Binh T. Nguyen, Danh Le-Phuoc, Kok-Seng Wong

机构 * VinUniversity ； VNU-HCM, University of Science（胡志明市国家大学理科大学） ； Technische Universität Berlin（柏林工业大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对异构联邦类增量学习中客户端标签子集不同、任务阶段不一致导致的旧知识遗忘问题，提出投影排练编排框架PRO及增强版PRO-MAX，通过服务器端维护紧凑类级投影记忆并实现平衡伪多任务训练，在图像、文本和图基准上提升异构流下的保留与最终效用。

Comments 46 pages

FastMix: Fast Data Mixture Optimization via Gradient Descent

FastMix: 通过梯度下降实现快速数据混合优化

Haoru Tan, Sitong Wu, Yanfeng Chen, Jun Xia, Ruobing Xie, Bin Xia, Xingwu Sun, Xiaojuan Qi

机构 * University of Hong Kong（香港大学） ； Tencent（腾讯） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出FastMix框架，将数据混合选择重新表述为双层优化问题，通过联合优化混合系数和模型参数，实现高效、可扩展的数据混合发现，在预训练和后训练中均优于基线方法且大幅降低搜索成本。

Journal ref ICLR-2026

Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization

不同层，不同流形：Transformer优化中的模块级权重空间几何

Kirato Yoshihara

机构 * School of Engineering Science, The University of Osaka（大阪大学工程科学学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究Transformer不同模块偏好不同流形几何，提出为注意力层和MLP层分别分配Stiefel和DGram约束，在GPT-2预训练中取得最佳性能。

Comments Accepted at WSS @ ICML 2026, code is available at https://github.com/kiratoyoshihara/module-wise-manifold-muon

FOGO: Forgetting-aware Orthogonalization Optimizer

FOGO：遗忘感知正交化优化器

Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

机构 * School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院） ； Department of Data Science & AI, Monash University（莫纳什大学数据科学与人工智能系） ； DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出FOGO优化器，通过谱正交化动量更新并利用紧凑码本记忆解决梯度干扰，在类别不平衡、持续学习和大模型微调等场景中提升收敛与知识保留。

CodeAlchemy: Synthetic Code Rewriting at Scale

CodeAlchemy：大规模合成代码重写

Ankit Gupta, Aditya Prasad, Rameswar Panda

机构 * MIT-IBM Watson AI Lab, IBM Research（MIT-IBM沃森人工智能实验室，IBM研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出CodeAlchemy框架，通过5种策略生成超过500B token的合成代码数据，引入DevEval和TraceEval基准，3B模型在多项任务上超越10倍大小的前沿模型。

STREAM: Stochastic Riemannian Flow Matching with Anisotropic Decoder for Digital Histopathology Image Generation

STREAM: 用于数字组织病理学图像生成的随机黎曼流匹配与各向异性解码器

Won June Cho, Daeky Jeong, Hyeongyeol Lim, Hongjun Yoon

机构 * DEEPNOID Inc.（DEEPNOID公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出STREAM框架，利用组织病理学视觉基础模型的patch-token特征作为潜在空间，通过黎曼流匹配生成高质量组织病理学图像，解决条件崩溃问题，并设计各向异性解码器提升生成质量。

Comments 27 pages, 7 figures

Reversible Foundations: Training a 120B Sparse MoE through State-Preserving Scaling

可逆基础：通过状态保持缩放训练120B稀疏MoE

Rohan Shravan

机构 * The School of AI（人工智能学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG；LLM(comments)

AI总结 本文报告在单台8-GPU节点上端到端训练千亿参数稀疏混合专家模型，通过可逆循环、状态保持增长和单节点经济学三大原则，实现从密集种子到120B模型的四阶段扩展。

Comments 58 pages, 9 figures, 37 tables. Code: https://github.com/The-School-of-AI/LLM. Released models: huggingface.co/theschoolofai/LightningLM-0.1V-{2B, 5B-MoE, 9B-MoE, 120B-MoE}. Companion work: arXiv:2605.29379 (BrahmicTokenizer-131K), arXiv:2605.29459 (Kronecker Embeddings)

On the Transferability of Agricultural Weed Detection Under Cross-Field Distribution Shift

跨田间分布偏移下的农业杂草检测可迁移性研究

Nikhilesh Prabhakar, Pranuthi Tenali, Wilfredo Abudeye Fernandez, Shekhar Borah, Athresh Karanam, Erik Blasch, Prabha Sundaravadivel, Sriraam Natarajan

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； The University of Texas at Tyler（德克萨斯大学泰勒分校） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究针对跨田间分布偏移下的农业杂草检测可迁移性问题，构建棉花与大豆无人机杂草数据集，对比少样本微调与无监督域自适应目标检测，发现少样本微调仅需25个标注样本即可实现更优跨作物检测性能。

RAG Deserves an Index: Why Ingest-Time Compilation Beats Query-Time Interpretation

检索增强生成（RAG）值得一个索引：为什么摄入时编译优于查询时解释

Kyle Wild, Yusuke Takahashi, Asako Uraki

机构 * Endgame Labs, Inc.（终局实验室公司） ； Asia AI Institute（亚洲人工智能研究院） ； Musashino University（武藏野大学） ； Faculty of Data Science, Musashino University（武藏野大学数据科学学院） ； AIx, Inc.（AIx公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 该研究提出摄入时语义编译（ISC）范式，将语料编译为可查询数据库对象，实验显示其检索效果优于传统RAG方法，增量更新成本更低，为RAG提供了索引化解决方案。

Comments Position paper. 6 pages, 2 figures, 2 tables

Online Test-Time Adaptation for Generalizable Dynamic Graph Anomaly Detection

面向可泛化动态图异常检测的在线测试时适应

Jialun Zheng, Hanchen Yang, Jiannong Cao, Yankai Chen, Yuanjing Feng, Philip S. Yu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Institute of Information Processing and Automation, Zhejiang University of Technology（浙江工业大学信息处理与自动化研究所） ； University of Illinois at Chicago (UIC)（伊利诺伊大学芝加哥分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 针对可泛化动态图异常检测现有方法的局限，提出OTTA-DGAD方法，通过时序自图提取动态原型并结合内存缓冲区，在10个真实世界数据集上实现了最优性能。

Far from the Crowd: Scalable Self-Supervised Learning via Geographic Isolation

远离人群：基于地理隔离的可扩展自监督学习

Daniele Rege Cambrin, Francesco Rossi, Mattia Varile

机构 * AIKO 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究提出基于地理隔离的无标签代理指标，将其集成到MoCoV2和MAE预训练中，在CopernicusBench的三个下游任务上验证，可大幅降低预计算成本并提升下游性能。

Comments Accepted to ECCV 2026 TerraBytes Workshop

Comment-level Topic Drift Analysis in the Reddit Corpus

Reddit语料库中评论级别的主题漂移分析

Steven Morse, Daniel Runfola, Trenton W. Ford

机构 * William & Mary（威廉玛丽学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 该研究将嵌入式动态主题建模技术应用于Reddit语料库，分析127亿条2006-2022年的评论，提出嵌入空间内语义漂移分析方法，发现争议性主题漂移显著而文体类主题相对稳定。

Wolff-Parkinson-White Detection at 471:1 Class Imbalance: A Leakage-Controlled Study of the Data Bottleneck

471:1类别不平衡下的Wolff-Parkinson-White检测：数据瓶颈的泄漏控制研究

Nathael Altman

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究针对WPW检测的471:1类别不平衡问题，在控制数据泄漏的前提下，比较多种信号表示，发现特征融合模型表现与两成员投票相当，部署模型为筛查预筛选工具。

Comments 36 pages, 7 figures. Code, frozen models, out-of-fold scores and the full decision log: https://github.com/nathaelaltman/wpw-ecg-detection

Picking the Right Image to Classify: Reliable-Input Selection in Teledermatology

选择合适的图像进行分类：远程皮肤病学中的可靠输入选择

Fabian Gröger, Marco Weishaupt, Philippe Gottfrois, Simone Lionetti, Linda Wermelinger, Nipun Ranasekara, Ludovic Amruthalingam, Alexander A. Navarini, Marc Pouly

机构 * University of Basel（巴塞尔大学） ； Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学） ； University Hospital Basel（巴塞尔大学医院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 该研究针对远程皮肤病学中模型因图像分布偏移分类错误的问题，提出可靠输入选择任务，测试多种无预训练数据的选择器，发现其均难缩小与神谕的差距，置信度融合马氏距离的选择器效果仍有限。

Decorrelation Is Not Complementarity: Skill, Not Lineage, Governs Trusted-Monitor Ensembles

去相关并非互补性：技能而非谱系管控可信监控器集成体

Anik Jha

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究发现构建可信监控器集成体时，技能而非谱系决定性能，去相关度量对集成体增益预测极弱，且无选择策略能击败样本外单个最佳监控器。

Comments AI control, trusted monitoring, ensemble diversity, scalable oversight, backdoor detection, capability control

The Commercial Tax: Rent-vs-Own Blind Spots in Multi-Hop Retrieval Benchmarks

商业税负：多跳检索基准中的租用与自建盲区

Luis M. Sanchez, Kosrow Dehnad

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 该研究指出多跳检索基准存在商业部署许可与成本信息盲区，发现NVIDIA Nemotron-3-Embed-8B是首个与开源基准性能持平的商业许可嵌入模型，并量化了索引成本差异。

Comments 23 pages, 4 figures. Replication artifacts (harness, per-question recall vectors, cost model, bootstrap code): https://doi.org/10.5281/zenodo.21972866 ; embedding matrices: https://huggingface.co/datasets/toryx-ai/commercial-tax-musique-embeddings