分层竞争模式的艺术：连字符断词的高斯过程优化
The Art of Hierarchical Competing Patterns: Gaussian Process Optimization of Hyphenation
浏览论文内容
中文总结 AI 辅助
本研究将连字符模式生成中的 patgen 参数选择建模为黑盒优化问题，采用高斯过程贝叶斯优化，在 17 个多语言数据集上显著提升 F_{1/7} 分数并减小 trie 大小，使模式生成更可重复且减少专家试错。
中文摘要 AI 辅助
连字符模式仍然是排版系统、文本处理器和网页渲染引擎中一种紧凑且广泛部署的断词解决方案，但其生成仍然依赖于手动调整的 patgen 程序参数配置文件。我们将 patgen 配置文件选择问题表述为一个黑盒超参数优化问题，并评估了用于该任务的高斯过程贝叶斯优化方法。搜索目标结合了面向精确度的 F_{1/7} 分数与使用归一化 trie 大小惩罚的显式 trie 大小-准确性权衡。我们在覆盖 14 种语言和多种文字的 17 个连字符词表数据集上评估了该方法。与两个从相同的 8/10 训练划分重新生成并在相同的 1/10 留出测试划分上评估的强手动调优配置文件相比，GP 优化的配置文件在 17 个数据集中的 16 个上提高了 F_{1/7}，并在所有 17 个数据集上减小了 trie 大小。中位优化/基线 trie 比率为 0.407。数据集级别的符号检验给出 p = 1.37e-4；在五个代表性数据集上的单独预算匹配比较表明，系统搜索具有竞争力，并且通常在固定比较目标下优于最佳手动调优配置文件。结果表明，基于模型的优化可以使模式生成更具可重复性，减少对专家试错的依赖，同时保持准确性-紧凑性权衡的显式性。
英文摘要
Hyphenation patterns remain a compact and widely deployed solution for word breaking in typesetting systems, text processors, and web rendering engines, but their generation still depends on manually tuned patgen program parameter profiles. We formulate patgen profile selection as a black-box hyperparameter optimization problem and evaluate Gaussian-process Bayesian optimization for this task. The search objective combines a precision-oriented F_{1/7}-score with an explicit trie size-accuracy trade-off using a normalized trie-size penalty. We evaluate the method on 17 hyphenated word-list datasets covering 14 languages and multiple scripts. Against two strong hand-tuned profiles regenerated from the same 8/10 training split and evaluated on the same 1/10 held-out test split, the GP-optimized profiles improve F_{1/7} on 16 of 17 datasets and reduce trie size on all 17. The median optimized/baseline trie ratio is 0.407. A dataset-level sign test gives p = 1.37e-4; a separate budget-matched comparison on five representative datasets shows that systematic search is competitive and usually improves over the best hand-tuned profile under the fixed comparison objective. The results show that model-based optimization can make pattern generation more reproducible and less dependent on expert trial-and-error while keeping the accuracy-compactness trade-off explicit.
发表机构
- Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
机构由 AI 辅助整理，请以论文原文为准。
