Apple（苹果）

PinPoint: Prompting with Informative Interior Points

PinPoint: 通过信息性内部点进行提示

Pouya Sadeghi, Shawn He, Pedro Pablo Guerrero Vela, C. Thomas, Alex Wong, Sirisha Rambhatla

机构 * University of Waterloo（滑铁卢大学） ； Critical ML ； Apple（苹果公司） 纠错

AI总结 针对指代图像分割中VLM与SAM结合时因提示模糊导致的性能差距，提出无需训练的确定性点选择器PinPoint，通过融合视觉线索选择稳定、信息丰富的内部点，在无训练下达到监督和强化学习方法的性能。

Evaluating Sample Utility for Efficient Data Selection by Mimicking Model Weights

通过模仿模型权重评估样本效用以实现高效数据选择

Tzu-Heng Huang, Manjot Bilkhu, John Cooper, Frederic Sala, Javier Movellan

机构 * Apple（苹果公司） 纠错

AI总结 提出基于梯度和几何的Mimic Score指标，通过Grad-Mimic框架在线重加权样本加速训练、离线构建数据过滤器，在六个图像数据集上提升数据效率和CLIP模型性能。

Comments This work appears in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026) and was selected as an Oral paper at the ICML 2025 DataWorld Workshop

UltraCUA: A Foundation Model for Computer Use Agents with Hybrid Action

UltraCUA: 一种具有混合动作的计算机使用智能体基础模型

Yuhao Yang, Zhen Yang, Zi-Yi Dou, Anh Nguyen, Keen You, Omar Attia, Andrew Szot, Michael Feng, Ram Ramrakhya, Alexander Toshev, Chao Huang, Yinfei Yang, Zhe Gan

机构 * Apple（苹果公司） ； The University of Hong Kong（香港大学） 纠错

AI总结 提出UltraCUA基础模型，通过混合动作（融合原始GUI操作与高级工具执行）克服计算机使用智能体仅依赖原始GUI动作的局限性，采用自动化管道、合成数据引擎、混合动作轨迹收集和两阶段训练方法，在OSWorld和WindowsAgentArena上分别实现22%的相对性能提升和21.7%的成功率。