
日本国家松下控股与日本国家松下美国研发公司携手美国加州大学洛杉矶分校的研究人员,共同开发了一种能够预测并支持智能手机等移动设备操作的全球模型。
同时,他们构建了约140万条数据的学习数据集“MobileWorld”,以及用于评估该模型性能的基准测试“MobileWorldBench”,成功提升了AI代理在移动设备操作中的成功率。该研究成果将于2026年10月24日至29日在匈牙利布达佩斯举办的自然语言处理领域顶级会议“EMNLP 2026”上发布。
技术特点
该技术并非通过图像重现操作后的屏幕,而是以自然语言预测操作引起的变化,例如“按下按钮后打开设置界面”或“显示输入框”等。这样,AI代理能够不受时间、通知或屏幕布局等无关信息的干扰,评估多个操作候选的预测状态变化,选择最有助于达成目标的操作。
MobileWorld数据集基于Android设备上的人类操作轨迹,包含约94.2万条屏幕变化描述和约54.3万条关于下一状态的问答数据。
利用该数据对“Qwen3-VL-8B-Instruct”模型进行额外训练后,在“MobileWorldBench”基准测试中,从准确性、完整性和相关性三个方面评分,取得了比现有方法更高的分数。
此外,将该模型集成到AI代理中,并在“AndroidWorld”评测基准上测试时,预测并执行每个操作候选的状态,任务成功率从未使用该模型的46.9%提升至54.3%。


