今年晚些时候发布的iOS 27中,最令人眼前一亮的功能是一种全新的照片编辑模式,仿佛来自《银翼杀手》中的科技。只需轻轻一动,静态照片便能转换为可调整视角的3D图像,用户可以改变拍摄角度,照片中的环境也会随之重新渲染。

作为多年来的VR/AR设备用户,并且经常使用Apple Vision Pro,我在苹果2026年全球开发者大会(WWDC)上看到这一功能时深有感触。这个功能展示了苹果一直在探索的3D技术,并以令人着迷的方式将其扩展开来。现在,我已经在iOS 27开发者测试版中尝试了这项空间重构功能,迫不及待想看到未来还能带来哪些惊喜。

我认为,这不仅仅是照片编辑的进步,而是更广阔的技术演进。

向可扫描世界迈进

苹果实现这些3D效果所用的技术叫做高斯点云(Gaussian splatting),这正是让我的身体在Vision Pro头显中变成3D虚拟形象的AI模型,也是苹果地图能够呈现更清晰3D地图的核心技术。这项技术已经发展多年,能够将3D物体、环境甚至视频转化为令人震撼的可漫游虚拟世界。

Vision Pro上的应用已经展示了覆盖整个城市街区的高斯点云,转化成令人难以置信的虚拟世界。事实上,我今年冬天还为其中一些优秀作品颁发了Polys奖。(你可以通过下面的截图链接,体验获奖作品Pfarrkirche Kefermarkt的点云示例。)Meta的Quest头显也能利用这项技术扫描你的居住空间,生成可行走的3D复制环境,效果同样惊艳。

对我来说,这代表了摄影和视频未来的发展方向,以及我们表达记忆的新方式。但苹果尚未将这项技术独立成一款相机应用。

苹果在自家技术中谨慎引入高斯点云,采用多种细致的方式逐步推进。今年WWDC上,苹果在iOS的空间重构功能中展示了它,同时在Vision Pro中推出了全新的全景照片转换工具,可以将拍摄的全景照片转化为环绕式3D环境供用户工作。此外,苹果还更新了3D地图视图,虽然尚未将其沉浸式体验引入Vision Pro,但谷歌的3D地图曾是去年三星Galaxy XR头显的亮点。

细节逐渐拼凑完整

去年我曾与苹果Vision团队交流过关于Vision Pro中“Persona”虚拟形象的技术,了解到高斯点云是实现精细面部捕捉的关键。此次iOS 27和VisionOS 27的新功能依然采用了这一模型,但带来了新的应用效果。

空间重构功能让我联想到去年推出的空间场景照片转换功能,只不过这次更具互动性,可以在有限的角度范围内调整视角,AI会生成照片背后或视野外的内容。虽然不能完全深入照片内部或实现全方位旋转,但用户可以重新固定新的视角并保存,这种控制感让我更接近体验完整3D高斯点云捕捉的感觉。

当然,要实现更大范围的扫描,需要更多照片拼接。这或许是苹果接下来的突破点,因为开发者们已经在其他平台上实现了类似功能。

我期待苹果能将多张照片拼接成完整场景,甚至重建可自由行走的空间。VisionOS 27中的全景照片转换工具已经接近这一目标,能够将照片包裹成环绕式体验,虽然暂时还不能自由行走。

我相信这一天终将到来。但苹果首先需要推出真正亲民的沉浸式眼镜或头显,目前预计明年才会有智能眼镜问世,且初期型号可能不带显示屏。而售价3500美元的Vision Pro头显完全有能力实现全屋扫描,苹果也能基于自家应用进行处理,iPhone的相机工具也会随之进化。

最终,这将定义沉浸式视频和照片的未来。现在,我们已经能在日常中窥见这一未来的端倪。