有时我会戴着苹果的 Vision Pro 头显,使用罗技推出的黑色空间手写笔 Muse,在空中绘制悬浮旋转的奇异涂鸦。这个过程仿佛魔法一般,但令人遗憾的是,苹果似乎对这类专业级的三维创作工具并不够重视,也没有推出自家的空间版 Apple Pencil。这种半成品的感觉让 Vision Pro 这款已有两年历史、进入第二代硬件的设备,时常给人一种“死气沉沉”的印象。

但事实并非如此。根据马克·古尔曼的最新报道,苹果计划推出更小更轻的新款 Vision Pro,预计至少要几年后才会面世。同时,苹果融合 AI 的智能眼镜预计最早也要到明年年底才会发布,带显示屏并具备 Vision 类功能的产品则更晚。

随着苹果即将举办 WWDC 软件大会,现在正是释放 Vision Pro 潜力的最佳时机,不仅是为这款设备本身,更是为未来的产品铺路,尤其是结合 AI 的可能性。

硬件潜力远未被充分利用

我对空间计算充满兴趣,尤其是随时在周围浮现的屏幕和应用。但苹果目前展示的功能只是冰山一角。苹果不断完善的 Persona 头像只是潜力的一个方面。

我经常测试类似产品,也与探索未来解决方案的人交流。Vision Pro 被视为库克时代苹果最大的产品失败——你身边有谁拥有它?但它同时也是目前最先进的 VR/AR 设备。它搭载的 M5 处理器、精准的眼动追踪、远近距离运动传感器、以及将现实世界与虚拟视频融合的摄像头,都是顶尖水平。

问题在于 Vision Pro 没能充分发挥这些硬件优势,缺乏真正实用的专业工具,也未能探索苹果未来 AI 可穿戴设备必须解决的诸多问题。

我预计苹果会推出智能眼镜、带摄像头的 AirPods,甚至可能有具备环境感知能力的挂件或胸针。但在此之前,Vision Pro 已是一款具备诸多可能性的现实产品,只待苹果释放其潜力。

此外,单纯依赖沉浸式 3D 视频和体育赛事内容,显然无法支撑 3500 美元的高价。那极其逼真的 3D 扫描技术呢?通过高斯点云(Gaussian splatting)技术实现,并在 Vision Pro 上展示?或者,AI 识别你佩戴的虚拟世界,甚至在多个项目间为你提供智能指导?

视觉智能应优先在 Vision Pro 上实现

摄像头感知的 AI(多模态 AI)正成为主流,Meta 已将其集成到智能眼镜中,谷歌和三星也在现有混合现实头显及即将发布的眼镜中使用类似技术。

去年秋天,谷歌和三星发布了类似 Vision Pro 的 Galaxy XR 头显,探索诸如始终在线的 Gemini Live 模式,能视觉识别你所在空间和使用的应用。苹果与谷歌合作,将 Gemini 技术注入 Siri,未来苹果硬件也有望开展类似探索。

我对 AI 在可穿戴设备中如何介入我们的感官既好奇又担忧,尤其是对佩戴者及周围人的隐私影响。但 Vision Pro 拥有丰富的传感器和处理器,是苹果测试这些理念的理想平台,为未来智能眼镜、智能胸针或智能 AirPods 的发布铺路。

此外,Vision Pro 的操作系统应更多探索高斯点云技术。与苹果用多镜头拍摄的立体沉浸视频不同,高斯点云能利用 AI 拼接生成全息风格的图像和视频。苹果已在 Vision 中引入更多空间 3D 层,Persona 是其中最大亮点。Vision Pro 应成为完整 3D 扫描工作室系统的一部分,配合 iPhone 上的相机应用及头显上的应用共同使用。

打通苹果全线产品与 Vision Pro 的连接

罗技 Muse 就像是苹果 Vision Pro 版的 Apple Pencil,苹果自己却未曾推出类似产品。索尼的 PlayStation VR 2 控制器也能连接 Vision Pro,带来独特的游戏体验,因为苹果同样没有自家空间控制器。

这在一定程度上可以理解,毕竟 Vision Pro 是一款实验性产品,苹果常依赖罗技等厂商探索尚未开发的外设(iPad 键盘保护套也是如此)。

然而,Vision Pro 仍未能与苹果已有多年的其他产品实现无缝连接。虽然 AirPods 可连接,Mac 也能扩展显示器甚至将 Mac 应用投射到头显,但 iPhone、iPad 和 Apple Watch 却被奇怪地排除在外,除了通过 AirPlay 投射屏幕外。

我希望能共享应用、扩展 iPhone 和 iPad 的显示屏,让 Vision Pro 成为一个共享的计算平台,就像它与 Mac 的配合一样。iPhone 级芯片现在已能运行 macOS,MacBook Neo 就是证明。它们完全可以共享屏幕、扩展应用,甚至让头显识别所有设备,实现神奇的多设备协作。

Apple Watch 的缺席尤为明显:它是一个佩戴在手腕上的控制面板,具备运动追踪功能,如果苹果允许,它本可以成为 Vision Pro 的绝佳交互界面。

打开专业应用的大门

对我来说,Vision Pro 最大的缺陷不是价格或体积,而是它在成为真正“专业”计算设备方面远远落后于 Mac 和 iPad,尽管搭载了 M5 处理器。

所谓“专业”,是指视频编辑套件、音乐创作工具、3D 图形程序——这些都应该在 VisionOS 上运行,支持苹果引以为傲的创意工作。

令人奇怪的是,Vision Pro 似乎被电影制作人用作片场监视器,查看素材或 3D 模型,但它本应成为一个全方位的创作门户。庞大的虚拟显示器和 3D 界面应支持模拟和创作,甚至比 Meta 功能较弱的 Quest 3 头显更强大。

如果让开发者打造强大的专业应用太难,苹果又不愿自己开发(新推出的 Creator Studio 应用套件就未针对 Vision Pro 优化),那么通过 Mac 和 iPad 扩展和流式传输内容是个不错的选择。VisionOS 可以渲染来自 Mac 的 3D 内容,甚至利用视线聚焦流(foveated streaming)技术优化,只在你注视的区域提供高分辨率。

为开发者开辟扩展 Mac 应用到 VisionOS 的路径,或支持 iPad 和 iPhone 的类似功能,是必经之路。否则,想要认真工作时,我很可能会摘下 Vision Pro。