苹果 VR/AR 新专利：用神经网络模拟全身动作，让 VR 无线传输更快

近日，苹果的两项 VR/AR 相关新专利得到了美国专利商标局（U.S. Patent and Trademark Office）授权。

第一项专利是“生成身体姿势信息（Generating body pose information）系统”。该系统通过收集身体各个地方的信息，然后利用这些信息打造用户的虚拟化身（avatar）。第二项专利是“自适应无线传输（Adaptive wireless transmission schemes）系统”。该系统处理 VR 头显设备和主机之间的通信。

据悉，苹果正在开发 AR/VR 头显，以及称为“Apple Glass”的 AR 智能眼镜。苹果正在针对人机交互领域的难题设计不同的解决方案，希望苹果头显产品可以在其他头显产品中脱颖而出。

根据专利报告显示，苹果新专利“生成身体姿势信息”系统可以通过摄像头、神经网络系统等方式搜集用户的姿态信息，形成一个用户的虚拟化身 。

1、用神经网络系统搜集用户姿态信息

单个神经网络系统可以搜集用户姿势信息；多个神经网络系统协同工作，可以模拟用户的某个关节；最终，所有系统的信息全部汇总在一起便可以在虚拟世界打造一个用户的“分身”。

在这个过程中，不同的硬件设备都需要机器学习。因为“生成身体姿势信息”系统不仅要处理摄像机所搜集的数据，还需要让不同的神经网络系统之间“学会”信息交互。

2、神经网络系统覆盖身体全关节

神经网络系统会搜集用户身体上哪些部位的信息，苹果在专利报告中给出了答案。

▲ 多个神经网络系统可以监控用户的各个关节，共同创建一个全身模型。（来源于：Appleinsider）

“生成身体姿势信息”系统的信息搜集范围包括了“脖颈、肩关节、肘关节、腕关节、骨盆关节、膝关节、踝关节和指关节”。该系统不但会对每个部位的信息搜集范围做出界定，而且还会确定各部位之间的连接处在哪里。

尽管该项专利的列表里给出了所有创建用户身体模型需要的基本要素，但似乎并不是很详尽。比如说，指关节似乎只是重点指代手指，脚趾以及脚部运动似乎并没有被该系统所关注。

3、用数据打造用户虚拟化身

苹果认为，打造良好的沉浸式体验需要尽可能地搜集更多有关用户姿态的信息。因为 VR 或 AR 应用程序可能会需要依据用户的静态姿势或动态行为，为用户呈现不同的内容。比如说，VR 游戏中的守卫需要对用户不同的攻击动作做出不同的反应。

事实上，苹果希望用“生成身体姿势信息”系统控制用户在虚拟世界的化身。比如说，虚拟在线社交 VR Chat 就可能会运用到这个系统来改变用户的头像呈现方式。

苹果的第二项专利“自适应无线传输”系统希望能打通头显和主机之间通讯壁垒。

1、VR 头显遇通讯难题

目前市面上的 VR 头显如 Oculus Quest，尽管设计者可以通过增加头显的重量，让头显和主机之间的连接部位减少相应重量，但是，连接部位的电线本身就是一个问题。

对此，有人提出用无线通信系统减轻头显的重量，并且取消电线。但事实上，无线通信系统也会存在很多问题。

比如说，无线通信系统传输数据需要消耗设备电量，并且无线通讯系统的带宽比有线通讯更少。再比如，无线通讯系统里最常见的断连、其他设备干扰的问题。

2、新专利采用交错帧传输

面对这些难题，苹果新专利“自适应无线传输”系统提供了一种新的解决方案。

它虽然采用了无线通信系统，但是减少了一次传输的数据量。该方案要求系统传输尽可能少的视频数据。并且，这项专利选择将网络的带宽量减半，通过左右眼数据交错使用，实现交错帧数据传输（interleaved frame transmissions）。

苹果的新专利认为，数据不必传输画面的每一帧。它将画面的传输帧分成不同类，一类是需要紧急更新的画面帧，另一类是可以再次使用、没有更新、较早时间的画面帧。

▲ 每只眼睛的交替视频帧可以将一次传输的数据量减半。（来源于：Appleinsider）

3、凝视跟踪功能加持数据节流

此外，该项专利还用到了凝视跟踪功能（mention of gaze tracking）。该功能可以通过用户的凝视，优先更新用户正在查看画面的数据。不仅如此，它还通过注视点显示技术（foveated display techniques）减少用户未关注的画面细节量，再次节省数据传输。

但实现这一方案可能需要极高的帧速率（frame rates）。据苹果专利报告显示，由于头显在眼睛部位，所以“每秒至少达到 100 帧”。

此前，苹果在 VR 和 AR 领域具有很多专利申请，并且与这次两项新专利有一些技术交叉。

比如说在中央凹区域的显示技术（ foveated displays）方面，中心凹是眼睛的一个关键区域，它使人们能够以非常清晰和精确的方式看到东西。2020 年，苹果又设计了与此次类似的一个系统，该系统可以通过眼动追踪（ eye tracking）来决定将数据资源投放在屏幕哪些地方，并且可以通过凝视检测功能（using gaze detection）来确保画面是否完成更新。

再比如说，手势识别功能。2018 年，苹果的一项专利曾涉及如何利用头显下方的摄像头来监控用户的手势变化，以便系统通过手势变化管理 3D 文档。2015 年，苹果的一项专利可以通过机器视觉，远距离识别人们的手势。

苹果每周都会提交大量的专利申请，但新专利的存在仅代表苹果的研发团队对该领域感兴趣，并不能保证这些专利会出现在苹果的产品中。

苹果两项在 VR/AR 领域的新专利向我们揭示了一个事实，苹果已经拥有较为成熟的、针对人机交互领域的难题的解决方案。

根据天风证券分析师郭明錤报告，苹果可能将在 2022 年中期推出 VR/AR 头显设备。他认为，苹果头显能否成功要看 VR/AR 应用能否提供非常顺畅的显示与操作流程。

据 IDC 称，到 2022 年，VR/AR 的市场价值约为 560 亿美元。当苹果入场头显设备时，是否能通过新的技术加速 VR/AR 设备落地，我们静观其变。