未解决
Community Manager
•
6.1K 消息
0
1941
一文读懂Cloud XR（下）
作者：Dell EMC中国研发集团 沙丹青
上一期内容，我们介绍了当前AR（增强现实）/VR（虚拟现实）/MR（混合现实）技术存在的问题，以及Cloud XR为什么能给AR/VR/MR打开更广阔的市场。在本期文章中，我们继续之前的讨论，探讨Cloud XR之下Cloud AR和Cloud VR的区别，和Cloud XR的挑战和未来展望。
Cloud VR
Cloud VR，是将云计算的理念及技术引入到VR业务应用中，借助高速稳定的承载网络，云端的显示输出和声音输出等经过编码压缩后传输到用户终端，实现VR业务的内容上云、渲染上云。
根据交互程度的不同，Cloud VR分为强交互VR和弱交互VR。
1. 弱交互VR：
基于VR眼镜，通过5G传输超高清VR内容（点播或直播），带来沉浸式、身临其境般、多维度的娱乐互动感受，可以实现足不出户体验360度全景来感受任何场景，适用于娱乐、传媒、电影院、体育等多个行业。
图5是VR直播的云解决方案。将CPU和GPU的功能（例如拼接投影和编码）放到云中，以便相机仅保留拍摄和视频上传的功能。相机引入了用于无线上传视频的移动网络，以满足移动性和户外拍摄的要求。在引入FOV（Field of View）技术后，将根据视角对VR 的360°视频进行分段。用户无需从全视角下载和解码360°视频。可以根据当前视角实时获取对应的视频段，并进行相应的解码，以降低传输带宽和解码能力。
2. 强交互VR：
主要指VR电竞/游戏等需要强交互的VR内容。当前CG类VR主要模式是 “头盔＋线缆＋PC主机” ，主要依靠本地计算机进行GPU渲染，因此对本地计算机性能要求高，用户端的设备成本非常高。Cloud VR把GPU渲染处理能力、业务内容都部署在云端，利用云端强劲的CPU和GPU来进行3D图形运算，再以视频流的形式传回终端设备上，显示出最顶级的画质。缺点是网络时延就变成了运动到成像（MTP）时延的一部分，网络时延会增加整体的运动到成像时延。
如图6所示是VR游戏的云解决方案。部署游戏处理和渲染在云端，VR 头显仅需要完成动作捕获和显示，降低了处理复杂性和末端设备的成本。云端游戏主机包括编码模块，终端包括解码模块，对游戏的原始图片进行编码和解码，解决了原始图片速率和帧速率高，带宽甚至高达几G字节每秒，并且很难直接通过移动网络进行传输的问题。终端头显可采用异步插入帧（例如异步时间扭曲（ATW））技术，并根据头部运动和前帧的局部运动直接生成中间帧，并确保MTP延迟小于20 毫秒，避免了额外的网络传输和编解码器延迟。
图6 VR游戏的云解决方案
Cloud AR
Cloud AR在实际运行过程中有如下的步骤:
· 环境感知（相机，深度传感器等）和数据预处理，以准备提交到边缘云；
· 输入跟踪（惯性运动，输入设备，眼睛跟踪等）和数据预处理
· 将环境和输入跟踪数据传输到边缘/云
· 分析环境和输入跟踪数据以更新现实世界模型并触发对用户输入的反应
· 虚拟对象的渲染
· 将渲染的数据传输到终端设备
· 在终端用户设备上显示虚拟对象
Cloud AR 和Cloud VR的总体技术框架类似，主要区别在于：
VR旨在根据用户的位置渲染已有的完全虚拟的模型，而AR还需要实时理解并适应现实世界的场景，因此需要额外的传感器，场景识别和计算功能。所以Cloud AR场景下，传感器输入的上行带宽与下行要求一样高或甚至更高。另外，Cloud AR基础架构不仅必须为高性能渲染做好准备，还必须为可能需要使用不同类型加速硬件的计算机视觉算法以及AI/ML做好准备， 比如 专门的AI处理器（如Google的TPU）。
原生AR体验往往是基于3D图形的，5G大带宽的作用主要是提升3D模型的实时加载速度，让3D模型无需提前下载到本地，只有需要用到的时候再从云端进行加载，减少包体大小。由于AR眼镜并不适合观看全景视频，因此对AR来说5G的大带宽用处不如VR显著。
AR+5G有如下典型应用场景：
• 基于AR的远程合作，即通过5G网络实时与远程专家进行高清直播互动，实现专家随时在线、远程指导等；适用于通信、医疗、制造、军事等多个行业
• 培训和教育
• AR车载导航
• 基于AR的数字孪生
MR+5G就是所谓的 “混合现实” ，主要是AR+VR的混合体，可以实现全息互动，将虚拟的全息图像直接投射在任何物理位置和现实环境中，实现现实和虚拟共存，进行实时互动。此项技术在娱乐、制造业、传媒等行业都能有很好的应用。
Cloud XR关键技术
在Cloud XR领域，如下关键技术可以减少网络延迟，提高用户体验。
1. FOV视频传输
传统的全视角传输方案需要将360°环绕画面全部推送终端，再由用户视角完成视频解码和画面投影。基于Tile（单元）的FOV视频传输已经成为全景视频传输的一种主要趋势。它通过将全景视频划分为多个Tiles, 根据用户视域（FOV）的变化每次仅读取传输用户视域内的高分辨率视频：将原始的8K 360°全景视频分割为多个Tiles并生成低分辨率的360°全景视频（例如4K 360°全景视频）；使用空间关系描述符将所有Tiles和低分辨率全景视频打包在DASH中，并通过CDN进行分发；客户端会读取低分辨率的全景视频以及位于用户视野（FOV）内的Tiles。 当用户转头并导致视野改变时，客户端从CDN请求新的Tiles以获取新的视野。 因为从请求新Tiles到渲染需要一定的时间，所以在播放新的视频之前末端将将显示低分辨率全景视频 。
2. 端云异步渲染
云渲染及流化、终端刷新显示这两个过程从串行处理分离成并行处理，即VR终端每次刷新画面时，使用的是云渲染平台送来的第n 帧渲染帧作为基础帧进行二次投影，同时云渲染平台处理第n+1帧渲染帧，与VR终端处理并行，如图7所示。此时MTP时延由终端决定，不依赖于网络和云渲染，从而使得MTP时延可以小于20毫秒。
3. 低延迟编解码器优化
当前的最主流的H.26x系列视频编解码技术导致较长延迟，主要是因为编码，传输和解码以串行模式执行，且只有在整个帧被解码之后才传送给终端显示。另外网络传输期间易发生抖动（jitter），为了抑制由于网络抖动引起的屏幕闪烁，在解码之前使用了较大的缓冲区；不同帧的解码时间也会抖动，因此在解码之后使用一定量的缓冲器以减轻由解码时间抖动引起的屏幕闪烁（图8）。所以由于网络和解码抖动而引起的等待时间往往比解码等待时间更长。整个端到端系统的运行状态还受软件处理延迟的影响，例如，数据写入时和从硬件/软件导出时所产生的延迟，以及音频到视频同步的延迟。
为了使端到端等待时间尽可能短，如图8下半图所示，编解码器最好支持分片编解码及分片传输，这样可以同时执行多个操作，并且最大化降低网络抖动，解码的数据不需要进入缓冲存储器即可克服网络抖动，并且解码端的总解码时间很稳定。除了确保切片传输时延是稳定的，用于控制比特率和编码的部署工具应该是一致的。
4. 网络切片
通过5G的网络切片技术， Cloud XR服务流和其他服务在不同的切片通道上运行。 当网络出现拥塞时，Cloud XR服务的带宽和延迟条件仍然保持不变，从而减少了对用户体验的负面影响。如图9所示 [4] ， 5G的URLLC， eMBB，mMTC 三大场景各自在不同的切片独立运行，互不影响。
综上所述，只有低延时传输、端云异步渲染、网络切片和基于低延时编码特性的编解码能力等等这些技术赋能5G边缘云，才能真正提升Cloud XR的使用体验。
挑战
尽管5G赋予Cloud XR 更多可能性，但要想真正将Cloud XR产业推向成熟，还存在着如下挑战：
1. 技术成熟度。如前所述目前AR/VR/MR自身的技术还不足够成熟，优质内容匮乏，应用不足，比如显示设备和显示技术还不够完美，头显的分辨率，纱窗效应，佩戴舒适度等等都有待进一步改善。光波导技术、空间场定位与建模技术、tof技术、近场通讯技术、眼球定位跟踪技术、手势识别技术等等技术的发展和成熟，都将会助力于AR/VR/MR提供更好的用户体验；
2. 5G网络的大规模普及性目前依然存在一定挑战，另外目前很多的终端设备还不支持接入5G；
3. Cloud XR对时延的要求比较高，需要对网络进行升级，运营商面临着如何以较低的成本实现高质量时延表现的挑战；
4. 生态不够健全。Cloud XR涉及运营商、平台、内容和终端厂商等等多个角色，建设健康的生态环境以及共赢的商业模式是Cloud XR面临的一大挑战，另外平台和系统之间的互联互通也是需要解决的问题。
行业现状
从运营商到手机厂商，再到XR领域，多个巨头正加速相关方面的布局。一些大的电信公司如AT&T，Verizon, 德国电信，中国移动，中国电信，韩国SK Telecom等都积极的和不同的软件/硬件提供商、 云计算提供商、AR/VR开发公司、高校和研究机构等等展开积极的合作，推动5G和AR/VR/MR的发展。 此外，科技巨头如微软、谷歌、 Facebook、苹果、三星、华为等早已纷纷布局。游戏及娱乐产业是Cloud XR的重大助力和推进者，价值数十亿美元的游戏娱乐产业正亟待借力云端应用，为主流用户提供新一代内容。
不同行业的不同公司都在积极开发Cloud XR的软硬件和解决方案。高通是当今市场上大多数主要的独立AR和VR头显的推动者，高通的Snapdragon™XR2平台是世界上第一个支持5G的扩展现实（XR）平台。NVIDIA的CloudXR平台可通过5G连接流式传输云渲染的AR和VR内容，利用基于GPU的云基础架构，使企业可以远程渲染高端XR视觉效果，并通过5G将其交付给客户，特别支持SteamVR/OpenVR转换。中兴通讯联合行业伙伴共同推出了基于5G的CloudXR开发套件包。一些新兴的XR创业公司如DataMesh，Gridraster等也在致力于开发独立的Cloud XR平台和解决方案。
戴尔科技集团一直致力于推动AR/VR/MR的发展，作为Cloud XR的IT基础设施提供商，拥有自己的VR头盔Dell Visor，外星人系列电脑（Alienware）也一直是VR体验最专业的标配。
Dell EMC的各类IT基础架构也为Cloud XR的实施提供了强有力的支持。在戴尔科技“Edge to core to cloud” 的宏观策略下，戴尔将为cloud XR解决方案提供商提供完善支持，包括领先的技术、完备的端到端解决方案、完善的服务、以及成熟的渠道等，支持并助力XR发展。
总结
5G技术让智能的万物能够互联，实现了大规模机器间的相互通信，与AR/VR/MR多种模式进行融合，带来不同领域的新体验。5G将会加快AR/VR/MR技术的普及。随着5G的落地，XR有望成为全新的 “杀手级应用”, 同时也产生巨大的新商机。从运营商到手机厂商，再到XR领域，多个巨头正加速相关方面的布局。
Cloud XR将物理硬件迁移至先进的云/边缘计算平台，使得 “轻量级头盔” 成为趋势，既提升了末端设备灵活性，又让未来的全新设备更轻便更便宜。消费者成本的降低，将为AR/VR/MR打开更广阔的市场。AR/VR/MR越来越重要，因为它们能够提供用户最渴望的真正身临其境的体验。有了5G的加持，AR/VR/MR等沉浸式场景的通信和传输短板将被补齐，预计AR/VR/MR投入商用的速度将会加快。而中国市场的增长速度将会高于全球其他国家。
Cloud XR目前的发展是机遇与挑战并存，要迎来爆发并健康发展，需要的是 “硬件+内容+技术+平台+网络’的共同积淀。 希望在不久的将来，电影“头号玩家”和“攻壳机动队”里的场景成为现实。