近日,第四届“绽放杯”5G应用征集大赛——云XR专题赛决赛结果揭晓。
南宫28ng科技提交的“VR视频端到端系统”相关项目,获得专题赛创意奖。
云XR专题赛,由中国信息通信研究院、5G应用产业方阵、IMT-2020(5G)推进组、中国移动联合主办,中国移动咪咕公司、中国移动通信研究院、中移(成都)信息通信科技有限公司共同承办。
旨在结合云XR(扩展现实)产业发展需求,挖掘创新解决方案和应用实践,培育并孵化面向5G的云XR创新技术和产品,增添5G新动能。
目前,VR(虚拟现实)视频端到端业务系统,普遍存在内容审核难、传输带宽大,以及多画面、多音轨音频不易处理等问题。
南宫28ng科技协同生态合作伙伴提出的解决方案(下称“方案”),能很好地解决这三大痛点。
内容审核
当前,业内对VR视频审核,主要采用和普通视频一样的审核方法。
因工作场景等因素,审核者往往不方便戴头盔等设备对360°的VR 视频进行审核,且容易遗漏敏感内容。如果直接观看投射到平面前的VR矩形视频,文字又会出现畸变等问题。
方案使用一种球面到平面的VR视频投射内容审核算法,可以将球面视频画面,以部分重叠的方式,投射到一个正方体的六个面上,然后使用人工或者智能审核系统进行内容审核,提高审核质效。
视频传输
比较常见的VR视频传输方案,是全视角传输方案,即将 360°环绕画面都传输给终端。当用户头部转动,需要切换画面时,所有的处理都在终端本地完成。
这对于传输来说是个极大的挑战,成本也大大增加。
方案提出基于FOV(视角)的编码传输技术,在终端相同观看画质状态下,较传统VR视频编码算法可节省约70%左右的带宽。
例如,典型的8K 50P VR视频,只需20Mbps传输码率,大幅降低了高质量VR视频对传输带宽的需求。
音频处理
当前,业内对多路VR音频处理,需要人为选定某个视频的音轨。当观看者通过旋转观看角度来切换视频时,需要手动调整播放音轨,不能做到动态调整。
方案提出基于姿态感知的动态音效处理技术,可根据用户的姿态、相对位置来确定播放音频。
而且,可根据音频信息及时抓取感兴趣的视频,从而指引用户进行画面切换,使VR视频终端用户获得更好的沉浸式视听体验。