新皇冠体育 > 新闻资讯 > 正文
联系我们 / CONTACT US
深圳市新皇冠体育机械厂
公司地址:深圳市龙岗区坪地六联社区发强路7号
联系人:申先生
电话:0755-84071674 、84071672
传真:0755-84071675
E-mail:huaite@vip.163.com
网址:http://www.guildwars2goldok.com
新闻资讯
[新皇冠体育]爱奇艺、北大、微软联合提出全景视
[db:作者]   发布时间:2020-07-03     来源:未知
新皇冠体育是24小时提供时政新闻,国内新闻,国际新闻,生活新闻,时事热点,新闻图片,军事,历史,生活,的专业时事报道门户网站。

近日,爱奇艺与北京大学、微软研究院共同完成了基于AI技术的全景视频流媒体系统EPASS360的论文——《EPASS360: QoE-aware 360-degree Video Streaming over Mobile Devices》,论文被国际移动计算领域顶级刊物IEEE Transactions on Mobile Computing(简称TMC)接收。

该论文提出了一个全新的基于人工智能技术的全景视频流媒体系统EPASS360,可以有效地应用于工业级全景视频业务场景中。在现有家用宽带、WiFi环境下,这个新系统解决方案将根据用户视野所及范围,预测分配码率,保障用户在观看全景视频时看到的画面都足够清晰且流畅。 受益于过去几年视频编解码技术的发展和内容制作的经验,如今全景视频、交互式VR游戏等项目因其沉浸式的视觉体验吸引了用户的广泛关注。

爱奇艺已经发布全景视频在线服务,并自主研发了爱奇艺奇遇VR一体机、手机VR盒子系列等终端产品,致力于打造最佳的观影效果。

360度VR全景视频能让用户获得身临其境的感觉,为了达到最佳全景视频的视觉体验,全景视频需要被设定在8K、16K超高清分辨率模式,但目前家用宽带、WiFi环境下,高码率视频流的网络传输仍是了一项巨大的挑战。考虑到在全景视频播放的过程中,只有视野范围内的画面会呈现在显示屏上,而其他部分的内容尽管被下载及解码,但是用户并不会观看到。从这点出发,对全景视频的编码方案通常采用一种基于平铺区块式的方式,如下图所示,即将原始等距柱状投影图编码的画面切分为网格状,而后根据用户的视窗的位置为各个区块指定码率,使得码率集中在视窗中,从而既节约了带宽又保证了视频质量。

于是,全景视频流媒体系统中的用户体验优化问题,可以转化为对用户视窗位置预测、对用户带宽预测和根据预测为各个区块分配码率三个子问题。论文所提出的 EPASS360是一个基于模式识别和集束搜索(beam search)的全景视频流媒体系统。具体而言,该系统使用前沿的长短期记忆网络(LSTM,Long Short-Term Memory)结合平台日常积累的大数据进行精准的用户视窗位置预估及带宽模式识别。而后,根据预测模型给出的预测结果,EPASS360建立在未来若干个视频片段上的用户体验最优化模型,并根据求解结果进行码率分配。EPASS360采用现在主流的用户体验建模方式,即以播放进程中可实时统计的视窗内的画面码率(越高越好)、视窗内相邻区块的码率差异(越小越好)、视窗内固定位置区块的码率变化(越小越好)、卡顿时长(尽可能避免)四方面测量信息作为优化目标。针对不同的场景或用户偏好,四项指标的权重可以相应地进行调整。与许多传统策略式流媒体系统不同的是,EPASS360可以根据不同的用户体验目标进行有针对性地优化,结合对播放进程的精准识别及预测,使得码率分配更为合理。