开启辅助访问
 找回密码
 立即注册

游戏中3D全景视频生成技术介绍

shuning 回答数4 浏览数2391
春节一波突然来袭的疫情,改变了很多人的生活方式:视频会议成了日常,同学们在家里上起了网课,很多公司也搞起了远程办公… 而此时,另外一台行业也在悄然兴起,那就是VR在各种领域的应用。
比如,VR看房,通过全景相机拍摄360度全景图像,在软件中将拍摄的图像展现出来;买方在足不出户的情况下,便能“身临其境”的感受房子的格局,空间,视野等。

图1 贝壳看房

再比如,虚拟世界里也出现了由全景功能生成第一视角的视频。油管上也有不少全景视频供大家观看。比如说下面视频(https://www.youtube.com/watch?v=hNAbQYU0wpg),可以很“省事”的体验一把第一视角坐过山车的惊恐感觉。

图2 VR过山车

VR技术在游戏中也有很多应用,最近比较火的游戏——节奏光剑,玩家需要通过操纵杆在虚拟现实场景根据音乐节奏准确地砍击方块。玩得的人很多,大家有机会可以去体验体验。

图 3节奏光剑

以上这些都是基于VR技术的一些实现效果。而对于一些3D游戏,结合全景生成技术,在游戏中可以将游戏中的场景或动画实现成具有立体效果的视频,戴上VR眼镜后就仿佛进入到了真实的游戏场景中。
游戏中的实现VR和生成立体视频背后的原理相近,但是又有些区别——全景视频中需要处理一些复杂的情况。今天我们这边主要介绍下:全景视频生成技术,即如何利用游戏里的场景,生成立体的视频,使大家带上眼镜可以进入“真实”的游戏场景。
下面篇幅我们主要从以下三点介绍:

  • 全景视频类型
  • 立体全景视频的生成流程
  • 视频生成中遇到的一些问题
一、全景视频类型

全景视频生成分两种:
1.单眼平面全景视频(Mono video):此类视频只有一只相机生成视频,类似普通的影片。不过相机可以360度旋转,观看周围的场景。 这类视频Youtube上很多,不需要借助vr设备,便可以观看。
2.双眼的立体全景视频(Stereo video):此类视频通常会生成左右眼两张图片,然后合并成一张图,最后借助VR设备,呈现出双眼立体的效果。通常视频长宽比为1:1 (比如4096*4096)由两张长宽比为2:1的左右眼的全景图组合成一张1:1的图片。
对于单眼全景视频,做好视频后可以根据youtube的规则如引用1)所示,用工具添加meta data,然后上传视频到网站,就可以正常播放了。
对于双眼,则需要生成视频后,把左眼放在上半部分,右眼放在下半部分,组成一张图,然后生成视频序列,最后用h264编码成mp4文件,给VR设备使用。

图4单眼全景视频

图5立体全景视频

二、立体全景视频的生成流程

以分辨率为4096*4096的全景视频生成为例,生成流程如下:
while( 镜头没有结束 )
{
设置新的相机位置
开启左眼拍摄标志
拍摄当前相机位置前后左右上下六个面,每个面需要生成对应的mipmap,合并成一台cube map
用球面坐标去cubemap上采样,最终输出到一张纹理A(4096*2048)上

开启右眼拍摄标志
拍摄当前相机位置前后左右上下六个面,每个面需要生成对应的mipmap,合并成一台cube map
用球面坐标去cubemap上采样,最终输出到一张纹理B(4096*2048)上

将纹理A和B合并成一张方形纹理(4096*4096)
}

将生成的序列帧合并成mp4
上面的流程比较简单。其中有两点需要说明:
生成mipmap作用:避免在生成球面图时采样导致生成的视频闪烁问题
开启左右眼拍摄标志:只是设置了下一台shader uniform param. 用来区分左右眼的情况下,看到物体的细微不同。
至于生成全景视频的过程中左右眼的图片到底有哪些不同、生成时具体做了哪些工作以及遇到哪些问题下面将详细说明。
三、视频生成中遇到的一些问题

1. 左右眼立体图像问题

图6 不同相机生成全景图

刚开始生成全景图的时候,是把左右眼的相机放在两个不同的点,然后在各自的位置生成cubemap, 此时生成的图片在VR眼镜里看的时候,在某个朝向看物体是立体的,在相反方向会头晕,原因:如上图所示,当观察上面物体时,左边是左眼,右边是右眼;当观察下面物体时,左边是右眼,右边是左眼;此时就会出现右右眼不匹配,头晕;
另外,即使没有错位问题,在不同角度下,两个眼睛看到的物体的偏差是不一样的。如下图所示:

图7 引用自Rendering Omnidirectional Stereo Content

要解决视觉偏差问题,需要看到的每个像素都是当前镜头位置下,左右眼在正确的位置上时看到的物体;而最早使用的方法,只是相机在固定的位置拍摄一圈,然后左右眼拼起来,效果就错了。
google的Rendering Omnidirectional Stereo Content(引用3)文章中介绍的方法,解决了这个问题,但是其中介绍的光栅化pipeline下如果每个像素都画一次屏幕,速度会比较慢;我们这里结合Unity中的做法,将相机固定在同一台位置,对vertex shader中所有的顶点,根据距离相机的远近进行不同程序的位置偏移,来模拟类似的效果。这种方法,在光栅化的pipeline下,会有一些bug (比如某些建筑三角形过大,导致变形较严重的问题) 理论上没法避免,但总体效果还不错,可以接受。

图8 引用自Rendering Omnidirectional Stereo Content

需要对场景里的所有物体,包括建筑,人物,特效粒子等,在vs中对顶点进行依稀,以下是vs中对每个顶点偏移的算法:

图9 unity中的偏移算法

图10 对顶点的世界坐标进行偏移

2. 阴影问题
上面解决了左右眼立体的问题,但是或是会头晕。后面发现是只要眼睛看阴影的地方,就会特别晕,眼花了。最后发现是由于上面对顶点偏移的做法引起的:
因为左右眼的顶点位置不对了,我们阴影的算法是根据mesh的位置来算实时的阴影的,此时阴影和顶点的相对关系就不匹配了,比如说同样角色家用投影在地上的阴影,左眼和右眼生成的阴影与人自身的位置像素偏差分别是8、10像素,虽然细微的差别从视频上看不出来,但是放在VR眼镜里,左右眼就会感觉到明显不匹配。
解决办法:
1.在pixel shader阶段,将当前像素原始的world position输出到一张额外的render target上. 我们引擎里各种材质较多,不统一,这块改动工作量较大,所有的shader都得过一遍,在ps中输出world position.
2.在渲染阴影的时候,通过当前的屏幕纹理坐标, 找到当前像素原来的world position,然后用这个点去判断是否在阴影内,这样左右眼的阴影就统一了。代码如下图:

图11 对顶点的世界坐标进行偏移

3. 接缝问题
渲染出来的球形图,经常会看比较明显的边界,后面发现是因为明暗不同导致的。而明暗是由于生成相机6个面的时候,hdr会调节屏幕亮度,由于hdr的原理,在每个面的边缘计算机并不连续;

其他说明:
上面这种方式渲染速度比较快,每个镜头需要渲染6张图,普通工作机器上,3分钟的视频,渲染半小时左右。
Unreal4中的Stereo Panoramic Movie Capture插件,也实现了全景图功能。实现方法是:
将全景图的球面划分成粒度很小的一台个小网格(水平方面180等分,竖直方面30等分能达到较好效果),然后每次渲染一小部分,最后拼接起来,这个好处是不会有我们之前遇到的大的三角形,变形扭曲的问题。
但是这个方法因为渲染的次数较多,性能较低,与上面的算法,相差两个数量级。

小结:
利用全景生成技术,可以很省事的生成游戏中的立体视频,戴上VR眼镜就能在家里领略游戏中的美丽3D风景。
最后附上我们之前尝试制作的3D西湖十景视频部分截图:

图12曲苑风荷

图13花港观鱼

图14在鹰背上看西湖全景

图15 雷峰夕照

图16 断桥残雪

Reference:

  • https://support.google.com/youtube/answer/6178631?hl=zh-Hans
  • https://developers.google.com/vr/discover/360-degree-media
  • https://developers.google.com/vr/jump/rendering-ods-content.pdf
  • https://assetstore.unity.com/packages/tools/camera/360-vr-camera-capture-rig-53264
  • https://www.unrealengine.com/zh-CN/tech-blog/capturing-stereoscopic-360-screenshots-videos-movies-unreal-engine-4
墙和鸡蛋
好文章,blong牛逼
用PixPix生成超酷炫电视壁纸
回复 赞 踩
使用道具 举报
shilianlian
亲,赶紧招些真正做游戏的员工吧,看看新倩女幽魂,什么风予荷秃头青青,做游戏不行背后diss玩家第一名[爱]整天就是⭕️钱,游戏BUG一堆,半成品次世代啥都敢放出来[爱]
回复 赞 踩
使用道具 举报
scao
很多年前想破头也没想明白的问题,终于找到答案了,全景+立体实在难搞
回复 赞 踩
使用道具 举报
yifeichongtian
学会了学会了[赞同]
回复 赞 踩
使用道具 举报
快速回复
您需要登录后才可以回帖 登录 | 立即注册

当贝投影