|
m999999
| 来自北京
什么是虚拟人?
虚拟数字人作为新一代人机交互平台,其发展与制作技术息息相关,通过计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等技术打造而成。
而虚拟人又通过人物形象、语音生成、动画生成、音视频显示、交互五个模块构成,大概可以分为两大类:2D虚拟人和3D虚拟人。
2D虚拟人:2D虚拟人根据真人形象建模,和真人相似度极高,主要应用有金融 、医疗、保险,地产传统企业的客服等,可进行多轮对话交互,但不可旋转,虚拟人姿态有限,服饰、发型等外观不支持自由修改,形象相对固定。2D虚拟人不能应用在3D场景里,不能进行3D呈现,同时也不能应用在VR、AR及游戏中。
3D虚拟人:3D虚拟人风格多样化,且可以自由打造风格化外观,应用场景广泛,主要应用场景有内容创作、IP打造、创意类内容打造,具备多交互、多形态、自由修改的特点,可与真实场景搭配进一步提升写实效果。
制作虚拟人需要怎样的流程?
一、建模
2D虚拟人:2D虚拟人普遍使用静态扫描技术制作,即通过40-60个照相机对真人进行全方位拍照,根据拍照光线和角度进行矩阵扫描,从而在软件中呈现出2D立体形象。静态扫描技术仅需拍照搭配上少量所需数据,就能以较低的成本制作出2D虚拟人形象。
2D虚拟主播
3D虚拟人:3D虚拟人建模对于软件和技术要求较高。
采用动态扫描技术,将采集到的光影效果或是照片数据,通过人脸特征识别、空间变换组件、模型重建组件、骨骼变形组件、纹理融合组件等搭配合成多模态3D模型,除真人形象外,包括卡通、二次元等类型。
3D虚拟人
二、驱动
1.面部表情
2D、3D虚拟数字人嘴型动作智能合成底层逻辑类似、均建立在输入文本到输出音频与输出视觉信息的关联映射。
2D虚拟人:主要通过视频算法呈现,已采集到的文本到语音和嘴型视频的数据进行模型训练,得到一个输入任意文本均可驱动嘴型的模型,再搭配语音自动识别,对语音进行标注、绑定数据与动作,这样形成虚拟人可对某个特定词语或特定语境做出相应的动作,但动作有限,且重复固定,一般只能呈现正面的形象。
3D虚拟人:驱动方式多样,包括视频算法训练、语音自动识别和动捕设备采集等。通过3D模型与其相对应的BlendShape向量来表达,可呈现三维立体形象、动作灵活、可随意驱动的3D虚拟人形象。
嘴型动作合成逻辑
2.全身动作
目前动作捕捉技术是最成熟且呈现效果最好的动作生产方式,可分为光学式、惯性式、电磁式及基于计算机视觉的动作捕捉。其中光学捕捉精度最高、对环境要求最高且硬件成本最高,惯性捕捉抗遮挡能力最强,视觉捕捉算法开发难度最大。
动捕服:需要真人穿戴一整套动捕设备,动捕设备与真人肢体动作相绑定,可实时传递到虚拟人身上。
光学动作捕捉:通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务,即在真人身上粘贴能够反射红外光的马克点,通过摄像头对反光马克点的追踪,从而对真人动作进行捕捉。
惯性动作捕捉:基于惯性测量单元IMU来完成对人体动作的捕捉,即把集成了加速度计、陀螺仪、磁力计的IMU绑定在人体特定骨骼节点上,通过算法对测量数据进行计算,从而完成动作捕捉
光学捕捉、惯性捕捉、视觉捕捉对比图
三、渲染
渲染技术分为实时渲
染技术和离线渲染技术,随着硬件能力提升和算法突破,虚拟数字人的真实性和实时性将大幅提升。二者在渲染时长、计算资源、计算量等方面存在差异,所对应应用场景亦有所不同。
实时渲染:将图形数据实时计算输出,每一帧都是针对当时实际的环境光源、相机位置和材质参数计算出来的图像。渲染花费时间较短,但受限于时限要求计算资源一般不能及时调整。实时渲染多用于3D虚拟人。
离线渲染:图像数据并非实时计算与输出。渲染时间相对较长,计算资源丰富,受时限限制有限,可临时调整更多计算资源。离线渲染多用于2D虚拟人。
当先有哪些虚拟人市场?
虚拟电商主播:在各大虚拟电商直播平台中,用虚拟人进行直播带货卖货,利用虚拟人特定的人设和智能交互的功能为货品做推广和售卖,同时利用新的直播方式吸引粉丝。
运营方式:智能驱动和真人驱动交替出现,专业赛道以新闻播报为主。
代表:海尔兄弟
海尔首次以海尔兄弟为品牌IP做宣传
虚拟up主:短视频拍摄。在视频平台上活跃的虚拟up主,同样可以利用庞大的平台粉丝量,以虚拟人为主体,可以搭配:真实场景、真人互动、虚拟故事情节等元素,进行视频拍摄,做到品宣、吸粉两不误。
运营方式:智能驱动,视频平台以直播带货,生活分享,内容科普为主
代表:柳夜熙、曲大师、Gina
柳夜熙
虚拟偶像:根据不同企业的文化制定一个身份(模特、歌手、演员、网红、游戏高手),拥有鲜明的个性,才艺设定,活跃于各大社交平台、视频平台、综艺节目等,通过积累流量和人气,获得更多展示机会。
运营方式:与真人艺人相似,通过歌曲、硬照、短剧等作品进行人设运营
代表:洛天依、柳夜熙、翎Ling、AYayi
AYAYI
虚拟员工:由企业推出,作为企业的“数字员工”,对外展示企业的产品、服务、文化。一类多最为智能客服出现,另一类以偶像、红人方式出现在社交、短视频平台上独立吸粉。
运营方式:企业虚拟品牌官、形象代言人、智能客服
代表:百信银行AIYA、哈尔滨啤酒哈酱、OPPO小布
百信银行AIYA和央视网数字主播小C
虚拟直播姬
像小姬这样,身兼多职的,既是虚拟员工,也是虚拟UP主播,同时也是虚拟电商主播,都是以小姬同一个身份去完成的,小姬的风格就是:不仅要做到效率高、准确性强,也要做到24小时工作不喊累。
虚拟电商主播小姬
保险员小姬
对元宇宙-虚拟人感兴趣的可以关注我,带你了解元宇宙-虚拟人最新行业动态、落地应用、技术解读,同时还可以关注我的成长,见证我的能力变化。 |
|