虚拟数字人(8.330, 0.11, 1.34%)技术的进步和成熟让越来越多的影视剧中有了虚拟人的身影。不管是此前热映的《阿凡达2》,还是电视剧《二十不惑2》的虚拟演员202,都大量使用了数字人技术。实际上,虽然当前数字人在许多行业都有了应用,但数字人技术最为广泛的应用依然是在影视方向上,这个领域也是数字人技术能够带来效益的最好行业。
今天,各种出圈的数字人正推动数字人产业被人们更深入地认识,数字人形态、技术及应用受到大量关注。对于影视行业来说,数字人的广泛应用正在给影视行业带来怎样的变化?对于数字人行业来说,数字人离同时实现拥有“好看的皮囊”和“有趣的灵魂”又还有多远的距离?
曾经,虚拟数字人还是一个高不可攀的行业,最早主要就是应用在影视制作、3d游戏和虚拟偶像领域。
在影视应用方面,全球超过10亿美元票房的前10部电影中,有4部电影的票房超过20亿美元,分别是《泰坦尼克号》《阿凡达》《复仇者联盟3:无限战争》和《速度与激情7》。而这4部电影无一例外都使用了大量的虚拟数字人技术,集合了三维建筑、数字高清、虚拟摄像、图像渲染及合成等几乎全部先进技术,给观众带来了无与伦比的视觉震撼,也为导演团队带来了极大的经济回报。但这些电影背后的技术门槛和资本门槛也让绝大多数行业望而却步。
比如,2018年4月在美国上映的《复仇者联盟3:无限战争》,最终全球票房达到20亿美元。在这部充满想象力的电影里,灭霸就是虚拟数字人技术在影视界的殿堂级应用。作为“复联”中最强大的反派,灭霸拥有巨型的恶霸身形和脸型,配上犀利眼神和紫色皮肤。
首先,电影制作组需要通过三维建模形成灭霸的原始模型,然后对演员进行骨骼绑定和动作捕捉,采集到的数据会被赋予到模型上,并驱动灭霸模型产生运动,最后通过后期动画制作而成。其中,面部是最难处理的部位,为确保最逼真的效果,灭霸的扮演者乔什·布洛林(josh brolin)的脸上排布了大约150个追踪标记点,再戴上头盔摄像机(hmc)以48fps的高清分辨率进行立体拍摄,对面部进行实时数据采集。
在这个过程中,身体捕捉同时进行,这样才能做到演员的肢体动作与面部表情完全匹配。这些数据经过机器学习的训练和专业软件的处理,自动将低分辨率网格转变为高分辨率网格,确保采集到的肢体和面部的数据是高精度的,150个面部数据点最终将转化为约40000个3d形态且高分辨率的演员面部动作数据。
除了使用了大量的动作捕捉技术,为了让这个虚拟角色拥有更真实的质感,制作组还需要使用更高阶的渲染技术。灭霸的眼球模型也是经过精心制作的,通过模拟真实眼睑的数据,识别眼睛周围皮肤和软组织、皱纹的运动状态,最后形成特写镜头,几乎可以达到完全写实的效果。所以我们在电影中能清晰地看到灭霸脸上细微的表情变化、脸部肌肉运动甚至皱纹活动。数字人技术的大手笔应用,也让《复仇者联盟3:无限战争》的投资费用达到了巨额的10亿美元左右。
而随着虚拟数字人技术的不断成熟,数字人在影视中的应用正在越来越普遍。除了科幻电影,很多高投资的影视也都开始广泛应用虚拟数字人技术。虚拟数字人技术的应用,给影视行业带来的最重要的改变,就是激发了影视创作的想象力——正如《阿凡达2》中展现的潘多拉星球的壮美景象和纳威人在其间生活穿梭的场景给人们带来的无与伦比的视听体验一样。
值得一提的是,不管是《复仇者联盟3:无限战争》还是《阿凡达2》的数字人技术都采用的是将虚拟场景和现实制作相结合的制片方式。虚拟数字人技术对影视行业带来更深刻的改变,还在于纯虚拟人的出现。
比如,电视剧《二十不惑2》中的虚拟演员202。202是一位超写实数字虚拟人,与当下二次元风格的虚拟偶像不同,他拥有与真人极度相似的外形,虽然在剧中202的画面是与设备结合的状态,但随着硬件逐步完善,他会随着角色设定与成长发展摆脱设备,以物理形态出现在影视内容中,甚至代替部分真人表演。
实际上,早在荧幕首秀之前,202就已经在各个社交平台开设个人账号,还包括身高184、爱好音乐/听故事、暂住一个叫602的房间等人设。可以看出,202已经拥有了较为长期的发展规划,或许很快,202就会投入到更多影视内容中,并进一步反哺品牌,打开内容公司新的想象空间。
纯虚拟人应用于影视行业的优势是显而易见的。首先就是成本方面,剧集成本方面,根据2020年2月20日国家广播电视总局发布的《关于进一步加强电视剧网络剧创作生产管理有关工作的通知》,每部电视剧网络剧全部演员总片酬不得超过制作总成本的40%,其中主要演员片酬不得超过总片酬的70%。根据中国电视剧制作产业协会的建议,我国电视剧/网络剧制作成本应控制在每集400万元人民币以内。
以此推算,头部剧集的演员成本高达160万/集,40集的剧集演员总成本就达到6400万,对于内容制作方以及采购的平台方来说都是不小的负担。而如果虚拟人的成本随着技术的成熟能够有所下降,就将为内容的制作节省极大的成本。
其次,传统影视内容制作产业链过度依赖于艺人、明星,而艺人、明星往往存在不可控性,比如近年来频繁发生的“塌房”事件。明星塌房又会对公司造成巨大损失。明星翻车对代言品牌的形象造成负面影响,同时拍摄好的影视剧和综艺将不能上映或者需要更换演员进行重拍。
相比真人,虚拟演员的可控性显然更高,可作为影视公司沉淀数字资产,虚拟偶像基于平台和团队而存在,不存在个人品德方面的风险和培养成功后脱离平台的风险。无档期风险。理论上可以无限复制,同时进行多项商业活动。
并且,虚拟演员不需要根据个人条件去“因人而异”的制定人设,根据目标定位和用户喜好的大数据去塑造人设和形象即可。另外,结合动作捕捉设备,虚拟人还可展现多难度动作,增加内容创作空间,为影视产业开启的新商业模式。
不过,就目前来看,虚拟数字人离同时实现拥有“好看的皮囊”和“有趣的灵魂”还有不短的距离。
从技术角度来看,虚拟人的兴起虽然折射了虚拟世界与现实世界走向融合的大趋势,未来虚拟人的智能化水平也有望进一步提高,但对于当前来说,要实现真正的虚拟人智能化融合,技术上还有不小的距离。
来自中科院深圳先进技术研究院智能设计与机器视觉研究室的信息显示,制作、训练虚拟人的技术还不够成熟,尤其是3d成像设备、后期制作开发等成本居高不下,建模效率相对较低。同时,虚拟人的算法性能有待进一步提升,特别是实时面部表情捕捉与还原的精准度亟待提高。另外,当前人机交互相关技术也还未成熟,虚拟人更多承担辅助角色,无法独立参与实际意义上的工作。
再来,虽然虚拟人已有很多技术创新,但虚拟人的制作,需要进入的玩家在机器视觉、语音交互和自然语言处理方面都具有深厚的技术积累,并将三者进行有机结合。而一个亟待解决的问题是:当前,所有生产环节都分布在不同公司,做一个虚拟人,需要整合很多公司的能力,才能完成,这就导致了虚拟人制作成本高昂,产能不足等问题。
此外,当前制作虚拟人的价格,便宜的有几万元,贵一些的需要上百万元,更精细且并发要求高的,花费上千万元的也会有。根据蓝色光标(5.130, 0.07, 1.38%)《凯发国际娱乐官营销工作手册》,仅设计一个虚拟人形象就要花费10-100万元,后续的内容制作和智能驱动研发还需持续投入。
价格高昂的同时,虚拟人产能也不足。当前制作虚拟人,大部分仍采用3d建模 动作捕捉,这种传统的方式,虽然可以生产出电影画质的虚拟人,精致细腻,但成本依然很高,无法生产更多虚拟人。
最后,就算虚拟人不存在技术上的障碍,在如何进行“培养”,树立“人气”,到“变现”的运营过程也是虚拟数字人想要发展需要面对的问题。虚拟人的人设设定是人们易接受它们的主要原因之一,因此虚拟人ip的设定和运营应具有特色,并为人喜爱。例如虚拟人的出身、性格、成长环境、教育背景、工作背景等。
在这样的背景下,可以说,当前的虚拟人的开发,更多的还是人们对新技术、新业态的一种好奇、验证和尝试。
不过,随着技术的进步和规模效应的显现,以及元宇宙时代对虚拟人的刚需,虚拟人行业将大有可为,虚拟人和真人之间的界限也会更加模糊,真人偶像会打造自己的虚拟形象,虚拟偶像也会让自己更具有“真人气息”。