推荐-在 VR 里，我和李玟共同完成一场演唱会
2016 年被认为是“VR 元年”，早期的市场玩家 HTC、Oculus 卯足了劲发布高端 VR 头显，索尼定位更消费级的 PSVR 在日本首周卖出 5 万余台，Google 推出了 Daydream 套件：用户只要把兼容的手机放入头戴式盒子，就能观看一些 3D 沉浸式内容……
而普通人那会儿最先接触到的，恐怕就是商超里摆出蛋椅的 VR 体验店，以及各种纸制的廉价头戴盒子，看到的不少是将 2D 平面内容生硬融进虚拟空间的画面，“VR 体验差，容易头晕。”这是很多人的第一印象。
Google 推出的纸板 VR“Cardboard”｜Wikipedia
彼时主机 VR 价格高昂，配置要求极高，内容贫瘠，而随处可见的纸板盒子只能达到初级的沉浸体验。VR 的软硬件和消费者的期待，产生了错位。
当处于“风口”的 VR 设备销量远低预期的时候，资本把手缩了回去。行业直接从“热潮”，到“冷场”。
2019 年，被认为是行业里程碑产品的 Oculus Quest 发布，它的意义在于树立起了一个消费者认可的技术标杆：既可以无线也可以做到 6 DoF（6 自由度，可 XYZ 轴旋转，以及位移），还支持双手追踪，并且价格友好。这个技术标准被定下后，VR 内容的开发进入了一个全新周期。
3 自由度（更适合用于观影）和 6 自由度的差别｜IGN Japan
如今，当用户再拿起入门 VR 时，会发现可消费的影音内容，在内容深度和应用广度上，都与当年不可同日而语。比如，你可以观看到 8K 全景内容，在 VR 里尽情游戏，甚至健身。
就拿近年来因新冠肆虐积极转战线上的“虚拟演唱会”为例，规格也从 2D 平面，搬到了 VR 里，场景、动作精度，以及内容策划，都有不俗表现。
Justin Bieber 的虚拟演唱会｜giphy
在国内，也能看到 PICO 等平台入局全虚拟演唱会，同时依托于不断普及的 VR 设备，积极联动 VR 能力，开发出了体验更丰富的演唱会。
我们去看了李玟的演唱会，全虚拟的那种
先想象一下，1230 万位玩家同时“云蹦迪”是什么体验？鸟巢有 91000 个观众席，得有 135 个鸟巢才能装得下这些观众。2020 年 4 月 24 日，说唱歌手 Travis Scott 在游戏《堡垒之夜》上的演唱会，就开启了这种空前盛况。
Travis Scott 在《堡垒之夜》上的演唱会｜giphy
玩家们进入游戏后，一开场就会看到 Travis Scott 被虚拟化一个巨人，从大气层外“砸”进地面，各种光影、粒子特效开始跟着音乐跳动。慢慢的，场景或下起火红流星雨，或暗成一片，然后流动出了霓虹般眩目的彩带……最巧妙的是，玩家不断在地面、天空、深海和太空间穿梭。
当在屏幕里看到自己的虚拟化身，和万千玩家以及歌手一同手舞足蹈，玩家们都能感觉到自己已然成为了演出的共创者。不过，演出只持续了十分钟左右，但受到的关注度是空前的。
我一直在想，如果把歌手完全虚拟化后，再放入一个架空的全景式 VR 环境里？效果会何等震撼？在接到 PICO 的邀请后，我们去了现场体验。
所体验的 VR 设备为 PICO 4｜PICO
我将坐在这种旋转椅上观看虚拟演唱会，要求的实际空间不大，同时 VR 设备的配置也很简单，无需连接线缆，接上 Wi-Fi，戴到头上即可。
《李玟“千禧之境”全虚拟 VR 演唱会》在 1 月 7 日上线 PICO 视频。这是国内首场明星 6DoF 全虚拟VR演唱会，也是 PICO 首次尝试集 6DoF 体验、全虚拟场景和实时动捕技术于一体的 VR 视频内容
一开场，我很本能地探索在虚拟现实中如何走动，由于在 VR 里划定的安全边界是旋转椅外一圈，我可以通过抛点瞬移或者平滑移动，配合着移动。演唱会大厅涌进了很多玩家，我们都听到了李玟的“求救”，随后来到了列车场景，穿梭回千禧年代去“解救”她。
第一个场景是国风舞台，李玟持长枪开场，她要唱的《刀马旦》，“明明早上人还在香港，还在九龙茶馆喝煲汤，怎么场景一下跳西安，我在护城河的堤岸”，歌词里说到的这种场景“跳转”，在虚拟现实里简直轻而易举。
劲歌热舞之后，是缱绻深情，李玟换上一袭白裙唱起了《月光爱人》，唱到高潮处，我发现我的虚拟形象被徐徐拉近，一下子来到了李玟面前，她伸出手掌，我本能将手也伸出去，触碰时手柄恰如其分地传来了震感。有粉丝说，她仿佛感受到了偶像的心跳。
复古迪斯科舞厅最让我印象深刻，当背景褪为暗色，舞台和光效则被衬托得异常绚烂夺目。当李玟唱着传唱度极高的“di da di”时，人很容易跟着一同摇头晃脑，但这时面前呈上了音游面板，手柄在 VR 里变成了两根荧粉色的荧光棒，打击感利落、跟手。
演唱会还和经典动画电影《宝莲灯》做了 IP 联动，他们把主角沉香也 3D 化了，李玟演唱主题曲《想你的 365 天》，同时也和沉香经历春夏秋冬。有意思的是，沉香踩雪的吱呀声，是从右耳传来的方位感极强的音效。
接着，我和同一房间的观众，一起把此前在车厢里收集到的萤火虫发射到宝莲灯，推动主角和母亲团聚的情节。当宝莲灯集齐能量后，垂直向空中发射出光柱，随后我和主角们一同升空，在光桥上见证了母子相逢。
相比之下，Travis Scott 演唱会更像是一个制作精细度极其高的动画秀，有巨大的虚拟人，画面全虚拟，容许全球更多玩家接入，但只能体验 10 分钟；而李玟这场全虚拟演唱，结合 VR 后，则在交互感上往前推了一步，以及，演唱会正式版时长达 50 分钟。
活动现场的主持人提醒我们取下 VR 头显时，说了句，“欢迎回到现实世界”。
一定要把人虚拟化吗？
体验这场演唱会前，我就抱着一个疑问，“为什么要把李玟做成虚拟的？”体验完后，我觉得如果环境和人物皆为虚拟，画面元素间的配合会更自然，创作方在画面上的自由度也会更高，可以更天马行空。
主创团队也给出了回答，他们表示演唱会时长接近一小时，美术资产、特效种类较多，还得协调 VR 一体机的性能，所以是现在的结果。
“从技术角度上来说，如果把李玟的真人用数字化模型的办法去做渲染（就是一个假的真人、很像的真人），对于性能要求很高，这是目前行业内外明确的硬件技术瓶颈，未来需要攻克。但行业中也有一个做法——把李玟的真人用摄像的技术立体抠出来，类似于光场视频，也是能够到 6DoF 效果，但是这个技术在行业内还是处于攻坚阶段，可能不久的将来会尝试这种虚实结合的效果。”
这样规格的演唱会，PICO 做了半年。流程上简单来说，在线下，歌手录音、练舞、动捕；在线上，美术人员制作概念、原画、模型、资产；最后，主创们再将两者集成起来。
不同于传统PC端CG制作，这场演出会的突破性在于，在当前XR芯片算力的限制下，需要在VR一体机内通过实时渲染呈现理想的画面效果，同时克服全视角、360度内容制作等综合难点。而这也是PICO首次尝试制作集6DoF、全虚拟场景和实时动捕技术于一体的VR视频内容。
除了要在 VR 一体机的性能极限下做到最好效果，他们还指出了另一个难点，“用户在 6DoF 体验中是非常自由的，让用户看到最合适的角度、最好的效果，以及怎么让用户更好地意识到我们给出的提示。”
值得一提的是，在那近一小时的演唱会流程里，李玟的歌曲也并非直接导入录音室版本，而是重录了一遍，保留了演唱中的换气和瑕疵。歌手的虚拟形象背后是真人动捕，而演唱时气息如果能和动作保持同步性，那会更有现场听 live 的感觉。
总的来说，虽然李玟彻底虚拟化，但 VR 交互有时又让我觉得她真实。
虚拟人可以让创作空间进一步扩大，也可以让已然不存在的人和事物重返现实，2020 年一位韩国母亲就是借助 VR 和虚拟人技术，“再见”了她 2016 年患病离世的女儿。这让人们看到了这些技术在影音方面的娱乐之外，还有更多极具想象力的用例。
技术人员先是通过小女孩生前的视频和照片资料，还原其样貌，再通过人工智能转换，还原其声音。天津大学智能与计算学部翁仲铭教授告诉《科技日报》，“通过对小女孩的形象、动作、声音进行建模，VR 技术能够重建一个三维的虚拟人物，还原小女孩生前的音容笑貌。由于小女孩已经去世了，因此建模有一定难度，特别是动作建模。小女孩的动作是通过动作捕捉来完成的。”
韩国一位妈妈在 VR 电影里再次见到已故的女儿丨韩国 MBC
在视频中，当妈妈戴上 VR 眼镜，就看见女儿蹦蹦跳跳地跑出来，大声地喊着：“妈妈去哪里了，妈妈想我吗？”妈妈早已泣不成声。女儿在 VR 里安慰着妈妈，而妈妈也诉说着对女儿的思念。
即便她们还没法拥抱彼此，但这次“重逢”让那位妈妈补上了一次正式的告别。当“女孩”开口说：“妈妈喜欢握着我的右手吗？”简单的一个互动，就足以让这对母女有更强的情感联结。
VR 交互，让虚拟人有了“灵魂”，在虚拟人的应用场景日渐丰富的趋势下，VR 还将带给这个行业独特的体验和价值。
全虚拟的体验，将会更流行
早在去年年中，虚拟偶像团体 A-SOUL 就在 PICO 平台上开始 VR 直播，这种直播的创新点在于不再使用传统的导播切镜视角，粉丝可以自己选择“走近”哪位团员，这让本就以虚拟形态示人的二次元偶像们，显得更加真实。
“A-SOUL 的奇妙宇宙”演唱会｜PICO
去年 11 月，PICO 又联合 A-SOUL，上线首场 VR 虚拟偶像演唱会，让粉丝可以在更高规格的虚拟场景里观赏表演，VR 带来的沉浸感能带给粉丝更多的情感投射和心理认同。
值得注意的是，除了将偶像们虚拟化，PICO 和 Meta 也都开发了虚拟 Avatar 系统，让用户定制专属的虚拟形象。这在 VR 里，相当于是一个“身份认证”，会是未来在 VR 中人与人交互的基础。
Meta 做的 Avatar 系统｜Meta
目前，已有更多 VR 设备，引入了眼球追踪和面部追踪等技术，未来通过映射真人的表情和动作，VR 中人与人的交互将会更加真实，更有临场感。
到那时候，人们或许更能深切地体会到：虽然你和我都是虚拟的，但我们身在虚拟中发生的感受，甚至是交互，又是无比真实的。
早在去年 4 月、5 月、7 月，PICO 就分别上线了王晰、郑钧、汪峰的 VR 演唱会，首次实现了 180°实拍 + 180°U3D 虚拟渲染空间，多机位、8K 分辨率的现场直播；郑钧场又尝试了实景舞台和虚拟观众区舞美视觉一体化的设计，实现了 360° 虚实无缝拼接的场景融合。加上我们今天所讲的 A-SOUL 和李玟演唱会，从虚实交织，到完全虚拟，到将实转虚，可以看出 PICO 在积极探索这类内容的表现形式。
同样是在去年，PICO 还联合 SIF（砂之盒沉浸展），在阿那亚办了一场 XR 作品展映。我们也受邀去了现场，看了不少国内外先锋佳作，其中有创作者就把他少年时“戒网瘾”的经历做成一部 VR 游戏《诊断》（果壳报道过：《》），VR 特有的沉浸感和互动性，都让这部作品体现出区别于传统影片和传统游戏的特色。
《诊断》｜作者授权
PICO 副总裁任利锋还在展上正式公布“VR 创作者激励计划”，将对专业的 VR 内容制作机构、VR 技术型公司以及 VR 内容创作者开通，通过资金投入、设备和技术双向加持、流量扶持全面助力优质内容孵化和创作者成长。“为了打破 VR 内容产能不足的僵局”，这也能看出 PICO 对于推动VR内容生态发展的决心。
从一开始被资本和市场追捧到如今，五六年间，VR 市场也经历了一场大浪淘沙，但确实也“淘”出了 VR 的真实需求。好玩、丰富的内容才会受到消费者的持续青睐。
现在，线下娱乐业正在复苏，但全虚拟演唱会依然极具吸引力，它既能让观众不受时空限制，也能有线下演出不可比拟的优势：可以无限接近表演者，就犹如始终坐在第一排，而 VR 交互的能力也让人们的情感联结变得更加紧密。
果壳商业科技传播部出品