更新-AI动捕研究师：AI让动捕人人可及，一部手机让你在元宇宙动起来
中国经济周刊-经济网讯 （记者 孙冰） 应辉，一名AI动捕研究师，也可以介绍为一个可以"让二次元小姐姐跳舞更美的三次元小哥哥"。
作为"元宇宙打工人"，应辉的工作其实就是通过AI技术把你在现实世界中的动作捕捉提取出来，然后在虚拟世界中进行还原，这样就可以让在虚拟世界中的你也能动起来。
为了做好这份工作，应辉和几位同事虽然都是理工技术男，但大家都关注了很多B站舞蹈区UP主，还会看很多二次元视频。而且由于测试需要，他们还常常需要亲自表演一些舞蹈动作，以更好地"调教"动捕软件。
应辉在工作中
"那画面，只能说是相当‘辣眼睛’。"应辉半开玩笑地说。当记者提出"无图无真相"的要求时，应辉发来了同事的表演动图。
男生同事"辣眼"演绎二次元小姐姐
男生同事"辣眼"演绎二次元小姐姐
从传统动捕到AI动捕，从"奢侈品"到人人可及
应辉本科和硕士都就读于东南大学微电子专业，他是在暑期实习中第一次接触到了AI动捕这个领域。
"虽然当时做的只是做了一个非常简陋的Demo，通过手机拍摄来重现人体三维模型，然后生成一个自己的专属虚拟形象。但我感觉这个应用未来会有很多落地场景，会非常有发展前景。"应辉告诉《中国经济周刊》记者。于是，应辉在毕业后就选择加入网易互娱AI Lab，成为了一名AI动捕研究师。
动捕，即动作捕捉，其实并不是一个新领域，早在二十年多前开启的《指环王》三部曲中，咕噜（Gollum）就是由演员安迪·瑟金斯提供的动作捕捉和配音，惊艳了全球观众，很多粉丝都认为奥斯卡欠他一座"小金人"。而在《阿凡达》中，詹姆斯·卡梅隆导演更是让动作捕捉与表情捕捉技术在影视领域的应用再创新高度。
之后，在影视、游戏等多个产业中，动捕的应用越来越广泛。但毫无疑问，传统动捕是一种"奢侈品"。
动捕成果生成过程
据应辉介绍，传统动捕流程一般采用的是光学或惯性动捕，需要专业动捕演员穿戴专业动捕服装或在身上添加标记点，在专业动捕摄影棚中，通过一圈的专业红外相机来捕获动作数据。而且一个动作或许要重复多次、反复捕捉才能达到好的提取效果。因此，传统动捕的制作周期漫长，成本也极高。
"虽然目前国内外都有较为成熟的传统动捕解决方案，但一套动捕设备的硬件成本就要几十万到几百万元，制作的内容的成本通常要以每分钟万元级别来计算。"应辉说。
正如AI正在改变和赋能千行百业一样，人工智能技术也给动捕行业带来巨大改变，极大地实现了降本增效。应辉透露，现在的AI动捕不依赖专业设备和特定采集环境，只要一台手机就能完成，这就让AI动捕变得越来越人人可及。
"比如我们研发的AIxPose视频动捕工具就是一种更轻量级、高效率、低成本的动捕方式。普通人只需要用普通手机摄像头拍摄视频，这个软件就可在短短几分钟内自动提取人体的动作数据，再应用于游戏、动画、广告、教学等各类长短视频的制作流程中。相比美术人员‘手K’（指美术人员一帧一帧手绘动画，一分钟动画视频大概需要1000多帧），这种方式能节省80%左右的制作时间和成本。"应辉说。
应辉还表示，现在国外也有很多科技公司在做这方面的研究和探索。"应该说，我们至少与世界先进水平是同步的。"他说。
但应辉认为，AI动捕和传统动捕并不是替代关系，AI动捕的应用场景和传统动捕其实有很大差别，更多是为用户提供一个新的选择。
以对动捕需求很大的短视频创作领域为例，"短视频需求以短平快为主，因为热点来得快走得也快，如果用传统动捕方式来制作，抛开成本不谈，等一个月后做出来，热点早就凉了。"应辉说。
除了降本增效，AI动捕由于是直接从视频中提取动作，而不是通过动捕演员的表演来呈现，所以素材可以更加广泛和易得。
"比如前一阵子《狂飙》很火，很多短视频都在模仿高启强那种很拽的走路步伐，这个动捕演员就很难模仿出张颂文老师的表演精髓。但AI动捕就可以直接使用原视频，让虚拟人物直接‘复刻’张老师的经典动作。"应辉说。
一部手机，就能让你在元宇宙里动起来
随着元宇宙、虚拟人、数字人、AR/AR的兴起，UGC创作对动捕需求正变得越来越大，应用场景也越来越丰富。"元宇宙的核心就是为现实世界建立一个在虚拟世界中的映像，而动捕技术可以让元宇宙中的你动起来，而且是尽可能以百分百还原的方式动起来。"应辉说。
一部手机就能实现动捕
但是，AI动捕技术的实现并不容易。应辉透露，自己的同学大部分是在半导体、计算机、互联网等行业里工作，自己的工作因为离用户更近，所以会更有趣一些。但这意味着，他除了要专注技术，还需要掌握很多其他领域的知识力和理解力。
"我们一开始没有想到动捕对动作细节会有那么多、那么高的要求。我们觉得动作提取得已经很好了，因为乍一看确实是差不多的，但专业人士一看，就会发现区别很大。比如，美术的同事会指出，虚拟形象在跳舞的时候脚步有滑动，或者跑步时候身体重心不对，不像一个正常人，而是像一个机器人，这些就都需要我们反复进行技术上的调整和优化。"应辉说。
为了能更好地领悟到舞蹈表现力的精髓，应辉会大量观看舞蹈视频和恶补二次元，还会亲身体验。"你看到的二次元小姐姐跳舞视频，很有可能动作是提取自一个三次元小哥哥。"他说。
但是，当应辉和同事们帮助客户把从一段过去二十多天才能完成的营销动画视频缩短到三天就完成了，他们还是充满了成就感的。"过去要制作一段跳舞动画，可以能需要美术人员一帧帧地手绘出来，但现在可以先做动捕，然后美术人员只需要在动捕视频的基础上进行修改就可以，这大大提高了美术的生产力。"应辉说，更让他们感受到工作意义和价值的是，他们把动捕体验带给了越来越多的普通人，让每个人只要通过一部手机，就有机会创作出自己的元宇宙作品。
一审：郑扬波 二审：王新景 三审：周琦