独立工作室Sowl使用Faceware打造系列动画《Nkoza&Nankya历险记》

独立工作室Sowl使用Faceware打造系列动画《Nkoza&Nankya历险记》

Sowl Studios是一家位于弗吉尼亚州亚历山大市的初创艺术和动画工作室，工作室由Solomon和Nerissa Jagwe夫妻组建。主要专注于服务美术、动画以及数字生产等项目。Solomon和Nerissa Jagwe夫妇创建该工作室的目标是为后代创造有关多元化非洲遗产内容的学习的机会，由于疫情原因，工作室中的所有工作几乎都是在他们自己家中完成的。

由Sowl工作室创作的《Nkoza&Nankya历险记》，是一部系列动画，影片讲述了Nkoza、Nankya两位主角在非洲的故事，动画目前可以通过YouTube频道和其他相关联的应用中观看。有关非洲的地理、人文和语言——比如卢甘达语——以及其他重要的文化方面是动画的核心组成部分。

令人难以置信的是，角色的面部动画都是用有限的资源和一系列易用工具制作出来的。这其中就包括通过Faceware的硬件和软件实现的面部动作捕捉，硬件和软件由Faceware Mark IV头盔摄像头（HMC）和Xsens动作捕捉套装以及其他工具组成。

在制作中使用Faceware

在深入制作3D角色动画之前，Solomon和Nerissa Jagwe就已经开发了一款关于非洲语言的应用程序，家长可以用它来帮助孩子更多地了解他们的文化，但他们想更进一步。于是就有了《Nkoza&Nankya历险记》。

“乐动网页版开始扩展乐动网页版的语言应用程序，帮助家长使用含有趣内容的教育工具教育孩子，”Solomon补充到，“整部动画几乎是在乐动网页版的“客厅”中制作完成的。”

事实上，为了制作应用程序和YouTube频道的内容，他们需要快速有效的方法来完成面部动作捕捉。这部作品背后的小团队分布在三个大洲，其中一个主要的配音演员位于英国（而Solomon和Nerissa则住在弗吉尼亚州）。

“当Faceware Studio发布时，乐动网页版看到了支持视频使用的功能，乐动网页版非常兴奋地尝试了一下。这给了乐动网页版信心，乐动网页版可以通过Faceware Studio来驱动角色的面部动画。”

关键设备：Faceware Mark IV HMC

Solomon说“我一直在寻找一种耐用和轻便的头戴式相机系统，以捕捉面部表演。我甚至制作了自制的系统来帮助捕捉我自己的表演，但它太重了。”

“，之后我选择了Faceware Mark IV。Mark IV的头盔非常舒适，而且重量很轻。它为乐动网页版提供了一种无线解决方案，使演员在表演时更容易移动，而不必受限于计算机。”

Solomon说他之前在自制的头戴式相机系统上尝试了各种照明选项，但由于面部照明过度，导致视频过度渲染。Faceware Mark IV HMC上重构的LED照明系统解决的这一问题。

“我用Mark IV系统记录了自己表演的过程”所罗门补充道。“乐动网页版的儿童演员有一些场景需要我添加一些额外的动画，所以我加载了音频并进行唇部同步，以匹配我儿子和女儿的声音。我通过使用来自Mark IV系统的视频，在Faceware Studio内部作为视频输入，使用专业的头戴摄像头作为面部跟踪模式，并将其传输到Reallusion iClone上。”

Solomon发现Mark IV系统的优势在于其照明方案和可穿戴方面的灵活性。有三种头盔尺寸可供选择，每种都有额外的内部泡沫衬垫，以提供舒适的贴合感。

Solomon说:“这是一个非常好的设计，因为我有两个孩子会为乐动网页版的角色Nkoza和Nankya配音。因此，如果有儿童演员在电影中扮演孩子的角色，他们可以选择戴上其中一个头盔进行面部表演捕捉。此外，Mark IV系统的便携性非常棒，腰带上有可充电电池，这使得它更适合长时间工作，同时不影响穿着Xsens套装进行动作捕捉。”

“Mark IV HMC还具有一套全新设计的支架用于固定相机，我只需要按照说明手册一步一步的指示来设置头盔支架即可。新的设计使得为新的会话和后续会话调整摄像机的角度变得更加容易。相机可设置在可调杆上的合适距离，这消除了你在头戴式相机拍摄的视频中经常看到的鱼眼镜头的视觉效果。”

将Xsens添加到动画制作过程中

对于角色的全身动捕，Solomon一直在利用Xsens Link套装进行身体动作捕捉。“我过去也使用过其他惯性解决方案，但我完全被Xsens Link套装数据的准确性惊呆了。它为我节省了大量清理数据的时间。”此外，Xsens和Mark IV HMC面部捕捉的轻松集成意味着捕捉可以完全无线进行。“这两个系统的无缝协作是由Faceware的Shepherd软件实现的，”Solomon说道，“该软件通过KiPro Rack记录来自Mark IV系统摄像机录制的视频，并与Xsens MVN animate Pro软件同步。”

Faceware HMC & Xsens Suit

“在乐动网页版的制作过程中还加入了Manus Prime II Xsens手套，它帮助乐动网页版捕捉演员的手指动作数据，以创建孩子们跳舞的镜头。这帮助乐动网页版节省了大量时间。因为如果没有Xsens套装和Manus手套，乐动网页版就必须为手指和身体动画设置关键帧。”

手指和身体数据通过Xsens Motion Live profile从MVN Animate Pro传输到iClone，通过Faceware的Shepherd平台与Faceware硬件无缝协作。这使得在Mark IV HMC系统上同时记录mocap数据和摄像机的视频数据成为可能。

“拥有与手指和全身mocap数据同步的视频数据对乐动网页版非常有帮助，因为当乐动网页版使用Faceware Studio中的视频来驱动iClone中的角色时，它可以帮助乐动网页版大幅节省时间。”

Nkoza和Nankya快速动画工作流

下面乐动网页版来看看Sowl工作室如何从“客厅”为Nkoza和Nankya处理面部动作捕捉和动画的。

他们首先向配音演员发送脚本和故事板，详细说明环境录制要求的规格，并强调稳定镜头和无噪声音频等需求。

配音演员随后会发回一段带有音频录制的视频。该工作流程无法通过如智能手机进行视频捕捉的方式实现。Faceware为采集过程提供了极大的灵活性。

“乐动网页版在Faceware Studio中加载该镜头作为媒体输入类型，”Solomon继续说道，“使用固定摄像机作为面部跟踪模式。然后启用流，并在iClone中加载乐动网页版的自定义角色。”

“早期，乐动网页版使用Maya和3ds Max为Nkoza和Nankya进行建模和调整，并使用iClone 3d xchange Expression Editor为iClone中的面部和身体制作动画。之后iClone的Motion LIVE插件可以捕捉演员的面部动画，该插件与Faceware Studio相连。

Solomon家中的每个人都有参与到动画的面部捕捉中。“我的妻子表演了主要的动作部分，我的女儿为Nankya配音，我的儿子则为Nkoza配音，”Solomon说道。同时他也特别感谢Faceware Studio中的一些新选项，这是这些新功能帮助他实现了整部动画的制作流程。

“我非常喜欢将视频作为媒体输入类型的新功能，”Solomon说到。“之前有两种方式可以用来读取配音演员的表演；通过网络摄像头或一系列图像。在当前版本中，现在乐动网页版可以添加视频以驱动3D角色面部动画。”

“这让乐动网页版使用来自海外朋友的视频成为可能，特别是当谈到由英国演员Diana Lwanga扮演的Maama Nankya （Nkoza和Nankya的妈妈）这个角色时。乐动网页版能够使用Diana远程录制的视频，通过Faceware Studio中的视频源功能将许多角色的面部表情变得栩栩如生。”

Solomon喜欢的Faceware Studio的另一个功能是“动画调整和动作效果”功能，他认为这已经成为Sowl工作室制作面部动画工作流程中不可或缺的一部分。

“能够在录制，之后镜头之前实时微调面部动画的功能太令我兴奋了，它使乐动网页版的面部动画制作过程变得更快。乐动网页版能够调整头部、嘴巴、眼睛和眉毛等面部元素，并在iClone中立即看到结果。配音演员的言谈举止各不相同，所以对于每一次拍摄，乐动网页版都可以保存一个特定配音演员的档案，每当从他们那里获得新的面部表演视频时，乐动网页版就可以对其重新加载。”

给其他创作者的一些经验分享

Solomon指出，由于疫情，需要在资源有限的情况下远程制作动画，Faceware Studio使Sowl工作室受益匪浅。

“尽管如此，仔细计划录音和面部动画也是至关重要的。”Solomon说，“配音演员的灯光和面部方位在视频中非常重要。因此乐动网页版经常与配音演员就灯光和使用摄像机的位置进行沟通。”

关于《Nkoza&Nankya历险记》的下一步计划

Solomon表示，他很高兴能够继续使用Faceware的Mark IV HMC和Faceware Studio以及Xsens和其他工作流程来处理Nkoza和Nankya宇宙中所有新角色的配音演员的视频，并尝试新的工作流程来加速动画渲染，例如通过iClone的Unreal Live Link在虚幻引擎中进行工作。

Sowl工作室在未来将不断打造新的Nkoza和Nankya的动画内容，并扩展不同语言、不同形式的多版本周边。

“我非常感谢乐动网页版这个虽小但却十分强大的团队，”Solomon说到，“没有他们，乐动网页版不可能取得进步，也不可能创造出在这个艰难时期取得成功的作品。”