Meta中Codec Avatars可通过iPhone扫描生成
发布时间：2022-06-15 11:14:45 所属栏目：VR 来源：互联网
导读：Facebook于2019年3月首次展示了超逼真头像Codec Avatars的生产过程，其由多个神经网络提供支持，可以由带有五个摄像头的原型VR头显实时驱动。从那时起，研究人员展示了该系统的几次演变，例如更逼真的眼睛、只需要眼部跟踪和麦克风输入的版本，以及最近接近
|
Facebook于2019年3月首次展示了超逼真头像Codec Avatars的生产过程，其由多个神经网络提供支持，可以由带有五个摄像头的原型VR头显实时驱动。从那时起，研究人员展示了该系统的几次演变，例如更逼真的眼睛、只需要眼部跟踪和麦克风输入的版本，以及最近接近完全真实感的2.0版本。 当时生成一个单独的Codec Avatar需要用到一个名为MUGSY的专用捕捉设备和171个高分辨率摄像机。但Meta的最新研究摆脱了这一限制，可以通过带有前置深度传感器的智能手机（例如任何带有FaceID的iPhone）扫描生成Avatar。据介绍，用户首先需要将手机平移到脸部周围，然后按照引导做出65种面部表情动作。 研究人员声称，这个扫描过程平均需要3分半钟，不过在一台配备四个高端GPU的机器上进行渲染，实际生成完整Avatar需要6个小时。如果部署在产品中，此步骤可能会发生在云GPU上，而不是用户的设备上。那么，曾经需要100多个摄像头才能完成，现在怎么可能只需要一部手机呢？诀窍就在于使用一个名为“hypernetwork”的通用先验模型，这是一种为另一个神经网络生成权重的神经网络。研究人员通过使用先进的捕捉设备（类似于MUGSY，但使用90个摄像头）扫描255个不同个体的面部来训练这个UPM超网络。 虽然其他研究人员已经展示了通过智能手机扫描生成Avatar头像，但Meta声称其结果的质量是最先进的。然而，当前系统只能用于处理面部，眼镜或长发等特征还无法很好还原。 然而，Codec Avatars最终可能会成为一个单独的选项，而不是对当今卡通化身的直接更新。在接受采访时，Meta首席执行官马克扎克伯格描述了一个未来：未来人们可能会在游戏中使用表现主义（卡通）化身，而在工作会议中使用现实主义化身。 （编辑：52刷机网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |