为解决HoloLens 2手部追踪模型拟合，微软提议全新曲面模型冯氏曲

发布时间：2021-11-29 11:45:01 所属栏目：VR 来源：互联网

导读：VR产业被称为信息产业的下一个风口。增强现实与虚拟现实技术让人类有了更多探索空间，与商业模式的紧密结合，让其开始在产业中发挥更大的价值。在科技越来越无所不能的现在，如何让科技更好地服务于人类，在2020正和岛（江西）创变者年会暨第八届正和岛岛邻大

VR产业被称为信息产业的“下一个风口”。增强现实与虚拟现实技术让人类有了更多探索空间，与商业模式的紧密结合，让其开始在产业中发挥更大的价值。在科技越来越无所不能的现在，如何让科技更好地服务于人类，在2020正和岛（江西）创变者年会暨第八届正和岛岛邻大会之人工智能与VR发布专场解放人工智慧论坛会上，来自各领域的企业家齐聚南昌，围绕“人工智能”应用畅谈所思所想。

“在南昌市委、市政府的支持下，我相信南昌将抢占AI领域高地，希望正和岛的‘岛亲’加入到南昌VR产业发展中来。”泰豪集团有限公司董事会主席黄代放说，目前，南昌高新区“5G+VR”产业示范园已聚集了许多VR相关企业，在小蓝经开区的VR产业园有江西科技师范大学软件动漫学院作为人才支撑，以及VR科创基金、VR产业政策的布局，南昌VR产业发展会越来越好。

当前，新一轮科技革命、产业变革日新月异，VR是其中最为活跃的前沿技术之一，南昌已描绘好VR产业发展蓝图。市委十一届十次全会提出，将大力推进数字经济发展，围绕建设南昌数字经济创新发展试验区，积极培育以5G为引领，人工智能、VR、物联网、区块链、云计算等新一代信息技术协同发展的数字经济产业体系，力争通过三年左右时间，数字经济增加值达到4000亿元，占全市GDP比重达到50%。

据了解，通过2018年、2019年两届世界VR产业大会，我市签约170个项目总投资743亿元。目前，已有华为、阿里、微软、联想、科大讯飞等一大批知名企业落户南昌，共同推动南昌VR产业加速发展。企业家代表纷纷表示，南昌VR产业大有可为。

“作为一个传统服装制造企业，在智能制造方面我们一直在探索。江西要把握住人工智能的高地，只有继续坚持发展VR产业。”青岛酷特智能股份有限公司总裁张蕴蓝认为，科技的发展能够颠覆行业发展，科技运用于产业，在科技赋能下产业才能实现快速变革。“VR作为新兴技术，缺少落地机会，南昌要抓住好项目，加速VR产业迈向爆发期。”北京诺亦腾科技有限公司CTO戴若表示。

“未来智慧城市发展趋势首先是数据一定更智能，数据收集跟数据治理不再是我们关注的焦点，我们关注的是数据背后的意义是什么，会给我们带来什么……”泰豪集团AI研究院CTO韩昊认为，AI驱动整个行业的进步和变革，未来人工智能将从弱人工智能转向强人工智能，未来机器有判断机制、能感知，可以帮助人类做更多事情。

论坛会上，通过企业家代表们不同维度的分享，可以感受到，数字化、人工智能包括虚拟现实科技的浪潮已在各行各业涌动，未来科技和产业的结合必定会让南昌更精彩，让世界更加美好。混合现实中的实时感知和交互能力要求资源受限的硬件（如头戴式设备）以低延迟解决一系列的3D追踪问题。实际上，对于HoloLens 2等CPU和GPU可以用于应用程序的设备而言，多个追踪子系统需要在共享一个数字信号处理器的同时实现连续、实时的运行。

为了解决HoloLens 2手部追踪的模型拟合问题（计算预算大约比iPhone 7小100倍），微软团队提出了一种全新的曲面模型：“Phong Surface（冯氏曲面）”。

为解决HoloLens 2手部追踪模型拟合，微软提出全新曲面模型冯氏曲面

利用计算机图形学的思想，Phong Surface描述了与三角网格模型相同的3D形状，但其具有连续的曲面法线，从而能够使用Lifting-based Optimization优化方法，并比基于ICP的方法提供显著的效率提高。研究人员指出，Phong Surface保留了平滑曲面模型的收敛优势。

微软团队日前在ECCV 2020大会通过视频对所述模型进行了介绍，下面包括具体的字幕整理：

我们提出了一种使用Lifted Optimization来实现有效3D模型拟合的Phone Surface模型。

我们的模型拟合示例通过拟合离散3D数据来追踪人手的28个自由度。在头戴式增强现实系统（如HoloLens 2）中，这可以实现一种比当今所有计算系统都更为自然的交互机制。

HoloLens 2搭载了强大的CPU和GPU，但它们是为了用于应用程序，所以手部追踪必须由数字信号处理器以4GFLOPS的速度完成，亦即只有iPhone 7的1%。

对于之前的研究，效率的关键是使用Smooth Surface模型，Subdivision Surface或b样条曲线（bspline）。Smooth-Surface允许使用名为lifted optimization的优化方法，而所述方法能够大大减少了模型拟合中的迭代次数，并且支持使用更少的数据点。

涉及论文：Efficient and Precise Interactive Hand Tracking Through Joint, Continuous Optimization of Pose and Correspondences

尽管单个服务评估的计算成本要比Polygon Surface高出7倍，但总体的计算成本缩减是一次胜利。然而，要以4GFLOPS实现实时性，我们需要拿回7X的计算成本。所以，我们引入了一个全新的曲面模型：Phong Surface。

它的计算成本几乎与Polygon Mesh一样低，但保留了Lifted Optimization的优点，即快速收敛和更少的数据点。

Phong Surface的灵感来自于计算机图形学中的冯氏着色（phong shading）技术。这个模型使用Polyhedral Surface模型，但插值曲面法线。

下面我们在2D示例中进行详细说明。

我们使用非平滑的Polygon模型，并像Smooth Surface模型一样插值法线。

现在我们来看看当我们尝试将模型拟合到一定的数据时会发生什么。

我们会像往常一样从数据到模型形成对应关系。并且，我们不只是匹配最近的点，而是最小化加权损失，结合到曲面的距离，及曲面法线与数据的一致性。

请注意蓝色箭头。它们表示曲面法线对Lifted Optimization中的对应更新的贡献，而因为曲面法线在每个阶段中的任何位置都是相同，Polygon模型并不存在这种贡献。

这种更新提高了速度和精度。

下面我们展示了两个玩具示例的拟合方法对比：菜豆体和椭球体。我们比较三种类型的曲面：Subdivision Surface；Phong Surface和Triangle Mesh，以及两种优化方法：上面一行的Lifted Optimization和下面一行的ICP（Iterative Closed Point）。

在所有情况下，Lifted Phong的收敛速度与Lifted Subdiv一样快，但计算成本与Triangle Mesh一样（ps：听不清，这里不确定）。

对于菜豆体，Triangle Mesh不仅速度更慢，而且缺少表面法线的插值（ps：听不清，这里不确定）意味着它具有更多的Local Minima（局部极小值）。

回到HoloLens，Lifting意味着我们可以只使用数据的一小部分，例如示例中的绿点，而Phong Surface意味着我们可以以低成本且可靠的方式做到这一点。

综上所述，我们拥有了一个可同时处理双手，并以4Gaflops的速度实时运行的全关节式追踪系统。我们的技术不仅适用于手部追踪，同时适用于任何需要高效曲面拟合的情况，尤其是低功率设备。感谢观看。

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!