《海上钢琴师》、开国大典视频超清修复背后，AI超分算法的高光与阴影
|
随着众多产业的AI化，AI算法也不再是IT巨头和AI创企的“专利”。例如屏幕供应商京东方推出可将图像分辨率放大16倍的超分算法，为智慧屏、手机屏幕的4K、8K超清显示提供了技术支撑；影视平台爱奇艺在去年推出自主研发的ZoomAI视频增强技术，修复了《三毛流浪记》、《海上花》等多部经典影片。
三、超分辨率算法技术原理：神经网络支持，九大技术流派 超分辨率重建技术可分两种，一种是单图像超分辨率（SISR，Single image super-resolution），另一种是视频超分辨率（VSR，Video super-resolution）。目前学术的研究热点是基于深度学习的SISR，但是现实使用中往往多张图片生成的超分辨率图片效果更好，但时间和算力成本也相对更高。 从方法差异的角度来看，超分辨率重建技术可以分为基于插值的重建、基于重构的重建和基于学习的超分辨率重建。
近年来，以深度学习超分算法为代表的机器学习超分技术成为学界与产业的关注热点，旧的方法也难以满足许多新的场景需求。 通俗地讲，机器学习就是让机器根据海量数据分析出一个模型，以此来表示事物的规律。深度学习就是机器学习的一个分支，是利用人工神经网络模型进行机器学习的方法。 人工神经网络包含多个带有不同模型的处理节点（模拟脑神经元），节点间具有连接关系，综合成一个模型（函数）。假设深度学习需要处理的数据是水流，而处理图像数据的神经网络就是一个由众多管道和阀门组成的水管网络。
那么深度学习网络是怎么将“马赛克”图片变为高分辨率图的呢？ 简单来说，超分模型的训练大致涉及以下几个步骤。首先，需要将高清图片P1缩小为低清图片P2，再用深度学习网络模型将低清图片P2重建成新的高清图片P3； 然后，将P3与P1进行比较，根据对比P3和P1的相似度来调节深度学习网络模型，就像调节多个“水龙头”一样；
▲超分模型训练示意图 接着，循环往复地调节深度学习网络模型，使得P3和P1更加吻合，直至该模型就能够完成低清图片P2的理想重建； 当然，这个过程还要推演到多张其他图片的训练，训练的图片数越多、图片内容越接近应用场景，超分优化的效果就越好。 在这个过程中，调节深度学习网络模型涉及多个节点的调参，就像需要调节水流系统的成千上万个“水龙头”一样。这对人来说是一个几乎不可能完成的工作，但对于计算机来说，暴力的计算加上算法的优化，能够很快地给出解决方案。 目前深度学习超分算法的技术流派较多，业内人士认为，主要的热点则聚焦在深广探索、结构探索、内容损失、对抗神经网络、Pixel CNN等领域。
▲也有学者将单图像深度学习超分辨方法分成9大类 四、超分算法技术与落地存在的问题：技术商用刚起步，论文易灌水 虽然产业、资本、学界都通过行动支持超分算法的应用落地，并积极推动其在安防、智能终端、影视修复等领域的商业化，但超分算法目前在工业上的应用也只是刚刚走出实验室。 由于工业应用场景十分苛刻，目前超分算法的应用仍然比较困难。工业界要求模型性能稳定、算法可控，以安防监控为例，如果有5%的概率生成离谱的高清化人脸、车牌，都不太适合被实际应用。据业内人士爆料，安防巨头大华公司就曾推进过超清算法的研发和商业化，但因为监控场景的落地困难而杳无音信了。 而超分算法在相对比较容易切入的智能手机领域，也只有vivo X23，小米CC9 Pro、荣耀9X PRO等终端应用了超分算法。目前，华为、小米等手机大厂，商汤、旷视等AI创企的主要动作还更多停留在研发、刷榜、模型开源上。 阿里、腾讯甚至是地方政府机关也着手推进超分技术的竞赛，同时为研发者铺平台、提供数据集，一方面是看中了超分算法这一领域的巨大应用潜力；另一方面也体现超分技术的现有能效难以满足商业应用需求。 在知乎、豆瓣等论坛中，许多面临填报志愿和找工作的用户询问“超分”是否有就业前景，这让我们从侧面看出这个新领域给外界带来的吸引力。而高赞评论“如果你有信心把现有算法在实际场景的性能往前拱一步，就是有前景的。”则道出了超分技术在应用上的痛点。 除了在商业应用上，超分算法在研发进展上也存在一些问题。论文数量攀升与论文实质性创新减缓的落差、模型高分与商用价值低的矛盾长期存在。不过。也有一些研究通过优化数据集等方法着手特定应用场景的超分算法研究，比如今年涌现出来的3D对象表面SR、高光谱图像SR等等。 权威业内人士告诉智东西记者，超分算法成了最容易灌水的机器学习研究领域之一。目前，深度超分模型框架上的大创新减少，大多数研究团队都选择通过数据集的优化、已有框架的微创新来争夺奖项。而在这个过程中，许多“调包”的水论文开始出现，它们本身的创新价值很小，而且难以解决实际应用问题。 结语：超分技术成新焦点，但商业化存阻碍 近来，超分算法在学界和产业界引发一阵热潮和共振，成为是深度学习图像算法落地应用的典型之一。 （编辑：52刷机网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
