《海上钢琴师》、开国大典视频超清修复背后，AI超分算法的高光与阴影
智东西（公众号：zhidxcom） 近日，ICCV 2019的图像超分竞赛中，冠军由中国公司夺得。据获奖方京东方称，其自研“图像超分辨率”算法能使图像的分辨率提升至原来的16倍。 “看得更清楚”是人类基本需求之一，致力于“看清”的图像超分辨率（SR，SuperResolution）算法应用场景广泛。 比如，将低清的珍贵老纪录片或受损的经典影片修复，让老游戏告别马赛克迎来“第二春”，帮助警察看清监控影像上的人脸和车牌，使医生看清“X光片”中病人的病灶，等等。 今年国庆节期间刷屏朋友圈的彩色版“开国大典”真实影像和近期上映的《海上钢琴师》4K修复版都用到了这项技术。
近年来，图像超分辨率重建技术得到了学界和产业界的共同关注。 研发上，无论是学术团队，还是IT巨头、AI创企都纷纷在各大国际顶会上投稿刷榜。据统计，计算机视觉顶会CVPR 2019收录的18篇“超分”论文中几乎全是华人一作。 产业上，“超分”商用潮下可谓“全行业总动员”。阿里、腾讯等互联网巨头兴办超分算法挑战赛，华为、小米、vivo等厂商纷纷将超算技术落地在智能手机、智慧屏上，商汤科技、旷视科技等AI创企及京东方等元器件商成为底层超分技术提供者，就连在AI技术上走得相对慢的爱奇艺、优酷等影视平台也推出AI超分算法工具、数据集以支持影视修复和优化。 然而，图像超分算法的高光下也存在阴影的一面。科研“刷榜”背后技术商用难，论文井喷之下灌水多等问题成为横亘在超分研发成果和落地实践之间的沟壑。 超分算法为什么成为各行各业争相抢占的技术点？在互联网公司、手机厂商、AI创企、元器件商等产业玩家及中科院、清华大学、哈工大等学研团队的拥簇下，超分算法技术研发和商用的真相如何？超分算法在技术上是如何将“马赛克”变为清晰图像的？本文将带你一览产业和学界投射在超分辨率图像技术上的高光和其背后的阴影。 一、超分算法影响影视修复、消费电子、安防等行业 今年国庆期间，一段12分钟的“彩色版开国大典”真实记录视频刷屏朋友圈。这正是利用了超分算法等修复技术，将自动化修复与人工修复结合，从而把真实的领袖风采和大国气象呈现给十几亿华夏儿女。
通俗地说，超分辨率 (Super-Resolution，简称超分)技术是提高原有图像的分辨率的技术，主要有插值法、重建法及机器学习方法。近年来以深度学习为代表的机器学习技术飞速发展，从而使得机器学习支持的超分算法快速引起学界和产业界的关注。 11月15日，经典影片《海上钢琴师》的4K修复版在国内重映，该片经过物理修复、数字修复、艺术修复三大步骤将35毫米的胶片修复成4096×3112分辨率。时隔20年，广大影迷有了为“自由的灵魂”补票的机会，而这也大大得益于“超分算法”技术。
我国从2007年开启电影修复工程，近年来利用超分算法等AI技术修复影视掀起一阵热潮。这让许多经典影视重新吸了一波粉，也使一些网友发现了一些之前没有注意到的惊喜细节。
▲网友发现了一些之前没有注意到的惊喜细节 除了影视修复行业，超分技术也被用到了智能手机、智慧屏等终端设备。 早在2017年，华为Mate 10就能将微信朋友圈压缩过的照片进行超分辨率恢复，从而使用户查看的朋友圈照片要比其它手机更清晰。 2018年12月，vivo推出光感美学再升级的X23幻彩版，率先将超分辨率技术应用于手机拍摄，据称，这是基于深度学习算法的超分辨率技术在国内手机上的首次落地。
此外，华为、小米的超分算法技术也出现在了各自的新品手机中，用以优化拍摄效果。 安防领域也是超分技术的典型应用场景。一方面，超分辨率算法可以在公安机关、交警需要的时候，通过提升图像和视频的分辨率来更快地找到违法犯罪人士。
另一方面，鱼眼全景摄像头、转角摄像机、低照度摄像机等差异化产品需要利用超分算法缓解边缘模糊、光线不足等问题。例如科达推出的“AI超微光”即通过深度学习算法提升检测图像在夜间的分辨率。 除此之外，超分算法还在卫星图像、医学图像等领域有一些应用。例如，医生可以通过超分辨率技术得到更清晰的病灶图像，进而更快速准确地诊断病症，等等。 从信息传输角度，超分算法有助于在高速度低消耗的条件下便捷地获取图像信息；从影视体验角度，在超清内容稀缺的情况下，超分算法使观众仍能享受4K甚至是8K的绝佳观感体验。 二、主要玩家动态：学界踊跃，各行各业总动员 2016年10月，谷歌“RAISR”超分算法横空降世。这项技术能够在节省75%带宽情况下使分辨率超过原图效果，同时将处理速度提升10到100倍。不久后，RAISR成为超分算法领域的行业标杆。 （编辑：52刷机网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
