人脸识别“遇挫”，反识别研究正在暴涨

（原标题：曾入选10大突破性技术，却在2019 年“遇挫”：人脸识别背后，反识别研究正在暴涨）

《麻省理工科技评论》曾将人脸识别技术评选为2017年的“十大突破性技术”。

但，“万物有矛必有盾”。随着人脸识别技术跨入成熟应用期，各式各样的“人脸识别之矛”也在 2019 年频繁出现在公众视野之中。

现在，算法研究人员用一个面具、一张贴纸、一件衣服、甚至一个纹身，就能干扰机器的人脸识别。

近日，美国 AI 初创公司耐能（Kneron）的研究员，便成功利用特制的3D面具，通过包括微信支付、支付宝、铁路刷脸进站在内的人脸识别完成支付。对此，支付宝团队回应，此前试图联系这家企业获取详细信息，但是对方将该新闻及视频下架，没有提供更多信息。而微信方面称，目前已采用了多项技术，可以有效抵御视频、纸片、面具等攻击。两家均表示，如果出现刷脸支付导致盗刷可申请全额赔付。

图 | 2017 年入选 “十大突破性技术” 的“刷脸支付”

这些现象背后，计算机视觉技术赋予越来越多的机器以识别能力，其对应的颇具代表性的一类“矛”——对抗样本（adversarial example）——也在近两年呈现出热度急剧上升的趋势。

现有计算机视觉基本上基于深度学习（尤其是人脸识别技术），而对抗样本，正是通过给正常数据样本引入细微特殊噪声后、导致深度学习模型识别错误的样本，产生所谓的 “对抗” 效果。

在即将过去的 2019 年，诸多迹象都在指向以对抗样本研究为代表的 AI 安全研究正在成为一大热门技术话题。

加州伯克利计算机安全专业博士生 Nicholas Carlini 就给出了一项不完全统计，全球最大的预印本网站 arXiv 上，对抗样本相关的论文在 2019 年间数量暴涨。

无独有偶，同样在 2019 年，中国人脸识别第一案爆发、全球人脸识别标准启动制定、多地爆发人脸识别抗议活动，人脸识别技术走向下一个发展阶段，与用户隐私问题相生相伴的，正是其安全性问题。

IEEE 于 12 月 10 日发布的 “2020 年 12 大技术趋势” 中，也将与对抗样本息息相关的“对抗机器学习”（Adversarial Machine Learning ）列入其中，显示这个方向将在 2020 年展现颠覆市场的潜力。

IEEE 认为：“机器学习算法通常假定在训练和评估模型期间，不会遭遇外部的恶意操作。换句话说，大多数机器学习模型都没有充分考虑被攻击或者被操纵的可能性。但是，越来越多的安全研究人员已经证明，即使没有关于目标模型参数的完整信息，恶意的输入（例如对抗样本）也可以操纵机器学习算法的输出效果。

但随着越来越多的机器学习算法被整合到各种各样的现实系统中，对这些算法的恶意攻击频率将会上升。如此看来，针对对抗机器学习的安全性研究和探索侦测机器学习系统是否被恶意操纵的方法，将变得至关重要”。以计算机视觉首当其冲的一场 AI 攻防战，已燃起烽火。

图丨将图像稍加干扰像素之后，熊猫便被错误分类成长臂猿（来源：medium）

计算机视觉的“阿喀琉斯之踵”：微小扰动，识别概率就可大幅下降

对抗样本这一概念于 2013 年由学者 Szegedy C 提出。

当时，由他所著的名为《Intriguing properties of neural networks》的研究论文，首次揭示了深度神经网络的一大弱点所在：其极易受到对抗性样本的影响，只需通过对输入样本进行细微改动，深度神经网络进行错误分类的概率就会大幅提升。

“对抗样本的出现，使得原本准确率较高的深度学习模型出现了严重的正确率下降的现象，其对于现有模型的攻击效果引起了很大的关注。对抗样本通过添加微小扰动的方式，大多在人眼看不见的情况下，取得欺骗模型的成绩，对于现有的深度模型提出了一定意义上的挑战，也对攻防两个方面提出了新的要求”，浙江大学计算机学院宋明黎教授说。

2013 年之后，Nguyen 等人提出，面对一些人类无法识别的样本，深度学习模型也可以将其以高置信度进行分类。这意味着深度学习模型具有极大脆弱性，在理论上存在凭借垃圾样本通过识别分类系统的可能性。

而自 Szegedy C 提出对抗样本以后，“GAN 之父” Ian GoodFellow 在 2014 年解释了对抗样本的基本原理，即高维网络的线性状态。自那之后，围绕于生成对抗样本的迭代算法开始涌现，出现了各类流派。

宋明黎教授表示，对抗样本的现有研究思路，总体上可以分成全像素添加扰动和部分像素添加扰动两类，每一类中又可以分成目标是否定向、是否黑盒（在无法获取模型内部的所有信息和参数基础上的攻击）和是否肉眼可见。

“全像素添加扰动是指在原图像的所有像素点均加上合适的扰动，部分像素扰动只对原图像的部分像素进行修改。全像素扰动注重对抗性和适应性的提高，即，是否能产生更高的误分类率和是否具有可迁移性等特性；部分像素扰动更加注重选择的像素数量、代价和对抗性之间的关系。基此分类，可突出各自不同的期望目标，即寻求质量提高还是寻求扰动微小”。

例如，在更高的误分类率上，2018 年多伦多大学教授 Parham Aarabi 和研究生 Avishek Bose 发明的一种算法中，通过对图像进行光转换，动态地破坏面部识别系统，人脸识别系统中被检测到的人脸的比例就能降低到 0.5%。

图丨人脸已经不被检测到（来源：多伦多大学）

研究上用对抗样本调戏 AI 分类器、或者干扰机器进行人脸识别，我们尚可一笑而过嘲笑机器之愚蠢。但是，如果部署到公共空间的机器，被对抗样本所迷惑，将你错误识别成了老赖、潜逃犯，或者是一辆自动驾驶汽车无法正确识别路标，问题就大了。

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!