人脸识别“遇挫”，反识别研究正在暴涨

伯克利、OpenAI 以及宾大联合发表的论文《Adversarial Attacks on Neural Network Policies》，内华达大学《Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks》等多项研究也表明，广为采用的强化学习算法（比如，DQN、TRPO 以及 A3C）都经不起对抗样本的捉弄。

事实上，对抗样本的研究，本质上属于网络信息安全的范畴，是为了确保视觉算法在现实应用中能够有更高的安全性。因此，针对对抗样本的研究，具有很高的产业价值。

已有国内厂商攻破手机人脸识别+特斯拉自动驾驶

在 2019 年，国内两个团队在今年分别实现了对手机和汽车的对抗攻击（adversarial attack，基于对抗样本的攻击）。

2019 年 4 月初，专注于安全技术的腾讯科恩实验室公布了一项在特斯拉 Model S 上进行的安全性研究，并发布报告指出了三个缺陷，其中就包括雨刷、车道的两项视觉识别，而两者正是基于对抗攻击。

在实验中，团队将特斯拉停在一个室内环境中，在车辆前播放特定的干扰画面，使车辆得出了下雨的错误判断，导致雨刷自动启动。实验室表示，这是利用 AI 对抗样本生成技术生成特定图像并实现了对汽车的干扰，而在随机生成的画面中则不会出现这种情况。

车道的实验则更为惊险。在科恩实验室发布的视频演示中，道路特定位置上摆放三张小纸片，一般情况下人类驾驶员都难以轻易察觉纸片的存在，然而特斯拉在 Autopilot 驾驶模式下行驶到该位置时，突然作出转向决策进入到隔壁的逆行车道。

腾讯团队在报告中指出，在天气识别和车道识别上，特斯拉都是基于视觉识别技术感知环境，再作出决策。团队研究了特斯拉车道识别过程，在实际的道路上摆放了数个纸片，实现了物理上的对抗图像攻击，让汽车产生了错误的车道判断。

而清华背景的 AI 安全初创公司 RealAI，则在今年成功攻破商用手机的人脸识别，这也是迄今唯一通过对抗样本攻击商用手机人脸识别成功的案例。这家公司正在打造安全、可靠、可解释的第三代人工智能，提供工业检测、预测性维护、金融风控、人工智能系统安全评测与防护等服务。

但需要指出，尚未出现成规模的攻破人脸识别系统的案例。

对此，宋明黎教授解释道，对抗样本可迁移性的局限，导致其还无法做到大规模的攻击。对抗样本的迁移性，即基于一个深度模型构建的对抗样本攻击其他机器学习模型的能力，但现在的对抗样本仍未具备很好的迁移性。

“应用在现实世界的对抗样本必须是黑盒攻击，不了解原模型的内部结构，这类对抗样本的可迁移性并没有达到可以普遍应用的效果”，他说。

AI 进入产业深水区，安全问题将成重中之重

随着人工智能技术继续“赋能百业”、与各行各业的核心业务场景结合得更加紧密，新兴技术带来新的产业攻防场景，将是一个重要话题。

现有的大量 AI 公司都集中在应用开发领域，而专注于 AI 安全研究的初创公司仍显少见。

根据 Technavio 最新市场研究报告预测，全球基于人工智能的网络安全市场将在 2018-2022 年期间实现超 29% 的复合年增长。作为 AI + 安全赛道玩家之一，RealAI 团队认为，人工智能安全未来将会发展到和网络安全同等的规模。

（来源：麻省理工科技评论）

在一场业内峰会上，腾讯科恩实验室总监吕一平接受 DeepTech 采访时也表示：“AI 现在在各行各业应用场景较多，未来会出现新的对 AI 算法对抗的研究，这可能也会成为一个安全研究的新方向”。

据他介绍，在 AI 安全的方向上，科恩实验室现正在从两个角度开展研究：

1、AI 算法本身的安全。比如关于智能汽车视觉、AI 的对抗，不管是车道线的变换，研究算法，还是制造 AI、视觉的对抗样本，最后都干扰了汽车的驾驶决策。

2、怎么样用 AI 的能力来辅助安全研究？安全研究仍是一个以人为主的领域，靠人的经验和突发奇想的创造力得以推进。

图丨目前还没有强有力的防御对抗样本的工具出现（来源：GoodFellow）

具体到防御对抗样本上，这同样是一个全新领域，尽管目前还没有一招吃遍天下的防御手段，但其中不乏一些重要的进展。

宋明黎介绍道，例如在黑盒攻击和可迁移性上，MI-FGSM 算法有比较好的效果，其在借鉴了 I-FGSM 和 ILCM 两种算法以后提出的。“MI-FGSM 在 CAAD 攻防赛中也使用了该模型，取得了第一的成绩，“但整体而言，防御对抗样本还属于需要突破的阶段，在各大方面也有比较可观的应用价值”，他说。

当然，AI 技术的安全问题并不止对抗样本一个方面，但正如 Ian GoodFellow 在一篇对抗样本的研究文章中所说：“我们认为对抗样本是安全方面非常好的议题，因为它代表了 AI 安全里的一种具体问题，可以在较短期里去关注和解决，而且这个问题的难度也是足够的，需要进行一些重要的研究工作”。

附：迄今出现的一些有趣的对抗样本“时尚单品”

1、方形贴纸：

一种特别的贴纸交给左边的人后，AI 瞬间就检测不了左边的人。

（来源：Fooling automated surveillance cameras: adversarial patches to attack person detection）

2、眼镜贴片

一种眼镜贴片能使人脸识别系统将你错认为其他人

图丨上为真人，下为系统错误识别出的人（来源：Adversarial Generative Nets: Neural Network Attacks on State-of-the-Art Face Recognition）

3、路标

将一种贴纸应用在真实的 “停止” 标志上，YOLO 和 Faster-RCNN 两种算法都无法在正常距离中识别“停止”。

图丨 Faster R-CNN，为 YOLO 生成的真实对抗样本对 Faster R-CNN 做黑盒迁移测试（来源：）

4、T-shirt

这件“对抗样本” T 恤可以保证即使印刷图像随着穿着者的姿势变化发生变形，也能干扰人脸检测器。

（来源：https://arxiv.org/pdf/1910.11099.pdf）

5、帽子

在一顶帽子上贴上特殊的图案之后，ArcFace 算法无法检测到人脸。

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!