研究人员提出针对基于人工智能的人脸识别引擎的对抗攻击Demo。
近日，Adversa公司研究人员分析发现了攻击面部识别系统的新方法——ADVERSARIAL OCTOPUS。研究发现当前基于人工智能的面部识别工具易被攻击，可能会引发严重的后果。此外，许多面部识别系统都存在偏见，可能会产生错误的结果。
攻击细节
研究人员开发了一个针对人工智能驱动的人脸识别系统的攻击方式，只需将照片做出修改，就可以让人工智能系统错误识别为其他人。产生这种情况的原因是当前人脸识别算法和应用存在不足，攻击可以用于基于计算机视觉算法的投毒攻击场景和绕过场景等。
这种新型攻击可以绕过人脸识别服务、应用和API，其中包括当前最先进的人脸识别算法引擎——PimEyes。主要的特征是其融合了不同的方法来提高效率。
针对PimEyes的攻击框架是基于以下方法：
- 为提高可迁移性，用不同的面部识别模型以及随机噪声来进行训练;
- 为提高准确率，计算审计网络每层的对抗变化，并使用随机面部检测帧;
- 此外，还对每个像素进行微小变化，并使用特殊的函数来平滑对抗噪声。
攻击demo
研究人员提出的攻击方式是黑盒的、一次性成功的、静默的、可迁移的，可以绕过人脸识别AI模型和API，其中包括目前最先进的在线人脸识别搜索引擎PimEye.com。
Adversarial Octopus攻击demo如下所示：
https://www.youtube.com/embed/wzXA8TXfWq0?feature=oembed
谁可以利用这些漏洞?
该攻击是一种黑客攻击方法，也就是说对搜索引擎的算法没有任何的了解，该漏洞利用是可迁移的，可以应用于其他使用人脸的人工智能应用。攻击者可以对个人照片进行修改来对许多算法进行投毒和绕过。犯罪分子可以窃取个人身份，并绕过银行、贸易平台和其他远程认证系统使用的基于人工智能的生物认证或身份验证系统。犯罪分子还可以使用该攻击将其活动隐藏在社交媒体中。
攻击的适用范围是什么?
该攻击的主要特征是适用于多个不同的AI实现，其中包括在线API和物理设备。此外，攻击还可以针对不同的目标环境来进行调整。这也就是起名Adversarial Octopus的原因。
如何应对此类攻击?
为应对此类攻击，研究人员建议：
- 首先是对抗测试。类似针对人工智能系统的传统渗透测试。对抗测试对于所有的人工智能系统来说都应该是必须的。
- 通过对抗训练、模型加固、数据清洗和其他防御手段来在对抗场景下开发和训练人工智能。
- 检测人工智能在关键决策应用中的新威胁，并持续追踪对抗机器学习最新进展。
更多参见：https://adversa.ai/face-recognition-attack-adversarial-octopus
本文翻译自：https://adversa.ai/face-recognition-attack-adversarial-octopus
