<EYD与机器学习>:对抗攻击基础知识(一)
发布网友
发布时间：2024-12-11 02:27
共1个回答
热心网友
时间：2024-12-28 07:27
深度神经网络在计算机视觉领域发挥重要作用，但对抗样本攻击使其鲁棒性弱。攻击样本是在原始样本中添加人眼难以察觉的噪声，这种噪声不会影响人类识别，却能欺骗DNN，使其给出错误判断。这可能导致无人驾驶系统的误判、犯罪分子误导交通信号牌、造成交通事故等严重后果。DNN在区分有用特征和忽略特征上存在局限，未完全复现人类视觉过程。若未来应用于高可靠性领域，安全风险将增加。
图一展示了对抗样本示例，原始样本被误判。例如，停止的警示牌被误判为可以通行，虎斑猫被误判为鳄梨色拉酱，雪山被误判为狗，河豚被误判为螃蟹。人眼对此类噪声的误判反应较小。本文将介绍对抗攻击基础知识，为后续关于攻击防御的文章提供科普背景。
对抗攻击模式分为黑盒攻击和白盒攻击。白盒攻击允许攻击者了解使用的算法和参数，与系统交互；黑盒攻击则不知道算法和参数，通过输入观察输出判断。实际应用中，生成对抗样本攻击模型B时，模型A与B相同时为白盒攻击，不同模型时为黑盒攻击。
无目标攻击和有目标攻击是两种常见攻击模式。无目标攻击生成对抗样本，使系统标注与原标注无关，有目标攻击则要求生成样本属于特定类别。FGSD算法基于梯度生成对抗样本，通过最大化损失函数，确保样本不被归类为原类别，实现误判。FGM算法推广了FGSD，满足约束条件。IFGSD算法对FGSD进行迭代优化，常优于FGSD。Deepfool算法基于超平面分类思想，最小化样本分类距离。C&W算法使用变量优化寻找最小扰动，鼓励错误分类。
防御方法大致分为对抗训练、梯度掩码、随机化和去噪。对抗训练通过将真实数据与加入对抗扰动的数据集合并训练，增强模型鲁棒性。梯度掩码隐藏原始梯度，提高模型对攻击的抵抗力。随机化和引入随机层或变量提高模型鲁棒性。去噪算法在判定前对样本进行处理，消除干扰信息，降低攻击效果。
总结，本文介绍了对抗攻击的基本概念、模式和部分常用算法，以及防御方法分类，旨在为理解后续关于攻击防御的文章提供基础背景知识。欢迎对这个方向感兴趣的读者参与讨论，共同进步。未来将分享当前最新攻击或防御算法的论文读书笔记，欢迎指导或投稿。
