本文选自中国工程院院刊《中国工程科学》年第2期
作者：方滨兴，时金桥，王忠儒，余伟强
来源：人工智能赋能网络攻击的安全威胁及应对策略[J].中国工程科学,,23(3):60-66.
编者按
近年来，网络空间安全重大事件持续爆发，网络安全威胁全面泛化。网络空间安全威胁覆盖了从物理基础设施、网络信息系统到社交媒体信息，对虚拟世界、物理世界的诸多方面构成威胁。人工智能在为社会进步带来显著推动效应的同时，也在促进网络空间安全领域的重大变革，研究人工智能和网络空间安全结合带来的安全问题具有迫切意义。
近期，中国工程院方滨兴院士科研团队在中国工程院院刊《中国工程科学》年第3期撰文，系统分析人工智能在网络空间安全领域应用带来的安全问题，重点研究人工智能在网络攻击细分方向的赋能效应，总结提炼人工智能赋能网络攻击的新兴威胁场景、技术发展现状、未来发展趋势，以期为相关领域发展提供理论参考。文章建议，为有效应对人工智能赋能网络攻击的安全威胁，应从防范安全威胁、构建对等能力角度加强智能化网络攻防体系建设和能力升级；加强人工智能安全数据资产的共享利用，采取以数据为中心的人工智能网络攻防技术发展路径；加强对抗评估和测试验证，促进人工智能网络攻防技术尽快具备实用性。
一、前言
近年来，网络空间安全重大事件持续爆发，网络安全威胁全面泛化。斯诺登事件、乌克兰电网攻击事件、美国大选干预事件等表明，网络空间安全威胁覆盖了从物理基础设施、网络信息系统到社交媒体信息，对虚拟世界、物理世界的诸多方面构成威胁。网络空间安全已经成为非传统安全的重要组成部分。随着人工智能（AI）第三次浪潮的兴起，人工智能向诸多行业、领域不断渗透并交叉融合的趋势已经显现。人工智能因其智能化与自动化的识别及处理能力、强大的数据分析能力、可与网络空间安全技术及应用进行深度协同的特性，对网络空间安全的理论、技术、方法、应用产生重要影响，促进变革性进步。
人工智能与网络空间安全的交互融合，表现了“伴生”“赋能”两种效应。
①网络空间安全在本质上是一种伴生学科，每一种新技术的出现都会引发伴生的安全问题；人工智能的伴生安全问题主要是内生安全问题、衍生安全问题，即由于人工智能自身在脆弱性、可预测性、可解释性等方面存在的安全隐患或问题，将自身安全问题转移或嫁接到人工智能应用上，使得人工智能系统自身或者应用人工智能技术的系统产生新的安全威胁；攻击者可利用对抗样本或数据投*技术，自动化构造攻击样本，针对现有智能安全系统开展攻击，造成人脸识别、车牌识别等系统功能降级，甚至引导实施网络攻击、物理攻击。
②人工智能在自身发展带来新网络空间安全威胁的同时，也从攻击、防御方面给传统网络空间安全提供了显著的赋能效应，如基于机器学习、深度搜索的人工智能方法能够提升网络攻击能力、自动检测网络安全防御方法、制定智能化的攻击策略；同样，人工智能可辅助网络空间安全从被动防御趋向主动防御，从而更快更好地识别威胁、缩短响应时间；网络空间的时空动态变化复杂，人工智能技术可关联分析日志、流量等不同渠道的数据，构造多维数据关联与智能分析模型的资产库、漏洞库、威胁库，实现对有效网络攻击的全面、准确、实时检测。
人工智能在攻防两方面的赋能效应，极大地推动了网络空间攻防对抗的发展，引发新的安全威胁，催生新的对抗手段。对于网络安全而言，人工智能是一把“双刃剑”；人工智能与网络空间安全深度结合，给经济、*治、社会、国防等领域带来新威胁、新问题的同时，也为各国网络空间安全发展提供了新机遇。
本文系统分析人工智能在网络空间安全领域应用带来的安全问题，重点研究人工智能在网络攻击细分方向的赋能效应，总结提炼人工智能赋能网络攻击的新兴威胁场景、技术发展现状、未来发展趋势，以期为相关领域发展提供理论参考。
二、人工智能和网络空间安全深度结合带来的国家安全问题
（一）涉及的国家安全问题与威胁
1.*治安全方面
随着网络技术的迅猛发展及广泛运用，网络*治作为一种新的*治形态呈现出来。公众可以借助多元化网络通道和途径，较为自由地进行*治表达和参与，影响*治过程，实现*治权利，但也可能引发各种*治安全问题。人工智能显著加剧了*治安全领域中的现实威胁。例如，在年3月曝光的“剑桥分析”事件中，商业智能公司利用脸书用户数据进行人物画像，自动推送信息以影响选民在美国大选、英国脱欧等*治事件中的投票倾向；该事件标志着数据智能从商业领域扩散至*治领域，使得单纯的网络数据安全问题上升为现实的*治安全隐患。
人工智能技术应用可引发使用数字自动化塑造*治影响等新兴安全威胁。例如，应用深度伪造技术生成逼真的捏造视频、音频，编造领导人丑闻，伪造新闻进行煽动；利用人工智能的自然语言生成技术，自动化构造信息并进行定制化的虚假宣传活动。这类具有数字自动化特征的深度伪造威胁，借助各类媒体传播虚假信息，具有极强的传播势能，可实现大规模、潜伏性的*治操纵和控制，将显著加剧网络空间*治安全威胁的影响力和对抗复杂性。
2.经济社会安全方面
人工智能与网络安全深度结合将威胁和影响经济社会安全。随着相关行业、企业、公众对网络技术与应用依赖性的增加，与网络犯罪相关的经济社会风险也随之增长。《年全球风险报告》认为，网络攻击问题已经成为仅次于极端天气、自然灾害之外的世界第三大威胁。利用人工智能、大数据技术，攻击者可以根据出生年月、电话、亲属、位置等关键个人信息，“量身定制”个性化的诱饵攻击，实现高度逼真的自动化社会工程攻击。
借助自动化、智能化工具，网络罪犯可以针对大规模目标开展高效、隐蔽的漏洞探测扫描，完成自动利用和攻击。人工智能技术驱动的智能化、自动化、规模化攻击，可为网络犯罪提供威胁更大、传统防御系统更难防范的技术手段与方法，所产生的破坏力也更强，严重威胁和影响了经济社会安全。
3.国防安全方面
人工智能与网络攻防结合程度的不断加深，将极大改变传统信息作战的方式与手段。通过智能化的态势感知、情报分析、网络攻击与瘫痪，可形成*事先发优势并引发新型*备竞赛。在网络武器方面，人工智能为国家级高级可持续威胁攻击（APT）组织提供了新的工具与手段，针对关键信息基础设施实施渗透性、隐蔽性更强的网络攻击，严重影响其安全稳定运行。
年，美国国防高级研究计划局（DARPA）发起的网络安全挑战赛（CGC）极大推动了自动化网络攻防技术的发展；基于人工智能的新型网络战武器将明显改变网络空间*事对抗格局，加速塑造不对称竞争优势。年，美国成立算法战跨职能小组，加速将大数据、人工智能、机器学习整合到国防部项目，重点推动战场空间态势感知、自动化网络响应等技术研发。算法层面的突破、数据数量与质量的提升、计算能力的增长，为人工智能在国防领域的应用提供了巨大的想象空间，将构建新的战略威胁。
（二）主要国家的应对态势
1.美国
美国凭借传统技术优势，积极谋求在人工智能技术方向的主导地位；将网络安全视为重要方面，高度重视人工智能在网络安全领域的研究与应用，争取建立网络攻防领域的战略优势。
年，美国《为人工智能的未来做好准备》报告提出，相关机构的计划和战略应考虑人工智能、网络安全之间的相互影响；人工智能研究机构应确保人工智能技术自身及生态系统具备应对智能对手挑战、保持安全性和恢复力的优势；参与网络安全工作的机构应采用美国自有的人工智能技术来高效实现网络安全。同年发布的《人工智能、自动化与经济》报告认为，为有效应对人工智能自动化对经济的不利影响，应从网络防御、欺诈侦察的角度发展人工智能技术；典型应用有基于人工智能的机器学习系统辅助人类迅速回应网络攻击，人工智能高效解读数据并预防网络攻击。
年，哈佛大学《人工智能与国家安全》报告指出，网络武器将更频繁地用于虚拟作战；机器学习在*事系统中应用，将带来新型漏洞并催生新型网络攻击手段；人工智能网络武器一旦被盗或者非法复制，将被恶意使用；不断进步的自动化将使失业问题、网络攻击问题更为严峻，进而影响*治稳定和国家安全。
年，美国国际战略研究中心发布《人工智能与国家安全，人工智能生态系统的重要性》，报告认为，在网络安全或防御等领域，人类可能无法迅速作出反应，首先掌握人工智能应用的国家会有显著优势；在网络安全方面，人工智能技术可与僵尸网络配合，实施攻击并打垮防御。
年，美国发布新版《国家人工智能研究与发展战略规划》，列出了算法对抗、数据中*、模型反转等威胁人工智能安全的问题；要求在人工智能系统全生命周期考虑安全性问题，涵盖初始设计，数据/模型的构建、评估、验证、部署、操作、监视等环节。
年3月，美国人工智能国家安全委员会发布建议报告，认为美国尚未做好防御人工智能赋能新兴威胁的准备；提出年实现*事人工智能战备状态的发展目标，建议成立技术竞争力委员会等组织机构，确保赢得竞争并增强防御能力。
2.其他国家
年，俄罗斯发布《人工智能在*事领域的发展现状以及应用前景》，明确将人工智能视为战略竞争的重要领域，推动人工智能元素与无人集群、无人自主系统反制、雷达预警系统的整合，支持国家*事能力提升。
年，日本防卫省发布《中长期技术规划》，推动发展可快速处理海量情报数据的人工智能技术、能够应对网络攻击的广域分散情报通信系统技术，由此提升态势感知、情报共享、电子攻防、指挥控制能力。
年，印度发布《人工智能国家战略》，注重利用人工智能技术促进经济增长并提升社会包容性，寻求适合国情的人工智能规划部署。印度将利用人工智能技术开发武器、防御、监视系统，制定人工智能发展路线图；研究机器学习在*兵种、网络安全、核、生物资源等领域应用，以自主化武器、无人监视系统为代表。
三、人工智能赋能网络攻击的安全威胁场景与典型技术
（一）人工智能赋能网络攻击带来的新型威胁场景
1.自主化、规模化的拒绝服务攻击威胁
近年来，随着物联网（IoT）的逐步普及、工控系统的广泛互联，直接暴露在网络空间的联网设备数量大幅增加。MiraiIoT僵尸网络分布式拒绝服务攻击（DDoS）事件（年）表明，攻击者正在利用多种手段控制海量IoT设备，将这些受感染的IoT设备组成僵尸网络，发动大规模DDoS攻击并可造成网络阻塞和瘫痪。除了呈现大规模攻击的典型特点之外，网络攻击者越发注重将人工智能技术应用于僵尸网络攻击，据此进化出智能化、自主化特征。
年全球威胁态势预测表明，人工智能技术未来将大量应用在类似的蜂群网络中，可使用数百万个互连的设备集群来同步识别并应对不同的攻击媒介，进而利用自我学习能力，以前所未有的规模对脆弱系统实施自主攻击。这种蜂巢僵尸集群可进行智能协同，根据群体情报自主决策采取行动，无需僵尸网络的控制端来发出命令；无中心的自主智能协同技术，使得僵尸网络规模可突破命令控制通道的限制而成倍增长，显著扩大了同时攻击多个目标的能力。人工智能赋能的规模化、自主化主动攻击，向传统的僵尸网络对抗提出了全新挑战，催生了新型网络空间安全威胁。
2.智能化、高仿真的社会工程学攻击威胁
社会工程学利用人性弱点来获取有价值信息，作为攻击方法是一种欺骗的艺术。社会工程学网络攻击虽出现已久，但始终是较为有效的攻击手段；特别是鱼叉式网络钓鱼，因成效显著、传统安全性防御机制难以阻止而成为研究