AI 技术快速崛起，进展可谓一日千里，迎来了AI 技术应用的大爆发，体现出来的能力和效果震惊世界，进而有望成为真正的通用人工智能（Artificial General Intelligence，AGI）。AI 是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事。AI 被视为第四次科技浪潮的核心技术，它同时也带来巨大潜在威胁与风险。
在这个互联的世界中，无人机已经开始送货，自动驾驶汽车也已经上路，医疗设备也越来越多地采用了 AI 技术，智能城市或家庭环境中的互连性及日益自主的设备和机器人极大地扩大了攻击面。所有智能设备使用了大量的传感器，AI 相关的技术负责信息的解析，并在此基础上通过 AI 形成自动操作决策。一旦 AI 系统的数据分析和决策过程受到恶意影响和干扰，则会对通常为操作对象的物理实体造成巨大的威胁，从工控系统的失控到人身伤害都已经有了现实案例。
一、AI 恶意使用的影响
人们越来越担心恶意行为者滥用信息和通信技术，特别是互联网和社交媒体，实施、煽动、招募人员、资助或策划恐怖主义行为。威胁行为者可以利用人工智能系统来提高传统网络攻击的效力和有效性，或者通过侵犯信息的机密性或攻击其完整性、可用性来损害信息的安全。
AI 恶意使用对现有威胁格局的影响主要有两类：
对现有威胁的扩增。AI 完成攻击过程需要耗费大量时间和技能、人工介入环节的任务，可以极大提升攻击活动的效率，直接导致对现有威胁模式效能的扩大，如钓鱼邮件和社会工程学的恶意活动。
引入新的威胁。AI 可以完成大量之前人类根本无法完成的任务，从而引入新的攻击对象和模式。比如 AI 模型自身的漏洞利用，以及借助 AI 可以轻易生成的音视频内容，构成信息战的新战场。
二、AI 普及引入多种威胁
业内普遍预测，未来十年该技术的恶意使用将迅速增长，人工智能的恶意使用在网络安全、物理安全、政治安全、军事安全等方面构成严重威胁。
1、深度伪造
威胁类型：#政治威胁 #网络威胁 #军事威胁
深度伪造（Deepfake）是一种使用 AI 技术合成人物图像、音频和视频，使得伪造内容看起来和听起来非常真实的方法。深度伪造技术通常使用生成对抗网络（GANs）或变分自编码器（VAEs）等深度学习方法来生成逼真的内容。这些技术可以用于创建虚假新闻、操纵公众舆论、制造假象，甚至进行欺诈和勒索。以下是关于 AI 在深度伪造中的应用描述和案例。
- 1） 面部替换：深度伪造技术可以将一个人的脸部特征无缝地替换到另一个人的脸上。这种技术可以用于制造虚假新闻，使名人或政治家似乎在说或做一些从未说过或做过的事情。这可能导致严重的社会和政治后果。
- 2） 全身动作生成：深度伪造技术还可以用于生成逼真的全身动作。这种技术可以使得一个人看起来在进行他们从未进行过的活动，进一步增加了深度伪造内容的可信度。
为应对深度伪造的威胁，研究人员正在开发用于检测和鉴别深度伪造内容的技术。同时，公众教育和提高媒体素养也是应对深度伪造的关键策略。个人和组织需要保持警惕，确保从可靠来源获取信息，以防止受到深度伪造内容的影响。
想像：
大语言模型超级强大的文本、音频、视频的能力，甚至 LLM 本身的幻觉特性，对于以金钱为目标的网络诈骗活动，以及对于政治动机的信息战将起到巨大的支撑，这是新技术触发的新威胁类型的引入。
现实：
威胁行为者已经积极地利用 LLM 的生成能力，执行从钱财诈骗到政治目标的恶意操作，而且随着技术的进步呈现越来越活跃的态势。
2、利用 AI 的自动化攻击
威胁类型：#网络威胁 #物理威胁
网络攻击者开始利用 AI 来自动化和优化攻击过程。AI 可以帮助攻击者更高效地发现漏洞、定制攻击并绕过安全防护措施。以下是关于 AI 在自动化网络攻击中的应用描述和案例。
- 1） 智能漏洞扫描：AI 可以用于自动化漏洞扫描和发现过程。通过使用机器学习技术，攻击者可以更快地找到潜在的漏洞并利用它们发起攻击。
- 2） 智能感染策略：AI 可以帮助恶意软件更精确地选择感染目标。通过分析网络流量、操作系统和已安装的软件等信息，AI 可以确定最容易感染的目标，从而提高攻击的成功率。
- 3） 自动化攻击传播：AI 可以自动化恶意软件的传播过程，使其能够在短时间内感染大量目标。如一些恶意软件可以利用社交工程技巧和自动化工具在社交媒体和即时通讯应用程序中传播。
想像：
AI 用于实现自动化的系统一直都是科技从业者的希望，但在 LLM 出现之前的基于普通神经网络的 AI 应该可以在特定功能点上发挥重要作用，LLM 出现以后，真正的自动系统的曙光终于到来了。
现实：
由于不限于单个功能点的系统化的能力需求，目前已知的自动化攻击系统，特别是完全自动化的，还处于早期的阶段，以概念验证为主，在现实的环境中工作的稳定性、鲁棒性、适应性欠佳。但随着拥有完整安全知识体系和推理能力的以大语言模型为代表的 AI 技术突破性进展，基于 Agent 实现真正可用的全自动化攻击利用系统将会在一两年内实现。
3、LLM 自身的安全风险
OWASP 发布的 AI 安全矩阵，枚举了常见的 AI 威胁，包括多种提示注入、模型投毒、数据投毒、数据泄露等。
| AI 类型 | 生命周期 | 攻击面 | 威胁 | 资产 | 影响 | 有害后果 |
| AI | 运行阶段 | 模型使用（提供输入 / 阅读输出） | 直接提示词注入 | 模型行为 | 完整性 | 受操纵的不需要模型行为导致错误 决策，带来经济损失，不良行为得 不到检测，声誉问题，司法与合规 问题， 业务中断，客户不满与不安， 降低员工士气，不正确的战略决策 , 债务问题 , 个人损失和安全问题 |
| 非直接提示词注入 | ||||||
| 逃逸 | ||||||
| 进入部署模型 | 运行模型投毒（重编程） | |||||
| 开发阶段 | 工程环境 | 开发阶段模型投毒 | ||||
| 数据投毒 | ||||||
| 供应链 | 获得中毒基础模型 | |||||
| 获得中毒数据用于训练 / 调优 | ||||||
| 运行阶段 | 模型使用 | 模型输出无需泄漏 | 训练数据 | 机密性 | 泄漏敏感数据导致损失 | |
| 模型反演 / 成员推断 | ||||||
| 开发阶段 | 工程环境 | 训练数据泄漏 | ||||
| 运行阶段 | 模型使用 | 通过使用窃取模型 | 模型知识产权 | 机密性 | 攻击者窃取模型，导致投资损失 | |
| 进入部署模型 | 运行阶段模型窃取 | |||||
| 开发阶段 | 工程环境 | 开发阶段模型参数泄漏 | ||||
| 运行阶段 | 模型使用 | 系统使用故障 | 模型行为 | 可用性 | 模型不可用，影响业务连续 | |
| 运行阶段 | 所有 IT | 模型输入泄漏 | 模型输入数据 | 机密性 | 模型输入敏感数据泄漏 | |
| 通用 | 运行阶段 | 所有 IT | 模型输出包含注入攻击 | 任何资产 | C，I，A | 注入攻击导致损害 |
| 运行阶段 | 所有 IT | 通用运行阶段安全攻击 | 任何资产 | C，I，A | 通用运行时间安全攻击导致损害 | |
| 开发阶段 | 所有 IT | 通用供应链攻击 | 任何资产 | C，I，A | 通用供应链攻击导致损害 |
表 4 OWASP AI 安全矩阵
OWASP 针对大模型应用的十大安全风险项检查清单，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。
4、恶意软件
威胁类型：#网络威胁
生成式 AI，典型的如 ChatGPT 的大语言模型（LLM）拥有海量的编程相关的知识，包括使用手册、代码示例、设计模式，泛化能力也使其具备了极其强大的程序代码生成能力，使用者可以通过层次化的描述需求方式构造可用的软件代码，本质上，除了极少数只可能导致破坏的恶意代码，功能代码本身很难说是善意还是恶意的，很多时候取决于软件及模块的使用目标。更深入地，威胁行为者已经开始利用 AI 来增强恶意软件（malware），使其更难被检测、更具破坏力和更具针对性。以下是一些关于 AI 在恶意软件中的应用描述和案例。
- 自适应恶意软件：AI 可以使恶意软件更具适应性，使其能够在不同的环境中有效运行。例如，一些恶意软件可以使用机器学习技术来识别和绕过安全措施，如防火墙、入侵检测系统和沙箱。
想像：
数年前 ESET 曾经写过《人工智能支撑未来恶意软件》白皮书，其中描述了很多 AI 被用于增强恶意软件能力的作用：
- 生成新的、难以检测的恶意软件变体
- 将恶意软件隐藏在受害者的网络中
- 结合各种攻击技术来找到不易检测到的最有效的选项，并将其优先于不太成功的替代方案
- 根据环境调整恶意软件的功能 / 重点
- 在恶意软件中实施自毁机制，如果检测到奇怪的行为，该机制就会被激活
- 检测可疑环境
- 提高攻击速度
- 让僵尸网络中的其他节点集体学习并识别最有效的攻击形式
当然，这些想法尚在猜想阶段，尚未变成事实。
现实：
利用 ChatGPT 的代码生成功能开发部分模块的恶意代码肯定已经出现，但真正的包含上面想像出来的 AI 驱动的实际恶意代码还未被监测到，目前可见的功能探索主要还是出现在学术圈。
5、钓鱼邮件
威胁类型：#网络威胁
AI 技术已经被用于改进和加强网络钓鱼攻击。通过使用机器学习和自然语言处理（NLP）技术，攻击者可以更有效地模拟合法通信，从而提高钓鱼邮件的成功率。以下是一些关于 AI 在钓鱼邮件攻击中的应用描述和案例。
- 钓鱼邮件生成：攻击者可以使用 AI 技术，生成看似更加真实的钓鱼邮件。AI 可以分析大量的合法电子邮件，学习其风格和语法，并模仿这些特征来生成钓鱼邮件。
- 精准钓鱼攻击：AI 可以帮助攻击者提升钓鱼攻击有效性，更精确地针对特定的个人或组织。通过分析社交媒体和其他网络资源，AI 可以收集攻击目标的相关信息，如兴趣、工作和联系人，从而可以撰写更具说服力的钓鱼邮件。
- 自动化、规模化攻击：AI 可以实现钓鱼攻击整个过程的自动化，从收集目标信息到发送钓鱼邮件。利用 LLM 协助翻译和沟通，可以建立联系或操纵目标，这使攻击者可以在短时间内针对大量的跨国目标发起攻击，提高攻击的效率，增大攻击的范围。
为了应对这种威胁，个人和组织需要提高安全意识，学会识别和应对钓鱼攻击。同时，安全研 究人员和公司也在开发使用 AI 技术来检测和防御钓鱼攻击的方法。
想像：
当前 AI 技术强大的内容生成能力可以为攻击者输出源源不断的高可信度、高影响度的钓鱼邮件信息，从而极大地增加此类恶意活动的影响面和穿透度，受骗上当的人数出现大幅度的增加。
现实：
从研究者的测试看，AI 加持下的钓鱼邮件攻击似乎有一定的效果增强，但他们的操作方式与真正的攻击者未必一致，现实攻击的场景下效果还有待评估和进一步的信息收集。
6、口令爆破
威胁类型：#网络威胁
AI 技术可以被用于口令爆破攻击，使攻击者可以更有效地进行口令爆破，从而提高攻击的成功率。口令爆破是一种试图通过尝试大量可能的密码组合来破解用户账户的攻击。传统的口令爆破方法通常是用字典攻击或暴力攻击，这些方法可能需要大量的时间和计算资源。
以下是关于 AI 在口令爆破中的应用描述和案例。
- 1） 智能密码生成：AI 可以通过学习用户的密码创建习惯，生成更可能被使用的密码组合。例如， AI 可以分析已泄漏的密码数据库，学习常见的密码模式和结构，并使用这些信息来进行密码猜测。
- 2） 针对性攻击：AI 可以帮助攻击者更精确地针对特定的个人或组织。通过分析社交媒体和其他在线资源，AI 可以收集有关目标的信息，如生日、宠物名字和兴趣等，帮助攻击者生成更具针对性的密码猜测。
- 3） 自动化口令爆破：AI 可以自动化口令爆破攻击的整个过程，从收集目标信息到尝试密码组合。这使得攻击者可以在短时间内针对大量目标发起攻击，提高攻击的效率。
为了应对这种威胁，个人和组织需要使用更强的密码策略，如使用复杂且难以猜测的密码，并定期更新密码。此外，启用多因素认证（MFA）也可以有效地降低口令爆破攻击的成功率。
想像：
生成对抗网络似乎能搞定很多事情，效果会有很大的提升。
现实：
与传统的经过长时间考验和优化的基于字典变化的爆破工具相比，并没有多大提升，基本可以忽略不计。GAN 是非常强大的技术，应该被用在更能充分发挥其作用的、更复杂的领域。
7、验证码破解
威胁类型：#网络威胁
验证码（CAPTCHA）是一种用于区分人类和计算机程序的安全机制，它通常要求用户识别并输入扭曲的文本、解决简单的数学问题或识别图像中的物体。验证码的主要目的是防止自动化攻击，如垃圾邮件、爬虫和口令爆破。然而，随着 AI 技术的发展，攻击者已经开始利用 AI 来破解验证码，从而绕过这些安全机制。以下是关于 AI 在验证码破解中的应用描述和案例。
- 1） 图像识别：深度学习和卷积神经网络（CNN）在图像识别领域取得了显著进展。攻击者可以利用这些技术来识别和解析验证码中的文本或图像。通过训练 AI 模型识别不同类型的验证码，攻击者可以自动化破解过程，从而绕过安全措施。
- 2） 自适应攻击：AI 可以使验证码破解攻击更具适应性。随着验证码设计的不断更新和变化，传统的破解方法可能无法应对。然而，AI 可以通过持续学习和适应新的验证码设计来提高破解成功率。
为了应对 AI 驱动的验证码破解攻击，安全研究人员和验证码设计者需要不断地更新和改进验证码技术。这可能包括使用更复杂的图像和文本扭曲，以及引入新的验证方法，如行为分析和生物特征识别。同时，个人和组织应采取其他安全措施来防止自动化攻击，如限制登录尝试次数和启用多因素认证。
2023 年 10 月发布的破解验证码的测试表 明，GPT-4V 基本上完全有能力破解目前公开的高难度验证机制，ChatGPT 能够轻松解决经典的reCAPTCHA“找到人行横道”难题。
想像：
GPT 这样的图像视频对象识别，以及在各类标准化或非标准化测试中表现出来的碾压一般人类的能力，基本所有的人工验证技术将受到毁灭性的打击。
现实：
GPT4 自以出来以后，识别能力已经不成问题，限制来自于 OpenAI 的防御性禁用，由于目前 OpenAI 的模型主要是云端的使用方式，能力的利用除非能找到漏洞绕过限制，不然很难持久使用，而且主动权一直都会在 OpenAI 手里，自有或开源的模型要加把劲了。
8、社会工程学的技术支持
威胁类型：#政治威胁 #网络威胁
社会工程学是一种操纵人际关系以获取敏感信息或访问权限的技术。攻击者通常利用人类的心理弱点，如信任、恐惧或贪婪，来诱使受害者泄露信息或执行不安全操作。随着 AI 技术的全面进步，攻击者开始利用 AI 来实现更高效、更具针对性的社会工程攻击。以下是关于 AI 在社会工程学中的应用描述和案例。
- 1） 语音克隆和合成：AI 可以用于生成逼真的语音副本，模仿受害者认识的人的声音。这可以使得电话欺诈或钓鱼邮件更具说服力，从而提高攻击成功率。
- 2） 自然语言处理和生成：AI 可以用于生成逼真的文本，模仿人类的沟通风格。这使得攻击者可以自动化发送钓鱼邮件、制造虚假新闻或发布欺诈性的社交媒体消息。
- 3） 个性化攻击：AI 可以分析大量的在线数据，以识别受害者的兴趣、联系人和行为模式。这使得攻击者可以定制更具针对性的社会工程攻击，提高欺骗的成功率。
为应对AI 驱动的社会工程攻击，个人和组织需要加强安全意识培训，提高员工对这类攻击的认识。同时，采用多因素认证、安全邮件网关和其他安全措施，也可以帮助减轻社会工程攻击的影响。
想像：
AI 提供的与人类齐平甚至已经超越的模式识别能力及规划决策能力，在 Agent 技术的组合下，将对社会工程学攻击提供异常强大的支持，极大提升此类攻击的自动化水平，渗透活动的广度和深度会持续增加。
现实：
实际的相关恶意活动已经大量出现，特别是伪造音频、视频的引入，体现出了非常明显的效果，导致了很现实的危害。攻击者越来越多地转向使用深度伪造信息实施“注入攻击”，攻击者会绕过物理摄像头，使用诸如虚拟摄像头等工具将图像直接输入系统的数据流。
9、虚假内容和活动的生成
威胁类型：#政治威胁 #网络威胁
AI 技术在恶意社交互动方面的应用已经越来越普遍。攻击者利用 AI 生成虚假内容、模拟人类行为，从而进行账号操纵、舆论操控和网络钓鱼等恶意活动。以下是关于 AI 在恶意社交互动中的应用描述和案例。
- 1） 虚假文本内容生成：AI 可以用于生成大量逼真的虚假内容，如新闻、评论和社交媒体帖子。这些虚假内容可以用于散播虚假信息、煽动情绪和操纵舆论。
- 2） 社交机器人（社交媒体操纵）：AI 可以用于创建社交机器人，这些机器人可以模仿人类行为，在社交媒体平台上发布帖子、评论和点赞。攻击者可以利用这些机器人操纵舆论、传播虚假信息和进行网络钓鱼攻击。
为应对 AI 驱动的恶意社交互动，个人和组织需要提高对这类攻击的认识，加强安全意识培训。社交媒体平台需要采取更先进的技术手段，如使用机器学习模型检测虚假内容和虚假账号。此外， 政府和监管机构需要加强立法和监管，以防止 AI 技术被用于恶意目的。
三、应对措施建议
1、安全行业
安全行业需要发挥能力优势，确保人工智能本身的安全性，并积极利用人工智能用于安全防护。
- 广泛使用红队来发现和修复潜在的安全漏洞和安全问题，应该是人工智能开发人员的首要任务，特别是在关键系统中。
- 与监管机构密切配合，负责任地披露人工智能漏洞，可能需要建立人工智能特定的漏洞处置流程，进行秘密报告和修复验证。
- 安全研究机构和个人努力尝试开发和验证人工智能被恶意利用的可能性，输出 POC 和解决方案，通过各种渠道监测各类 AI 被恶意利用的现实案例并加以分析。
- 开发安全工具和解决方案，检测和缓解各类基于 AI 恶意使用的威胁。
2、监管机构
监管机构需要对 AI 的潜在风险与影响保持持续关注，在制度和法规上及时提供支持。
- 建立沟通平台：整合包括安全社区在内的各种智力资源，创建事件报告和信息交流的平台和流程，使 AI 相关的安全事件和技术进展能够在一定范围内充分共享，从而调动能力尽快缓解或解决问题。
- 探索不同的开放模式：AI 的滥用表明，默认情况下公开新功能和算法有一个缺点：增加了恶意行为者可用工具的威力。需要考虑放弃或推迟发布一些与 AI 相关的研究成果的必要性，关注技术领域发表前的风险评估，建议必要的评估组织和过程。
- 考虑新兴的”集中访问”商业结构：客户使用平台提供商（如 OpenAI）提供的各类分析和生成服务，实现集中化的滥用监测和处置，当然，这种模式不能完全满足商业需求。
- 制度创建和推广：创建和共享有利于安全和安保的制度，以及适用于军民两用技术的其他规范和制度。
- 资源监控：监测 AI 相关的软硬件和数据资源的流向，通过制度和法规控制和协调资源的合法使用。
3、政企机构
政企用户既要及时部署 AI 安全框架和解决方案，以及 AI 安全检测工具和评估服务，还要依托 AI 技术推动安全防护技术创新。
- 及时部署AI 的安全检测工具与评估服务：通过企业侧 AI 应用环境风险评估能力的持续更新， 保持检测能力与 AI 技术迭代的同步。
- 构建 AI 时代的数据保护体系：包括防止数据投喂造成的敏感数据泄漏，通过建立内部技术监管手段，防止员工向大模型泄漏敏感数据；建立身份识别与溯源机制，把身份与数据关联，发生泄漏时能找到数据泄漏主体。
- 部署用于检测深度伪造视频、音频和图像的工具和产品：关注深度伪造检测技术的最新发展， 并将其集成到安全策略中。
- 教育和培训员工：对员工进行安全意识培训，确保他们了解 AI 滥用的风险和识别潜在威胁的方法；定期举行演习和培训，模拟 AI 攻击场景，提高员工的警觉性。
- 依托 AI 技术推动安全范式变革：启动人工智能网络防御推进计划，升级现有安全防护体系，用防御人工智能对抗恶意人工智能，利用人工智能扭转“防御者困境”的动态。
4、网络用户
普通用户在积极拥抱最新人工智能应用的同时，同样需要更新安全知识，提升保护自身信息安全的能力。
- 保持警惕：对任何看似可疑的信息、邮件或链接保持警惕。不要轻易点击未知来源的链接，避免在不安全的网站上输入个人信息。
- 强化密码管理：使用强密码，并为不同的账户设置不同的密码。定期更新密码，以降低被攻击的风险。考虑使用密码管理器来帮助记住和管理密码。
- 启用双因素认证：在支持的平台上启用双因素认证（2FA），为账户提供额外的安全层。这可以防止攻击者仅凭密码访问账户。
- 保持软件更新：定期更新操作系统、浏览器和其他软件，以确保受到最新的安全补丁的保护。这可以帮助抵御已知的漏洞和攻击。
- 安装安全软件：使用可靠的防病毒软件和防火墙，以保护设备免受恶意软件和网络攻击。定期扫描并更新这些工具，以保持最佳的防护效果。
- 备份数据：定期备份重要数据，以防止数据丢失或被篡改。将备份存储在安全的位置，如加密的云存储或离线存储设备。
- 加密通信：使用加密通信工具，如 Signal 或 WhatsApp，以保护私人对话不被窃听或篡改。
- 保护个人隐私：在社交媒体和其他在线平台上谨慎分享个人信息。了解隐私设置，并限制谁可以查看个人资料和发布的内容。
- 定期培训：了解网络安全的基本原则，并关注最新的网络安全威胁和事件。定期参加网络安全培训或研讨会，以提高安全意识和技能。
- 对虚假信息保持警惕：在转发或分享信息之前，核实信息来源的可靠性。避免传播未经证实的消息或谣言，以减少虚假信息的传播。
本文摘编自奇安信发布的《2024人工智能安全报告》。获取数治 AIGC+X 生成式人工智能法规工具包，关注我们的公众号“idtzed”回复“DGA”。
加入“数治x”行业社群， 300+ 高质量前沿资料免费下载，不只做个资料党，更开启你的自主个性化学习旅程，在公众号“idtzed”上回复“入”直通：
- 资料、学习、成长问答助手；
- 图解、模板、问卷行业工具包；
- 个人、团队数据素养水准评估；
- 数治连线产研导师专场直播等。
与我们有更多合作，定制你的数字推广直击目标潜在客户，扫码添加老邪企业微信。
在此声明以上观点和内容，仅代表原作者和出处，与数治网DTZed 无关，如有出错或侵犯到相关合法权益，请通过电邮与我们联系：cs@dtzed.com。
