AI 正在学会如何发动网络攻击：我们准备好了吗？

人工智能并没有让每一名黑客都变成天才。它正在改变网络犯罪的成本结构：帮助攻击者扩大欺骗规模、加快侦察工作，并利用越来越多依赖人工智能执行任务的系统。

#执行摘要

人工智能正在从两个方向同时改变网络安全。犯罪分子可以利用生成式人工智能制作更具迷惑性的社会工程内容、冒充他人、翻译诈骗信息，并加快部分攻击准备工作。与此同时，人工智能应用本身也形成了新的攻击面：提示词、连接工具、检索系统、数据管道、模型供应链以及权限配置，都可能遭到操纵或被错误设置。

这两类风险必须区分。利用人工智能辅助实施钓鱼攻击，并不等同于针对人工智能助手发动提示词注入攻击。前者是攻击者把人工智能当作工具；后者则是直接攻击具备人工智能能力的应用系统。组织必须同时防范这两种情况。

真实事件已经说明其潜在后果。2024年，香港当局披露一宗案件（英文）（在新标签页中打开）：一名员工被预先录制的深度伪造视频会议欺骗，并授权转账，损失约2亿港元。另一方面，Verizon《2025年数据泄露调查报告》（英文）（在新标签页中打开）显示，在其相关数据集中，已知初始入侵途径中，凭证滥用占22%、漏洞利用占20%、网络钓鱼占16%。这些数字并非人工智能攻击的专属统计，而是提醒我们：即使威胁环境正在改变，基础安全控制仍然至关重要。

实际应对之道不是全面禁止人工智能，也不是寄望某种检测工具识别所有伪造内容，而是建立多层防御：通过独立渠道核实身份、保护凭证、限制人工智能权限、将外部内容视为不可信输入、在执行前验证输出、持续监控行为、测试人工智能系统，并做好快速遏制事件的准备。

#1. 人工智能正在改变网络犯罪的成本结构

多年来，网络攻击的效果在一定程度上取决于攻击者拥有的时间、专业能力和资源。人工智能并没有消除攻击所需的访问条件、机会或操作能力，但它确实降低了多项辅助工作的成本。

犯罪分子可以利用生成式工具撰写流畅的信息、翻译内容、生成虚构人物头像、整理目标的公开资料，或协助理解技术文件。美国联邦调查局（FBI）在2024年12月发出警告（英文）（在新标签页中打开），指出犯罪分子正在利用生成式人工智能提高诈骗的可信度，并扩大诈骗活动的规模。该机构提及人工智能生成的文字、图像、音频和视频被用于社会工程、身份冒充及金融诈骗。

这改变了欺骗行为的成本结构。过去可能因为语法错误而显得可疑的信息，如今可以写得十分自然；虚假账户可以配上看似合理的头像；语音信息也可能听起来非常熟悉。这些特征并不意味着攻击必然成功，却让简单的视觉或语言判断变得不再可靠。

人工智能同样能够帮助防守方。安全团队可以利用机器学习关联警报、发现异常行为、整理事件资料，并协助排列漏洞修复的优先次序。因此，人工智能本身并非天生具有攻击性或防御性。关键在于谁在使用它、它能够访问什么，以及它被允许执行哪些操作。

战略变化在于： 安全团队必须假设攻击者能够以较低成本制作具有说服力的内容，同时确保关键操作仍然需要充分的身份与授权证据。

#2. 犯罪分子如何利用人工智能攻击个人与企业

#更具迷惑性的钓鱼攻击与社会工程

网络钓鱼仍然是诱骗用户泄露凭证、打开恶意内容或批准特定操作的常见手段。生成式人工智能可以协助攻击者根据目标的职位、行业、语言和业务背景调整信息内容。

防御不能再依赖辨认拼写错误。员工应通过独立且事先确认的渠道核实异常请求，尤其是涉及密码、付款资料变更、权限批准或紧急转账的要求。

#语音克隆与深度伪造视频

合成音频和视频可以模仿同事、高管、家人或公众人物。危险并不在于每一个深度伪造都完美无瑕，而在于攻击者只需要制造足够可信的假象，就可能利用紧迫感绕过正常核查程序。

2024年6月，香港政府披露一宗案件（英文）（在新标签页中打开）：一名员工参加了一场看似有公司高级同事参与的视频会议。警方相信，该会议实际上是利用公开的视频片段和声音制作的预录内容。员工按照指示向五个本地银行账户转账，造成约2亿港元损失。

这不仅是技术问题，更是流程问题。员工被一个看似真实的权威身份说服。稳健的付款流程不应允许视频会议、电邮或即时通讯成为大额转账的唯一批准依据。《你还能相信自己的眼睛吗？》一文对此案及相应控制措施有更详细的分析。

#加快侦察与漏洞研究

人工智能工具可以协助分析公开文件、源代码、配置资料和安全检测结果。在负责任的使用场景中，同样的能力可以帮助防守团队审查代码和安排补救工作的优先次序。在攻击者手中，这些能力则可能缩短攻击前期准备所需的时间。

这并不代表人工智能能够自动入侵任何系统。真正的系统失陷仍然取决于可利用的漏洞、被盗凭证、错误配置、人为失误或其他访问途径。组织应通过资产清单、及时修补、强化配置和持续测试来减少这些机会。

#恶意软件与勒索软件的辅助开发

生成式人工智能可以协助攻击者研究恶意软件概念、理解代码、调整脚本，以及制作攻击所需的辅助材料。但不能因此假设所有人工智能生成的脚本都能正常运行，也不能认为人工智能已经消除了开发复杂恶意软件的技术门槛。

对企业而言，更直接的风险往往来自社会工程、凭证失窃、远程服务暴露以及未修补的系统漏洞相互结合。Verizon《2025年数据泄露调查报告》（英文）（在新标签页中打开）指出，在其分析的泄露事件中，勒索软件出现的比例为44%，高于上一份报告的32%。这属于整体数据泄露发现，并不能证明这些勒索软件事件是由人工智能造成的。

#跨语言、跨渠道扩大诈骗规模

人工智能能够快速翻译和调整内容，使诈骗活动更容易跨越语言与平台。诈骗者可能结合合成身份、虚假投资材料、克隆声音及对话式聊天机器人，持续与受害者互动。

防御重点是独立核实相关机构、收款对象和交易信息。网站设计精美、对话流畅或个人资料逼真，都不能单独证明其合法性。

查看原尺寸图片

#3. 攻击者也在直接攻击人工智能系统

利用人工智能协助实施传统网络攻击，只是故事的一半。当企业把人工智能助手连接到内部文件、电邮、数据库、软件工具和 API 时，人工智能应用本身也成为攻击面的一部分。

OWASP《2026年大型语言模型应用十大风险》（英文）（在新标签页中打开）将提示词注入、敏感信息泄露和过度代理权限列为主要风险类别。这份框架的重要价值在于：它把人工智能安全视为应用与系统工程问题，而不只是模型质量问题。

#提示词注入：隐藏在内容中的恶意指令

提示词注入是指攻击者控制的内容影响人工智能系统，使其偏离原定任务或执行非预期操作。直接攻击是由用户直接输入恶意指令；间接攻击则是将指令隐藏在网页、电邮、文件、工单或其他内容中，等待人工智能之后读取。

MITRE ATT&CK 已记录间接提示词注入（英文）（在新标签页中打开）与直接提示词注入（英文）（在新标签页中打开）技术。这意味着人工智能助手在执行正常任务时，例如总结电邮或搜索内部文件，也可能同时处理恶意文本。

防御措施： 将检索到的内容视为数据，而不是具有权威性的指令。在技术允许的情况下，逻辑上分隔系统指令与不可信内容；限制工具权限；在模型之外执行授权检查；并要求高影响操作获得批准。单靠提示词措辞并不能构成安全边界。

#敏感信息泄露

如果检索和权限检查设计不当，人工智能应用可能向用户披露其原本无权访问的信息。例如，系统搜索共享文件库时没有套用请求者本身的访问权限，或在提示词、日志和输出中处理敏感资料时缺乏适当控制。

防御措施： 在数据层实施访问控制；确保检索权限与用户身份一致；减少发送给模型的敏感数据；遮蔽密钥和凭证；保护日志；并测试不同用户是否能够读取彼此的资料。

#过度代理权限：当助手拥有过大的控制权

人工智能代理可能连接能够发送电邮、修改记录、执行代码、批准工作流程或调用支付 API 的工具。如果它拥有广泛权限，遭到操纵或产生错误输出时，就可能造成真实后果。

风险不只来自恶意提示词。模型幻觉、模糊指令、软件缺陷或被入侵的集成服务，也可能触发非预期操作。

防御措施： 遵循最小权限原则。只授予代理完成任务所需的狭窄权限；分离读取与写入权限；设置交易限额；高影响操作必须经过人工批准；使用短期凭证；并确保能够立即撤销权限。

#数据投毒与供应链遭入侵

人工智能系统依赖模型、数据集、插件、程序库、检索索引和外部服务。如果这些组件遭到入侵或污染，系统行为可能被改变，或模型接收到不可靠的信息。

防御措施： 建立模型与依赖组件清单；使用可信来源；审查第三方集成；保护数据管道；验证更新；监控变更；并保留回滚模型或数据集的能力。

#不安全的输出处理

人工智能模型输出不应自动被视为安全代码、有效数据库查询或已获授权的指令。如果应用未经验证便将生成内容传递给其他系统，就可能引入注入或执行风险。

防御措施： 验证并清理输出；使用结构化数据格式；设置允许清单；采用参数化数据库操作；并隔离代码执行环境。

#检索系统与隐藏上下文

检索增强生成（RAG）系统会搜索外部或内部内容，并把相关资料传递给模型。文件导入、访问控制、内容分块、元数据或向量数据库权限存在弱点时，可能导致信息泄露，或让被操纵的内容影响模型回答。

防御措施： 验证资料来源；在检索过程中保留文件级权限；记录数据来源；隔离不同客户的数据；扫描导入文件；并测试检索权限边界。

查看原尺寸图片

#4. 真实事件带来的警示

#案例：香港深度伪造视频会议诈骗

香港政府于2024年6月26日回应一项立法会质询时（英文）（在新标签页中打开），披露警方于2024年1月底接获的一宗诈骗案件。一名员工收到冒充其英国总公司首席财务官的钓鱼电邮，随后加入一场看似有多名高级同事参与的视频会议。警方相信，该会议实际上是利用公开的视频和声音素材制作的预录内容。员工按照指示向五个本地银行账户转账，损失约2亿港元。

这宗案件说明，问题不仅是技术防护不足，也包括流程设计失效。员工被具有说服力的权威形象欺骗。完善的付款流程不应允许视频会议、电邮或即时通讯成为大额转账的唯一批准方式。

企业应吸取的教训：

• 通过已知且独立的渠道确认付款变更和紧急转账。
• 对重大付款实施双重审批。
• 使用预先登记的收款人资料和变更控制程序。
• 培训员工了解声音和视频都可能被合成。
• 保存证据，并立即上报可疑请求。

#更广泛的数据泄露情况：人工智能并非唯一威胁

Verizon《2025年数据泄露调查报告》（英文）（在新标签页中打开）分析了超过12,000宗已确认的数据泄露事件。在其排除错误与滥用事件的相关数据集中，已知初始入侵途径包括：凭证滥用（22%）、漏洞利用（20%）和网络钓鱼（16%）。这些数字并非人工智能归因数据，而是提醒我们，传统安全弱点仍然十分关键。

查看原尺寸图片

同一份报告指出，勒索软件出现在44%的受分析数据泄露事件中，高于上一年度报告的32%。这同样不是人工智能驱动勒索软件的比例，而是说明备份韧性、身份保护、漏洞修补和事件响应仍不可或缺。

#5. 如何防御：八层安全框架

没有任何单一产品能够阻止所有人工智能相关攻击。具备韧性的安全计划必须结合身份、访问、数据、应用、基础设施、监控、治理与恢复控制。

查看原尺寸图片

#第一层：核实身份，而不是外表

在可行的情况下，使用抗钓鱼的多因素认证，例如 FIDO2安全密钥或通行密钥。为管理员账户提供独立保护。涉及敏感请求时，应通过已知电话号码或第二个可信渠道核实，而不是使用可疑信息中提供的联系方式。

#第二层：落实最小权限原则

员工、应用程序和人工智能代理只能获得完成任务所需的权限。分离读取与写入权限，限制生产系统、客户资料、支付功能和管理界面的访问。定期审查权限，并在岗位或需求变化时及时撤销。

#第三层：为高影响操作设置审批关卡

对大额付款、收款人资料变更、客户资料导出、账户恢复、生产环境部署及破坏性操作，设置人工审批或双重控制。在事件发生之前，就应明确审批门槛和升级流程。

#第四层：保护数据的整个生命周期

对资料分类，在传输和存储时加密，减少发送给外部模型的数据，遮蔽机密信息，并实施数据防泄漏控制。确保人工智能检索系统遵循原始资料库相同的用户权限与租户隔离规则。

#第五层：保护人工智能应用架构

将提示词、检索文件和工具输出视为不可信输入。采用允许清单、严格的数据结构、输入与输出验证、隔离执行环境，以及服务器端授权机制。不能把模型自己声称某项操作已获许可，当成授权证明。

#第六层：监控行为与交易

收集身份服务、终端设备、云服务、人工智能网关、数据存储和关键应用的日志。留意异常访问模式、非预期工具调用、异常数据导出、新增集成、权限变更，以及偏离正常模式的交易。确保警报能够送达有能力采取行动的团队。

#第七层：测试整个系统，包括人工智能层

进行传统漏洞评估和渗透测试，并增加人工智能专项测试：直接与间接提示词注入、数据泄露、检索权限边界、工具滥用、模型与依赖组件来源，以及不安全的输出处理。红队演练应测试完整工作流程，而不只是聊天界面。

#第八层：准备遏制与恢复

维护经过测试的离线或不可变备份、事件响应手册、凭证撤销程序，并明确谁有权暂停人工智能代理或集成服务。演练账户遭入侵、人工智能工作流程遭操纵、数据泄露和欺诈付款等情境。

查看原尺寸图片

#6. 金融机构与数字资产企业应优先采取哪些措施

当系统控制资金、身份或数字资产时，人工智能相关入侵的后果可能尤其严重。

银行、支付服务商、金融科技平台和加密资产交易所应特别关注：

• 客户与员工身份： 抗钓鱼认证、安全账户恢复和特权访问控制。
• 交易授权： 提现限额、收款人控制、双重审批、适当的冷静期，以及异常交易监控。
• 钱包与托管运营： 职责分离、多方审批、密钥管理控制和经过测试的恢复程序。
• KYC 与开户： 活体检测和证件验证，并对较高风险个案进行人工复核；合成媒体检测只能作为一个参考信号，不应成为唯一判断依据。
• AML 与欺诈监控： 利用人工智能筛选可疑模式，同时保留可解释性、升级机制和人工调查。
• 人工智能集成： 在没有严格权限范围、独立策略执行和审批关卡的情况下，不应让代理直接连接生产支付或托管功能。

对于交易所而言，能够解释提现政策的人工智能助手，与能够批准提现的代理有本质区别。后者需要更严格的控制环境。模型的信心并不等于交易授权。

#7. 标准与监管发展

以下资源有助于组织将原则转化为具体控制措施。

OWASP 生成式人工智能安全项目。 其《2026年大型语言模型应用十大风险》（英文）（在新标签页中打开）列出提示词注入、敏感信息泄露、过度代理权限、供应链弱点、数据与模型投毒、隐藏上下文暴露，以及检索系统中的向量与嵌入弱点等主要风险。这是开发人员与安全团队实用的风险分类框架。

CISA 及国际合作伙伴。 2026年5月1日，美国网络安全和基础设施安全局（CISA）宣布发布关于谨慎采用代理式人工智能服务的联合指南（英文）（在新标签页中打开）。参与机构包括澳大利亚、加拿大、新西兰和英国的网络安全机构，以及美国国家安全局。该指南（英文）（在新标签页中打开）强调限制代理自主权、分层防御、强身份管理、监督、威胁建模和持续监控。

NIST 人工智能风险管理框架。 美国国家标准与技术研究院于2024年7月26日发布《生成式人工智能风险管理框架补充文件》（AI 600-1）（英文）（在新标签页中打开），其出版页面于2026年4月更新。该文件提供自愿采用、覆盖整个生命周期的生成式人工智能风险管理方法，可与既有网络安全控制相互补充，但不能取代它们。

MITRE ATT&CK 与 ATLAS。 MITRE 记录了与人工智能系统相关的攻击技术，包括直接和间接提示词注入，并维护针对人工智能系统攻击的知识库ATLAS（英文）（在新标签页中打开）。MITRE 于2026年10月27日宣布计划将人工智能系统作为一个新平台纳入 ATT&CK Enterprise（英文）（在新标签页中打开），预计于2027年初发布。这反映出业界越来越需要以结构化方式描述针对人工智能系统的攻击。

对于马来西亚企业，适用义务取决于行业、所处理的数据、合同承诺，以及企业是否属于受监管或被指定的关键基础设施类别。人工智能安全应纳入既有的隐私、网络安全、金融服务和事件通报义务之中。本文仅提供一般信息，并非法律意见。

#8. 企业30天行动计划

中小企业可以先从基础措施开始：保护电邮账户、启用多因素认证、修补对外开放系统、维护可靠备份、通过已知电话号码核实付款指示，并限制能够修改供应商银行资料的人员。这些措施可能不够炫目，却能应对企业常见的入侵途径。

#结论：在合成信任的世界里，验证将成为基础设施

人工智能正在让部分网络犯罪更容易规模化，也让具备人工智能能力的应用成为新的攻击目标。它能够生成具有说服力的内容、协助侦察，并帮助攻击者利用弱点。与此同时，它也能帮助防守团队发现异常、调查事件并加快响应。

结果并非命中注定。能够适应变化的组织，不会只是购买最新的人工智能安全产品，而是会清楚了解系统能够访问什么、限制系统可以执行什么、核实请求者身份、监控系统行为，并在控制失效时知道如何恢复。

逼真的声音不等于真实身份。熟悉的面孔不等于授权。模型的回答不等于许可。自动执行的操作也不代表安全。

当人工智能越来越擅长模仿人类并与系统互动时，信任必须经过独立验证，并被设计进每一个关键工作流程。

#常见问题

人工智能真的能够独立入侵电脑吗？ 人工智能可以协助网络攻击的部分环节，例如分析代码、生成内容或支持漏洞研究。但真正成功入侵仍取决于目标系统的弱点、访问条件，以及周边工具和流程。声称人工智能能够自主入侵任何系统，是一种误导。

对普通人而言，最大的人工智能网络安全威胁是什么？ 对许多人来说，眼前风险是更具说服力的身份冒充与诈骗，包括钓鱼信息、虚假投资机会、合成语音和伪造身份。务必独立核实紧急请求，不要向任何人透露一次性密码或账户恢复代码。

什么是提示词注入？ 提示词注入是攻击者直接输入或隐藏在内容中的恶意指令，影响人工智能系统，使其偏离原定任务。若人工智能能够访问私人资料或使用工具，这类风险尤其值得关注。

深度伪造检测工具能够阻止语音和视频诈骗吗？ 检测工具可以提供帮助，但不应成为唯一防线。媒体质量、生成技术更新和攻击者适应行为都可能降低检测效果。独立身份核实与付款审批控制是更可靠的保障。

企业应该如何保护人工智能代理？ 从狭窄权限开始，分离读取与写入权限，实施服务器端授权、严格的工具允许清单、输出验证、日志记录、高影响操作人工审批，以及经过测试的停用程序。

使用人工智能进行网络安全防护，是否代表企业更安全？ 人工智能可以提升检测和响应能力，但不会自动让企业变得安全。人工智能工具仍需要安全配置、可靠数据、人工监督，并与既有安全控制整合。

---

#资料来源与延伸阅读

1. 美国联邦调查局（FBI）互联网犯罪投诉中心，“Criminals Use Generative Artificial Intelligence to Facilitate Financial Fraud”，公共服务公告 I-120324-PSA，2024年12月3日。 犯罪分子如何利用人工智能生成的文字、图像、音频和视频提高诈骗可信度并扩大规模。阅读公告（英文）（在新标签页中打开）。

2. 香港特区政府，“LCQ9: Combating frauds involving deepfake”，2024年6月26日。 保安局局长书面答复所述的预录视频会议、向五个本地银行账户转账，以及约2亿港元的损失。阅读答复（英文）（在新标签页中打开）。

3. Verizon Business，“2025 Data Breach Investigations Report”，2025年。 已知初始入侵途径中的凭证滥用（22%）、漏洞利用（20%）和网络钓鱼（16%），以及勒索软件出现在44%的数据泄露中（上一年为32%）。属一般数据泄露统计，并非人工智能归因数据。阅读报告（英文）（在新标签页中打开）。

4. OWASP 生成式人工智能安全项目，“OWASP Top 10 for Large Language Model Applications”，2026年版，2026年8月4日。 十大应用风险类别，包括提示词注入、敏感信息泄露、过度代理权限、隐藏上下文暴露、向量与嵌入弱点及不安全的输出处理。查看项目（英文）（在新标签页中打开）。

5. CISA、美国国家安全局、澳大利亚信号局澳大利亚网络安全中心、加拿大网络安全中心、新西兰国家网络安全中心及英国国家网络安全中心，“Careful Adoption of Agentic Artificial Intelligence (AI) Services”，2026年5月1日。 关于代理式人工智能的联合指南：限制自主权、分层防御、身份管理、监督、威胁建模及持续监控。阅读指南（英文）（在新标签页中打开）。

6. 美国网络安全和基础设施安全局（CISA），“CISA and Partners Release Guidance on Adopting Agentic AI Services”，2026年5月1日。 联合指南的发布公告及主要缓解措施。阅读公告（英文）（在新标签页中打开）。

7. 美国国家标准与技术研究院（NIST），“Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”（NIST AI 600-1），2024年7月26日；页面于2026年4月8日更新。 自愿采用、覆盖整个生命周期的生成式人工智能风险管理方法。阅读文件（英文）（在新标签页中打开）。

8. MITRE ATT&CK，“Indirect Prompt Injection”，技术 T1698，2026年9月18日创建，2026年11月3日最后修订。 隐藏在网页、文件、电邮、工单或其他内容中、等待人工智能系统读取的恶意指令。阅读条目（英文）（在新标签页中打开）。

9. MITRE ATT&CK，“Direct Prompt Injection”，技术 T1699，2026年9月18日创建，2026年9月22日最后修订。 直接输入人工智能界面、用以操纵其行为的恶意提示词。阅读条目（英文）（在新标签页中打开）。

10. MITRE，“MITRE ATT&CK Enterprise to Add AI Platform”，2026年10月27日。 计划将人工智能系统作为新平台纳入 ATT&CK Enterprise，预计于2027年初发布。阅读新闻稿（英文）（在新标签页中打开）。

11. MITRE，“ATLAS”。 针对人工智能与机器学习系统的攻击战术与技术知识库，持续更新。查看 ATLAS（英文）（在新标签页中打开）。

---

#编辑说明

本文仅供一般教育与资讯参考，并不构成法律、财务或专业技术安全建议，也不能取代针对特定组织的风险评估、专业渗透测试或事件响应服务。文中观点属于编辑分析。

所有统计数字均归属于原始数据来源。Verizon 的数字属一般数据泄露统计，不应解读为人工智能导致相关事件的证据。香港案件按香港特区政府在调查期间公布的内容叙述。

资料来源最后核对日期：2026年11月7日。

本文中文版译自英文原文，引用的资料来源均为英文原文。