企业动态

    OpenAI发布的人工智能聊天机器人ChatGPT，上线2个月活跃用户就突破了1亿，成为全球关注的焦点。奇安信人工智能研究院负责人表示，公司正在基于ChatGPT相关技术和自身积累的海量安全知识和数据，训练奇安信专有的类ChatGPT安全大模型。未来将广泛应用于安全产品开发、威胁检测、漏洞挖掘、安全运营及自动化、攻防对抗、反病毒、威胁情报分析和运营、涉网犯罪分析等领域。

    上述负责人表示，ChatGPT是使用互联网数据及部分由标注人员人工编写的对话数据，利用人类反馈强化学习（RLHF）技术及自有的GPT3.5大模型进行训练而成的。奇安信团队对于相关的强化学习、大语言模型等技术，已经有长时间的实践，并取得了多项成果。

    如同其他人工智能模型一样，ChatGPT对网络安全是把双刃剑，既可以是网络钓鱼、恶意软件生成、社工攻击的强大工具，也成为网络防御者的有力助手。

    一方面，众多安全专家警告，由OpenAI开发并免费在线提供的ChatGPT，隐藏着众多潜在网络安全风险，可能构成严重的网络安全威胁。网络攻击者已开始使用ChatGPT来创建恶意软件、暗网站点和其他实施网络攻击的工具。同时有越来越多的证据表明，ChatGPT也可以成为网络防御者的强大武器。

    ChatGPT：改变网络威胁格局的黑客新工具？

    长期以来，很多网络安全专业人士一直对人工智能的作用持怀疑态度，习惯于嘲笑相关企业对于人工智能作用的大肆宣传（夸大）。人工智能技术在识别安全威胁方面发挥了重要的价值，但事实证明，很多解决方案远没有宣传的那么实用，而是被营销团队夸大了。

    对于火热的ChatGPT，网络安全专业人士给予了前所未有的关注。ChatGPT亮相仅数周，网络安全公司CheckPoint就利用聊天机器人ChatGPT，结合OpenAI的代码编写系统Codex，生成了能携带恶意载荷、编写巧妙的网络钓鱼邮件。CheckPoint创建的网络钓鱼电子邮件，附有Excel文档，其中包含将反向shell下载到受害者系统的恶意代码。

    CheckPoint安全专家认为，这表明ChatGPT有“显著改变网络威胁格局的潜力”，代表着“日益复杂的网络能力在危险演化上又向前迈进了一步”。

    利用ChatGPT生成的钓鱼邮件

    威胁情报公司RecordedFuture的研究人员在最新报告中表示，使用ChatGPT编写用于网络攻击的恶意软件代码，降低了攻击者的编程或技术能力门槛。根据报告，“只要对网络安全和计算机科学的基础知识有基本了解，就可借助ChatGPT实施网络攻击。PaloAltoNetworks公司的安全专家SeanDuca也认为：“ChatGPT降低了网络犯罪的门槛”——即使没有技术，也能成为攻击者。其带来的网络威胁还有可能蔓延到异次元。

    目前网络钓鱼即服务(PhaaS)和勒索软件即服务(RaaS)可以向攻击者提供收费工具包，使其可以轻松实施攻击。而现在ChatGPT则使网络犯罪活动正经历另一种演变：利用ChatGPT面向公众免费开放的服务，更多危险正在萌芽，这加剧了对于未来安全风险的忧虑。

    RecordedFuture在报告中表示，网络犯罪分子使用ChatGPT造成的“最紧迫和常见的威胁”主要包括网络钓鱼、社会工程和恶意软件开发。

    （1）网络钓鱼

    根据HPWolfSecurity的研究，网络钓鱼占恶意软件攻击的近90%。ChatGPT使情况变得更糟：它在模仿人类书写方面的专长，使其可能成为强大的网络钓鱼工具，尤其对英语不流利的攻击者特别有用。

    撰写出色的网络钓鱼电子邮件是一门艺术和科学。借助ChatGPT，编写钓鱼邮件会变得更容易，且没有任何拼写错误或奇怪的格式，而这些通常是区分钓鱼与合法邮件的关键。攻击者可以借助ChatGPT创造多种钓鱼邮件，例如“使邮件看起来很紧急”、“收件人点击链接的可能性很高的邮件”、“请求汇款的社工邮件”等。

    AkamaiTechnologies首席技术官兼执行副总裁RobertBlumofe表示：“ChatGPT使攻击者能有效地将普通钓鱼的数量与鱼叉式网络钓鱼（定向）的高收益结合起来。”普通网络钓鱼的规模很大，以电子邮件、短信和社交媒体帖子的形式发送数百万个诱饵。但这类通用的形式，容易被发现，往往回报较低。鱼叉式网络钓鱼利用社会工程，创建具有更高回报的针对性和定制化的诱饵，但因需要大量的人工投入，因而数量较少。借助ChatGPT生成网络诱饵，攻击者就可以实现事半功倍的效果。

    （2）恶意软件生成

    目前安全人员已发现网络攻击者使用ChatGPT来开发恶意软件。尽管ChatGPT的设置阻止其直接做恶，比如详细说明如何制造炸弹或编写恶意代码，但多个研究人员已经找到方法，能绕开和规避ChatGPT为防止滥用而设置的规则。BugCrowd首席技术官、创始人兼董事长CaseyJohnEllis将ChatGPT的出现称为对抗性AI/机器学习知识领域的“糟糕”时刻。

    在地下黑客论坛上，网络攻击者展示如何使用ChatGPT创建新的木马。只要简要地描述所需的功能（“将所有密码保存在文件X中，并通过HTTPPOST发送到服务器Y”），就可以得到简单的信息窃取器，而不需要任何编程技能。考虑到已经有犯罪集团提供恶意软件即服务，在ChatGPT等人工智能程序的帮助下，攻击者借助人工智能生成的代码发起网络攻击可能会变得更快、更容易。ChatGPT赋予甚至经验不足的攻击者编写更准确的恶意软件代码的能力，而这在以前只能由专家来完成。ChatGPT的代码编写质量好坏参半，但无疑可以加速恶意软件的开发。

    RecordedFuture在暗网和封闭论坛发现了1,500多条关于在恶意软件开发和概念验证代码创建中使用ChatGPT的资料。其中包括利用开源库发现的恶意代码对ChatGPT进行培训，以生成可逃避病毒检测的恶意代码不同变体，以及使用ChatGPT创建恶意软件配置文件并设置命令和控制系统。值得注意的是，根据RecordedFuture研究人员的说法，ChatGPT还可以用于生成恶意软件有效载荷。研究团队已经确定了ChatGPT可以有效生成的几种恶意软件有效负载，包括信息窃取器、远程访问木马和加密货币窃取器。

    当然ChatGPT并不是编写恶意软件的专家，它生成的恶意代码可能存在细微的错误和逻辑缺陷，从而降低其有效性。这意味着生成高质量的恶意代码显然离不开攻击者专业知识的支撑。

    （3）社会工程

    ChatGPT作为由OpenAI训练的大型语言模型，能够生成可用于多种用途的类人文本。其中一种用途是在社会工程攻击领域。社会工程攻击是一种依靠心理操纵来诱骗人们泄露敏感信息或执行某些操作的策略。这可以通过各种方式完成，包括网络钓鱼诈骗、借口和其他形式的欺骗。

    ChatGPT和其他基于GPT-3的工具使社会工程攻击能够从其“创造力和对话方法”中受益。就像互联网为网络犯罪分子消除物理障碍一样，这些工具的修辞能力可以消除文化障碍。

    研究人员发现，ChatGPT等GPT-3工具使犯罪分子能够逼真地模拟各种社会环境，从而使任何针对性的通信攻击都更加有效。GPT-3这类语言模型提供支持的工具，使攻击者更易诱骗受害者提供敏感信息或下载恶意软件，加速从网络钓鱼到传播仇恨言论的所有级别和目的的社会工程攻击。

    总的来说，ChatGPT生成类人文本的能力可以成为社会工程攻击的强大工具。通过创建令人信服的消息，ChatGPT可用于操纵个人泄露敏感信息或执行某些操作。未来需要更多人意识到ChatGPT的这种潜在用途，在与未知来源互动时保持谨慎。

    ChatGPT同样是安全防护的福音

    与所有技术一样，ChatGPT本身是一把双刃剑。尽管越来越多的研究人员认为ChatGPT可能成为黑客的盟友，但这一可生成不良内容的工具，也可以用来帮助安全人员提高效率，提高恶意信息识别、抵御网络攻击的能力，这主要包括钓鱼检测、漏洞发现和安全事件响应。

    （1）网络钓鱼检测

    2022年11月，知名《安全杂志》报告称，2022年前11个月发生2.55亿次钓鱼攻击，同比2021年激增了61%。人是安全链中最薄弱的环节，掌握着访问敏感数据的密钥。攻击者往往利用定制的钓鱼邮件来获取对敏感数据的访问权限。

    ChatGPT可以被攻击者创造钓鱼邮件，同样可以从大型语言模型中学习，帮助组织识别和标记钓鱼邮件，在邮件进入收件人的收件箱之前就可以进行标记，从而显著降低网络钓鱼活动成功的机会。网络安全专业人员还可以利用ChatGPT来训练网络钓鱼检测系统，以识别与这些攻击相关的模式和语言。以便提高网络钓鱼检测系统的效率和有效性。

    （2）漏洞发现

    ChatGPT可用于帮助发现组织使用软件和系统中的新漏洞。网络安全行业已经面临控制大量安全漏洞的挑战。人工智能将会把安全漏洞数字推得更高，因为它可以更快、更智能地发现漏洞。

    安全人员可以使用ChatGPT快速生成大量独特的输入，使网络安全专业人员能够识别以前未检测到和未知的漏洞。同时，还使用新获得的知识和信息来提高软件和系统的安全性，实施更有效的安全控制，或改进当前的安全措施和实践。

    ChatGPT它与用户的专业水平相结合，可以使用户能够快速学习并有效地采取行动。就像应用程序的在线帮助可以解决问题一样，用户可以从ChatGPT获得特定漏洞的更多信息以及如何缓解办法。

    未来随着，ChatGPT模型代码理解能力的提高，安全防护人员可以询问软件代码的副作用，将其作为开发伙伴，可以显著提升软件代码的安全水平。

    随着ChatGPT人工智能模型的演进，有可能实现漏洞检测和修复的自动化和/或半自动化，以及基于风险的优先级。这对于面临资源限制的IT和安全团队来说将是非常有吸引力的应用。

    （3）事件分析与响应

    ChatGPT还可以在检测和响应网络攻击，以及改善组织内部的沟通方面发挥关键作用。

    埃森哲的安全研究人员一直在尝试利用ChatGPT的功能，实现网络防御自动化的工作。熟练的安全专业人员，网络安全专业人员负担过重，ChatGPT实现一些安全工作的自动化将会给不堪重负的安全团队带来福音，同时还有助于“消除信号中的一些噪音”

    多年来，安全运营领域在很多方面一直停滞不前，分析师收到了大量、过载的信息。通常，安全分析师收到潜在安全事件的警报后，会提取数据以便能“讲出故事”，同时判读是否为真正的攻击。这通常需要大量手动工作，或者需要使用SOAR（安全编排、自动化和响应）工具将相关工作进行整合。

    ChatGPT在这方面展示独特的优势：在从安全运营平台获取数据后，ChatGPT会生成非常好的摘要，几乎就像人类分析师在审查后所形成的报告。埃森哲的研究表明，ChatGPT从安全信息和事件管理(SIEM)工具中获取数据输出并进行处理可以快速生成安全事件的“故事”。相比人类分析师，ChatGPT可以更快地从数据中创建有关安全事件的清晰画面。最终，这些可以帮助安全团队做出更好的安全决策。

    ChatGPT的未来：以人工智能对抗人工智能

    对ChatGPT未来在网络安全中扮演什么角色、有什么影响，我们很难进行准确的预测。这取决于它的使用方式以及使用的意图。来自人工智能的威胁并不是新问题，只是ChatGPT展示了一些看起来很可怕的应用。对于网络安全人士来说，重要的是要及时意识到ChatGPT的潜在风险并及时采取适当的措施来应对。

    安全专家预测，国家背景的黑客将率先在网络攻击中利用ChatGPT，而该技术最终会在更多的攻击组织得到大规模的使用。信息安全专家需要开始开发能够抵御此类攻击的系统。

    从网络安全防护的角度来看，机构可以采取针对性的应对措施。对ChatGPT等类似模型进行培训，标记恶意的活动和恶意代码；同时对其设置难以绕过护栏。对于ChatGPT引发的威胁，可以向员工提供新型的网络意识培训，掌握识别社会工程攻击的知识，以便识别ChatGPT等人工智能工具所创造的钓鱼攻击。

    当然仅仅是这样还不够。ChatGPT等人工智能工具会以比人类罪犯更快的速度制造出新的、日益智能的威胁，传播威胁的速度也会将超过网络安全人员的反应速度。对于机构来说，跟上这一变化速度的唯一方法是通过使用人工智能来应对人工智能。

    一方面，网络安全行业的研究人员、从业者、学术和企业可以利用ChatGPT的力量进行创新和协作，包括漏洞发现、事件响应和钓鱼检测。此外，随着ChatGPT等类似工具的发展，未来开发新的网络安全工具更加重要。安全企业应更积极地开发和部署基于行为（而非规则）的AI安全工具，来检测人工智能生成的攻击。网络安全仅使用规则驱动的框架来检测潜在的网络威胁。行为分析通过使用复杂的机器学习算法来分析整个企业的用户和实体数据，识别具有风险的外行为，从而实现以人为本的防御。为了更好地保护机构免受这些新型攻击，是时候发展和部署基于行为的AI检测工具了。

    安全研究人员认为，展望未来，ChatGPT也可能是一个信号，表明距离网络防御决策的更高自动化不再遥远。

    关于奇安信人工智能研究院：

    奇安信人工智能研究院长期致力于研究AI技术在网络安全领域中的应用，尤其在网络安全、计算机视觉、自然语言处理、恶意样本识别等方向提升产品智能化水平。该团队也是国内最早将深度学习技术成功引入流量识别领域，核心成员曾在BlackHat等顶级安全会议上做主题演讲，并多次在ICDAR、Kaggle、天池等人工智能类比赛中获得第一名。目前，研究院已申请国家发明专利百余项，所取得的阶段性成果已经广泛应用于公司产品中，并获批建设国家新一代人工智能开放创新平台。