企业动态

    不久前，《咬文嚼字》编辑部发布了2023年十大流行语，“人工智能大模型”位列其中。英国《柯林斯英语词典》出版方也对外公布，2023年年度词汇为“AI”，定义为“人工智能的缩写”（abbreviation for artificial intelligence）。2023年英文维基百科上，阅读次数最多的词条是 "ChatGPT"，浏览量为4949万。

    无论是“人工智能大模型”，还是年度词汇AI，都折射出以ChatGPT为代表的人工智能正走进一个全新时代，这将改变人类的生产、生活甚至思维方式，为经济社会发展和人类文明带来巨大机遇。

    然而，当潘多拉的盒子刚被打开时，我们很难知道它会给世界带来什么，就连马斯克都感叹，“人工智能是未来人类文明最大的风险之一。”可以预见，以ChatGPT为代表的人工智能迅速发展，也伴随着潜在的技术安全隐患及国家安全风险，甚至在不久的将来，会深刻改变现有的国际安全格局。

    就让我们一起回顾2023年，和AI安全相关的大事件。

    敏感数据占比11%，研究机构首度披露ChatGPT数据泄露

    今年2~3月，数据安全公司 Cyberhaven 的研究人员分析了不同行业客户的160万员工的 ChatGPT 使用情况。其发布的报告称，自 ChatGPT 公开发布以来，5.6%的知识工作者在工作中至少尝试使用过一次。4.9%的员工就向 ChatGPT 提供了企业数据，其中2.3%的员工将公司机密数据贴入 ChatGPT。

    Cyberhaven 研究人员指出，企业员工平均每周向 ChatGPT 泄露敏感数据达数百次，目前敏感数据（包括企业商业机密）占员工粘贴到 ChatGPT 内容的11%。例如，在2月26日~3月4日一周内，拥有10万名员工的机构，向基于AI的聊天机器人提供机密文件199 次、客户数据173次，以及源代码159次。

    这是业内首次对于ChatGPT使用中数据安全隐患的调查分析。奇安信安全专家认为，随着越来越多的办公产品如Microsoft 365 Copilot、WPS AI、通义听悟等都集成了大模型，就意味着将有更多的员工使用大模型，这会加剧企业敏感数据的泄露风险。解决大模型数据泄露难题，迫在眉捷。

    涉嫌侵犯用户隐私，ChatGPT遭意大利禁用

    意大利个人数据保护局宣布，从即日起禁止使用聊天机器人ChatGPT，并限制开发这一平台的OpenAI公司处理意大利用户信息。同时个人数据保护局开始立案调查。这是第一起政府禁止使用聊天机器人的案例。

    意大利个人数据保护局认为，ChatGPT泄露了用户对话数据和付款服务支付信息，没有告知用户将收集处理其信息，缺乏大量收集和存储个人信息的法律依据，同时缺乏年龄验证系统，因此未成年人可能接触到非法信息。OpenAI公司必须在20天内通过其在欧洲的代表，向意大利个人数据保护局通报公司执行保护局要求而采取的措施，否则将被处以最高2000万欧元或公司全球年营业额4%的罚款。

    除了意大利之外，多家跨国公司限制使用ChatGPT。如美国银行、花旗集团、德意志银行、高盛集团、富国银行、摩根大通和Verizon等机构已经禁止员工使用ChatGPT聊天机器人处理工作任务。许多日本大公司，如软银、富士通、瑞穗金融集团、三菱日联银行、三井住友银行等，也限制了ChatGPT和类似聊天机器人的商业用途。

    10分钟被骗430万！AI诈骗正在全国爆发

    随着ChatGPT和各类AI技术的广泛应用，AI诈骗手段日渐丰富，各类案件层出不穷。AI诈骗是利用AI技术模仿、伪造他人的声音、面孔、视频等信息，进行欺骗、敲诈、勒索等犯罪活动。其共性包括，诈骗分子利用受害者好友发布过的视频，截取画面再利用“AI换脸”技术合成，制造和好友视频聊天的假象骗取受害者信任，从而实施诈骗。这种利用人工智能的高科技诈骗方式，的确让公众难以辨别、防不胜防。

    今年4月，内蒙古包头警方通报一起利用AI实施诈骗的案件。在该案件中，福州市某公司法人代表郭先生10分钟内被骗430万元。据通报，骗子通过AI换脸和拟声技术，佯装熟人实施诈骗。同样在4月份，在安徽安庆经开区发生一起AI换脸诈骗案中，诈骗分子使用一段9秒钟的智能AI换脸视频佯装“熟人”，让受害人放松警惕被骗走245万元。

    网信办发布《生成式人工智能服务管理暂行办法》

    7月13日，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》（以下称《办法》），自2023年8月15日起施行。

    这是国内首个专门面向生成式AI安全领域的规范意见稿。从《办法》可以看出，数据安全和隐私保护贯穿于生成式人工智能数据的标注、模型预训练、模型训练、提供服务等各个环节，避免了监管盲区导致的安全风险。

    《办法》明确要求，提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。这意味着每一个通用大模型企业的生成式AI若想要“持证上岗”，都需要根据《办法》中各项要求逐条进行安全性评估，是否符合文件要求。这无疑从监管层面最大程度降低了生成式AI的安全风险。

    50分钟内被攻破，大模型将引入人类难以控制的风险

    在8月份DEF CON 2023上，由 AI Village、SeedAI 和 Humane Intelligence 组织的大模型红队挑战赛，比以往任何时候都更清晰地展示了生成人工智能如何可能被滥用。

    大约 2244名黑客参加了这场有史以来最大规模的大模型红队演习，研究人员有 50 分钟的时间来尝试破解随机选择的大型语言模型。接受测试的大型语言模型由 Anthropic、Cohere、谷歌、Hugging Face、Meta、英伟达、OpenAI 和 Stability 构建。

    结果显示，这些大模型技术具有可被利用的较高漏洞。在50分钟内，研究人员发现了包括 Google 和 Open AI等八种大模型的漏洞或错误，利用这些漏洞不仅可以传播不准确信息、错误信息，甚至为实施犯罪提供指南。

    DEF CON 2023期间的研究显示，这些大语言模型可能泄露数据、传播错误信息、支持仇恨言论，甚至为犯罪提供指导。DEF CON 2023 人工智能红队演习表明，大模型在阻止产生错误信息、偏见和不正确信息方面，以及信息泄露，还有很长的路要走。

    首批国产大模型“持证上岗”，业内首款大模型卫士发布

    8月底，百度旗下大模型应用文心一言正式面向社会全面开放。在8月15日《生成式人工智能服务管理暂行办法》正式实施的半个月内，字节、商汤、中科院旗下紫东太初、百川智能、智谱华章等8家企业/机构的大模型位列首批通过《生成式人工智能服务管理暂行办法》备案的名单，可正式上线面向公众提供服务。

    可以说，首批8家大模型产品已然拉开了“八仙过海”的序幕。根据百度官方数据，在文心一言开放首日，App已经被下载超过100万次，回答了超过3342万个问题。

    针对汹涌而来的大模型浪潮，奇安信依托安全和人工智能两大领域的深厚积累，发布业内首款大模型卫士产品GPT-Guard。它可以帮助客户有效监控和防护大模型在使用过程中可能引发的数据泄露、法律合规、知识产权等一系列安全风险，实时管控大模型访问和数据投喂过程，提升企业的大模型应用能力、溯源违法违规行为。从而消除其对于大模型“想用不敢用”的顾虑，让企业更安全的使用大模型应用，向科技要生产力，走好数智时代的发展之路。

    中方提出《全球人工智能治理倡议》，坚持智能向善

    2023年10月举行的第三届“一带一路”国际合作高峰论坛上，习近平主席宣布了中方提出的《全球人工智能治理倡议》。

    《全球人工智能治理倡议》围绕人工智能发展、安全、治理三方面系统阐述了中国方案：一是坚持“以人为本、智能向善”， 确保人工智能始终朝着有利于人类文明进步的方向发展。二是坚持“相互尊重、平等互利”， 应共同努力弥合“智能鸿沟”，共享“智能红利”。三是坚持“凝聚共识、协同共治”，在充分尊重各国政策和实践差异性基础上，推动多利益攸关方积极参与，在国际人工智能治理领域形成广泛共识。

    《全球人工智能治理倡议》将为中外深化人工智能合作提供广阔前景。中外可以在《全球人工智能治理倡议》基础上，加强沟通对话，求同存异，共同推动全球形成具有广泛共识的治理框架和标准规范。 人工智能合作符合中外各方利益，这种合作有助于防止技术滥用和失去对这一快速发展领域的控制。

    首届全球人工智能(AI)安全峰会在英召开

    11月1日~2日，首届全球人工智能(AI)安全峰会在英国召开。包括中国在内的28个国家的政府高官签署《布莱奇利宣言》，这是一份承认人工智能技术风险的联合声明。警告了最先进的“前沿”人工智能系统所带来的危险。

    本次按安全峰会强调各国需共同协作，共同建立AI监管方法，同时宣言各方承诺共同在发布前对先进的人工智能模型进行一系列安全测试。

    图源于新华社

    奇安信安全专家认为，尽管各国在如何监管人工智能以及由谁来领导这些问题上存在分歧，但对于监管人工智能的必要性达成共识，相信中外各方通过平等对话和协商，可以找到有效监管人工智能的方式，让这一技术可以真正造福人类。

    Gartner发布2024年十大战略技术趋势，AI安全受关注

    10月17日，Gartner正式发布了2024年十大战略技术趋势，生成式AI的全民化，以及AI信任、风险和安全管理分列第一和第二位。据Gartner预测，生成式AI或将迎来全民化时代，到2026年，将有超过80%的企业使用生成式AI的API或模型，或在生产环境中部署支持生成式AI的应用，而在2023年初这一比例还不到5%。

    Gartner将“AI信任、风险和安全管理”摆在了第二的位置。Gartner写到，AI的全民化使得对AI信任、风险和安全管理（AI TRiSM）的需求变得更加迫切和明确。在没有护栏的情况下，AI模型可能会迅速产生脱离控制的多重负面效应，抵消AI所带来的一切正面绩效和社会收益。

    根据Gartner的解释，AI TRiSM提供用于模型运维（ModelOps）、主动数据保护、AI特定安全、模型监控（包括对数据漂移、模型漂移和/或意外结果的监控）以及第三方模型和应用输入与输出风险控制的工具。除此之外，AI TRiSM 还有助于满足全球范围内激增的人工智能法规。

    全面监管人工智能欧盟达成“历史性AI立法”

    12月8日，欧洲议会、欧盟成员国和欧盟委员会三方就《人工智能法案》达成协议。欧盟表示，此举是为了让这项技术的使用更加安全，并更好地促进行业发展。这一法案将成为全球首部人工智能领域的全面监管法规，意在保护人类基本权利和不阻碍人工智能行业发展之间寻求平衡。

    该法案按照不同的风险类别为人工智能技术应用进行了分类，从“不可接受”，也就是必须禁止的技术，到高、中、低风险的人工智能等，通过识别不同风险来进行监管。

    图源于央视网相关节目

    根据法律，对人类安全具有不可接受的风险的人工智能系统将被禁止使用。对高风险的人工智能技术应用，欧盟将在使用相关技术的产品投放市场前进行严格评估，建立风险管理体系。

    不仅是欧盟，美国政府也一贯重视人工智能的应用与监管。就在2023年10月30日，美国总统拜登签署了一项《关于安全、可靠、值得信赖地开发和使用人工智能的行政命令》。该行政命令为人工智能安全和保障建立了新的标准，被外界称为“有史以来政府为推进人工智能安全领域所采取的最重大行动”。

    结束语

    一年多前，当人工智能公司OpenAI发布ChatGPT时，谁都无法准确预言它对未来意味着什么。如今，全球“百模大战”如火如荼，通用类、垂直类井喷之势发展。IDC预测，2026年中国AI大模型市场规模将达到211亿美元，人工智能将进入大规模落地应用关键期。而麦肯锡《生成式人工智能的经济潜力：下一波生产力浪潮》报告更是显示，如果将分析的63种生成式AI应用于各行各业，将为全球经济每年带来2.6万亿~4.4万亿美元的增长。

    然而， 如同《布莱奇利宣言》指出的那样，人工智能的许多风险本质上是国际性的，因此“最好通过国际合作来解决”。人工智能作为当今科技领域的热门话题，其发展速度之快、应用范围之广、影响力度之大，技术之复杂性，单靠一个国家或一个组织的力量很难全面应对其安全风险。因此，各国机构需要加强合作，共同研究和分析人工智能的安全风险，并采取有效的措施来降低这些风险，包括加强对人工智能技术的监管，共同制定人工智能安全治理的国际标准和规范等等。

    本文部分图片来源于网络