作者: 联盟秘书处

  • AI时代的安全挑战——AI应有三把安全锁

    AI时代的安全挑战——AI应有三把安全锁

    发布日期:2024-06-14

    来源:微型计算机官方微博

    谁都无法否认,AI是一柄双刃剑。它在为人类社会带来生产力的极大进步、生活娱乐的更多便利的同时,也可能增加隐私泄露、信息安全的风险。就连开启AI时代的OpenAI,近期也因安全问题身陷各种负面舆论的漩涡之中。在AI时代,数字安全将关乎我们每一个人……

    AI电信诈骗

    2023年7月,韩国一女子被冒充特斯拉CEO埃隆·马斯克的社交媒体账号诈骗7000万韩元(约合37.1万元人民币),诈骗分子以伪造照片与AI拟声音频骗取了受害者的信任。

    2024年初,我国香港警方披露迄今为止全球最大的AI换脸诈骗案,一名跨国公司的职员参加英国总部首席财务官发起的多人视频会议,随后按要求先后15次转账到5个本地银行账户,涉案金额高达2亿港元(约合1.855亿元人民币)。实际上,会议中只有他一个“真人”,其他都是AI换脸后的诈骗人员。

    2024年4月20日,包头市郭某接到“好友”微信视频电话,被AI换脸骗走430万元。而后福州、包头两地警银迅速启动止付机制,成功拦截336.84万元,但仍有93.16万元被转移。

    4月23日,北京互联网法院对全国首例“AI声音侵权案”进行一审宣判。

    5月6日,江西鹰潭市余江区法院公开宣判了全国首例“AI外挂”案。

    5月22日,安庆何某被短短9秒钟的“熟人”视频连线蒙骗,幸得警方连夜跨省抓获3名涉诈嫌疑人,追回全部被骗金额132万元。

    类似通过AI拟声或AI换脸的新型诈骗,在西方发达国家也日趋频繁。在过去一年中,有超过5600万美国成年人承认自己遭遇过电信诈骗,损失达254亿美元,很多案件中都出现了AI技术。一些国际诈骗问题专家指出,在2022~2023年,美国AI诈骗的案件数量同比已经上涨了50%~75%,面向老年人的AI语音骗局是重灾区。

    今年5月,有澳大利亚和北美媒体披露,电诈分子已经开始利用大语言模型或AI聊天机器人替代过去繁杂的“脚本+人工”模式,用不同语言向受害者发送消息。一方面,生成式AI使对话聊天更有说服力,更容易获得受害者的信赖,另一方面,AI技术减少了诈骗分子对接多个受害者的工作量,也进一步扩大了影响范围。

    而此前安全技术公司McAfee的一份调查报告显示,7000多位全球受访者中,有70%的人不确定能分辨AI合成语音,大约有10%的人曾遭遇过AI拟声的语音诈骗。网络安全公司Sophos也表示,生成式AI可将文本、图像、视频与翻译相结合,生成不重复的“定制内容”,由此可能被用于编写诈骗脚本和更逼真的“钓鱼”邮件。

    AI安全隐患的根结

    接入AI的新型电诈,就是我们每个普通人最容易接触到的AI变革的副产物。以刚刚问世并对所有用户免费开放的GPT-4o为例,这一面向未来人机交互范式的全新大模型,具有文本、语音、图像三种模态的理解力,可以实时对音频、视觉和文本进行推理,处理50种不同的语言。它甚至可以能够读取人的情绪,并在短至232ms的时间内响应音频输入,与人类的响应时间相似。但也意味着技术的快速进步,使得生成式AI被滥用后,诈骗实施起来越来越简单,且成本极低。

    在数字时代或者说网络时代,信息安全一直是整个IT产业必须面对的问题。而随着创新变革进程不断加速,AI在赋能千行百业的同时,也让信息安全问题变得更加复杂,如数据泄露、过度采集和滥用伪造等。除了电信诈骗,近两年个人隐私、肖像权乃至企业名誉受侵害的事件同样层出不穷。

    归根结底,这主要源自AI存在的三大安全隐患:其一为AI应用的滥用问题,其二为数据采集和流通渠道的安全问题,其三为更不易被监管的算法模型自身的安全性和可靠性问题。

    OpenAI光环暗淡

    4月底,包括《纽约每日新闻》和《芝加哥论坛报》在内的多家新闻机构起诉微软和OpenAI,指控其滥用记者工作成果来训练生成式AI大模型。此前也有不少作家、律师和公司机构起诉OpenAI,使用用户数据进行用户画像或广告推广等商业用途;亦有三星电子的员工使用ChatGPT,导致该公司的机密数据外泄。

    5月中旬,OpenAI的联合创始人兼首席科学家伊利亚·苏茨克韦尔和简·雷克宣布离开,并表示“OpenAI应是一家‘安全第一的人工智能公司’……制造比人类更聪明的机器本身就是一种危险的尝试,OpenAI肩负着巨大的责任。但在过去几年时间里,安全文化和流程已经让位于‘闪亮的产品’。”紧接着公司宣布旗下人工智能长期安全团队“超级对齐”解散,而一年前该团队刚成立时,OpenAI曾表示将在4年内将20%的算力投入到该团队中。业内猜测,这两个内部事件表明了该公司内部对于AI安全问题产生了巨大分歧。连埃隆·马斯克都锐评表示:“看来安全并不是OpenAI的首要任务。”

    与此同时,GPT-4o发布首日即遭“越狱破防”,某种攻击范式下,GPT-4o会被诱导泄露各种危险信息。该攻击范式同样适用于Llama3大模型。相关人士分析认为,其原因在于大模型训练目标和安全目标存在矛盾,训练数据超过安全性数据范围,以及安全性机制未能与底层模型的复杂性和能力相匹配。

    我国AI大模型安全测评平台“数字风洞”对其进行信息真实性、健康价值观、破坏性指导和恶意目的等项目测试后,也发现GPT-4o的内容安全对齐和防护效果不容乐观,超7成测试反应“道德缺位”,暴露多项安全隐患。

    必须要有三把安全锁

    在AI时代,安全问题带来的挑战不仅涵盖了传统的数据信息安全,还有大模型算法本身的安全漏洞和可靠性问题,以及整个产业链环节乃至最终用户的社会责任与道德伦理标准。因此,兼顾进步革新与安全可信,理应是推动AI产业生态稳步发展至关重要的理念。

    因此,在大模型的研发、训练和投产过程中,需要由企业强化算法安全意识和安全保障能力,确保大模型算法尤其是AIGC模型的安全机制,这是在大模型底层的第一把安全锁。第二把安全锁则是应用供应商云端协同共筑AI时代的安全底线,保障用户隐私不被泄露。最后一把安全锁,则是必须在政策和法律法规上,对生成式AI服务实行分类分级的监管与防控。(2023年7月,国家网信办等七部门发布《生成式人工智能服务管理暂行办法》,是全球首部专门规范生成式人工智能服务的立法。)

    今年是我国正式全功能接入国际互联网的第30个年头,也是网络强国战略提出10周年。我们如今正站在AI时代浪潮的前列,必须直面AI带来的全新机遇与挑战,坚持人工智能发展与安全并重,促进产业健康成长,保证经济增长与社会稳定。

  • “巴渝杯”大学生网络安全联赛总成绩

    “巴渝杯”大学生网络安全联赛总成绩

    发布日期:2024-06-13
    “巴渝杯”大学生网络安全联赛总成绩
    “巴渝杯”大学生网络安全联赛——理论知识竞赛、CTF夺旗竞赛、网络安全作品赛已圆满结束,经过评审公示,现将总成绩公布如下:
    (总分计算公式:理论知识竞赛*20%+CTF夺旗竞赛/30*40%+网络安全作品赛*40%)

    “巴渝杯”大学生网络安全联赛组委会
    2024年6月13日

  • “巴渝杯”大学生网络安全联赛总决赛入围名单

    “巴渝杯”大学生网络安全联赛总决赛入围名单

    发布日期:2024-06-13
    “巴渝杯”大学生网络安全联赛总决赛入围名单
    根据《关于举办“巴渝杯”大学生网络安全联赛的通知》中的规则,单项赛总积分排名前30%进入决赛,同一学校最多2支队伍晋级总决赛,承办学校最多3支队伍晋级总决赛,现公布入围名单如下:

    “巴渝杯”大学生网络安全联赛组委会
    2024年6月13日

  • “巴渝杯”大学生网络安全联赛总决赛入围名单

    “巴渝杯”大学生网络安全联赛总决赛入围名单

    发布日期:2024-06-13
    “巴渝杯”大学生网络安全联赛总决赛入围名单
    根据《关于举办“巴渝杯”大学生网络安全联赛的通知》中的规则,单项赛总积分排名前30%进入决赛,同一学校最多2支队伍晋级总决赛,承办学校最多3支队伍晋级总决赛,现公布入围名单如下:
    “巴渝杯”大学生网络安全联赛组委会
    2024年6月13日

  • AI驱动安全,安全护航AI——2024北京网络安全观察

    AI驱动安全,安全护航AI——2024北京网络安全观察

    发布日期:2024-06-07

    人工智能(AI)技术蓬勃发展的当下,其所带来的数据安全问题成为人们关注的焦点。2024年6月5日,以“AI驱动安全”为主题的2024北京网络安全大会在京举行,与会嘉宾围绕人工智能发展分享研究和实践经验,就AI如何驱动安全展开广泛讨论。

    AI的安全风险:留意“后门”

    AI技术的发展极大促进了效率的提升,随着应用场景愈加广泛,面临的安全挑战更加复杂,各类攻击威胁也与日俱增。

    根据奇安信发布的《2024人工智能安全报告》,AI既放大现有网络安全威胁,又引入了新型威胁,引发网络安全事件指数级增长。其中,2023年基于AI的深度伪造欺诈暴增3000%,基于AI的钓鱼邮件数量增长了1000%。一项对IT行业领导者进行的关于ChatGPT等大模型的调查显示,安全性是受访者最关心的问题,71%的受访者认为生成式人工智能会给企业数据安全带来新的风险。

    AI系统往往需要大量数据来迭代大模型,这必然涉及个人敏感信息。保护用户隐私、防止数据泄露存在不可忽视的安全风险。全国政协委员、全国工商联副主席、奇安信集团董事长齐向东举了个生动的例子,“AI如果不是自己‘生’的,而是从外面‘领养’回来的,那么AI是否会有‘后门’,AI是否会被人‘投毒’,都无从得知,甚至没有能力发现,这是数据安全带来的潜在风险。”

    去年以来,随着以ChatGPT为首的AI热潮席卷而来,还产生了新的网络安全问题。齐向东解释,如果把AI比作超级人脑,向它提问时输入的内容越多,得到的建议就越精准、越有价值。如果你的提问毫无保留、倾囊相授,那么AI通过学习,实际可能拥有比你更强的能力。此外向AI提问还可能泄露专有知识产权、发明和商业秘密等,让竞争对手从AI处得到更优的方案。这是与AI交流过程中,新产生的引发数据安全问题的特殊场景。

    与会嘉宾认为,使用AI过程中的风险责任归属也是一个复杂的问题,目前法律和政策尚不能明确在AI决策过程中各方的责任。

    AI驱动网络防护能力在博弈中快速迭代

    “AI驱动安全是大势所趋,未来网络攻防就是得AI者得天下。谁能提前抓住AI变革的机遇,谁就能掌握网络空间安全的主动权。”在主旨演讲中,齐向东判断,当前网络安全格局正在被颠覆重构,但这种颠覆重构不仅带来新的安全挑战,也为网络安全行业带来前所未有的战略机遇。

    与会嘉宾们认为,目前AI尚处在伦理和规则出现前的发展阶段,正朝着人工智能与网络安全深度融合的发展方向前进。网络安全是高度对抗性的行业,所有的攻击都是新的。实践中网络攻击层出不穷、日新月异,AI安全防护能力也在攻守迭代中不断推陈出新、更新升级。

    国家电网有限公司副总信息师、中国电机工程学会会士王继业介绍了国家电网探索人工智能在“守护网络安全,助力能源转型”中的最新实践。国家电网依托大数据平台,加强人工智能与网络安全的融合,研究基于人工智能的风险异常检测方法,开展网络安全关联分析、事件处置和调查溯源,强化网络安全威胁监测和应急处置,实现网络安全事件的智能响应、联动防御。

    AI还被应用于驱动智能攻防,助力企业的安全能力在博弈中快速演进迭代。齐向东介绍,AI在网络安全领域的应用已经可以覆盖网安前中后多个阶段,并带来网络防护能力数十倍乃至上千倍的提升。例如,在单点设备的监测上,AI可以带来安全能力百倍级提升。体系化防御的核心,是多种网络安全设备的有机结合。由于不同产品之间的数据传输共享、相互访问、远程操作非常频繁,漏报和误报问题在这一阶段呈现指数级增长。AI不仅可以知道在什么场景下、去调哪个接口、取什么数据,还能根据实际变化进行动态调整,瞬时激发各个设备的安全能力,将遗漏的威胁从10%降低到千分之一,达到安全能力百倍级提升。

    “AI作为网络安全的驱动力,可帮助专家快速识别、追溯和处置安全威胁,提升网络安全防御的智能化水平。”中国电子信息产业集团有限公司总经理李立功对AI驱动安全的进一步落地应用充满了期待。

    AI释放强大潜能 成为驱动新质生产力的重要引擎

    “人工智能是新质生产力,智能化大势不可阻挡。不发展是最大的不安全,要不断发展AI促安全。”2024北京网络安全大会上,中国新一代人工智能发展战略研究院执行院长龚克呼吁推进AI与网络安全融合创新。

    龚克认为,人工智能本身需要解决关键技术和颠覆性技术的创新,同时也成为各领域创新的基础,如生物医药、生命科学、新材料,这些创新都依赖于人工智能的应用。龚克表示,“人工智能正与千行百业紧密融合,成为驱动新质生产力的发动机,我们既没必要神话AI,也没有必要妖魔化。”

    在他看来,一方面,人工智能的发展推动了网络安全技术的创新。例如,基于深度学习的恶意软件监测、用户行为分析等新技术不断涌现,提高了网络安全的防护能力。另一方面,人工智能的自动化和智能化特性又可以大大提高网络安全管理的效率。通过自动化监测、响应和风险评估等流程,可以更快地应对网络威胁,减少潜在损失。

    随着网络安全领域智能化产品落地,相关市场的规模快速增长。有关统计显示,网络安全领域的人工智能产品市场将从2017年的39.2亿美元增长到2025年的348.1亿美元,预测期内的复合年增长率为31.38%。

    据北京市政府副秘书长许心超介绍,北京市已将数字安全产业作为全市重点发展的高精尖产业,目前已经汇聚数字安全企业1025家;2023年北京市数字安全企业收入达到996亿元,产业带动作用凸显。

    人工智能是引领未来的战略性技术,是新一轮科技革命和产业变革的重要驱动力量。与会专家期待,人工智能在网络安全的护航下,为千行百业带来更多革命性的变化,不断激发创新活力和社会潜能。

  • 联盟成功举办软件供应链安全现状、发展及人才培养讲座!

    联盟成功举办软件供应链安全现状、发展及人才培养讲座!

    发布日期:2024-05-30

    2024年5月29日,联盟特邀深圳开源互联网安全技术有限公司副总经理王颉,在重庆人文科技学院举办“软件供应链安全现状、发展及人才培养”讲座。
    讲座围绕软件安全基本知识、软件供应链安全国内外现状、软件供应链安全国标框架及要点、建设实践、软件供应链安全人才培养模式等方面进行了深度阐述。

    重庆人文科技学院与深圳开源互联网安全技术有限公司进行了产学研基地授牌仪式。

    联盟秘书长马传龙、重庆人文科技学院计算机工程学院副院长金维宏参加了此次活动。

    互联网环境下网络安全形势日渐严峻,开源软件是信息时代的公共基础设施,也是软件研发不可或缺的主要组成部分,因此,软件供应链安全已经成为我国非常重视的信息安全方向。本次讲座分享了软件供应链安全领域最新的技术进展和行业趋势,让参与者了解当前软件供应链的安全风险和挑战,为高校培养软件供应链安全人才提供了新的思路。

    主讲人介绍

    王颉,英国拉夫堡大学网络安全博士、高级工程师;现任深圳开源互联网安全技术有限公司(SecZone)副总经理;深圳市“孔雀计划”海外高层次人才、深圳市龙华新区高层次人才;四川省科技进步奖三等奖1次、中国信息通信研究院“软件供应链安全领域—产业创新开拓者”。

    主要研究方向包括软件安全开发全生命周期实时检测防御、威胁分析与建模、网络入侵监测、敏感信息防扩散、企业信息化建设方法等,并长期跟踪。曾先后在SCI等期刊发表论文15篇,联合出版译著2本,申请发明专利2项,并为超过20个IEEE学术会议担任论文评审专家。

  • 中央网信办等三部门印发《信息化标准建设行动计划(2024—2027年)》

    中央网信办等三部门印发《信息化标准建设行动计划(2024—2027年)》

    发布日期:2024-05-29

    为深入落实《“十四五”国家信息化规划》《国家标准化发展纲要》任务部署,近日,中央网信办、市场监管总局、工业和信息化部联合印发《信息化标准建设行动计划(2024—2027年)》(以下简称《行动计划》),要求加强统筹协调和系统推进,健全国家信息化标准体系,提升信息化发展综合能力,有力推动网络强国建设。

    《行动计划》强调,信息化标准是国家标准体系的重要组成部分,是以信息化驱动引领高质量发展的重要支撑,要以习近平新时代中国特色社会主义思想特别是习近平总书记关于网络强国的重要思想为指导,深入贯彻党的二十大精神,认真落实党中央、国务院关于信息化发展和标准化工作的决策部署,完善信息化标准体系、提升标准化基础能力、健全工作机制、强化标准实施、增强国际影响力,以标准建设支撑引领信息化发展,为加快建设全国统一大市场,培育壮大新质生产力提供有力支撑。

    《行动计划》提出,要坚持系统观念、坚持需求导向、坚持重点推进、坚持开放合作。到2027年,信息化标准工作机制更加健全,信息化标准体系布局更加完善,标准研制、服务等基础能力进一步夯实,发布一批高质量的信息化标准,形成一支专业化、职业化、国际化的标准化人才队伍,标准质量显著提升,实施效果明显增强,信息化标准在引领技术创新、驱动经济社会发展中的作用充分发挥,国际标准贡献度和影响力明显提升。

    《行动计划》围绕4个方面部署了主要任务。一是创新信息化标准工作机制,包括完善国家信息化标准体系、优化信息化标准管理制度、强化信息化标准实施应用。二是推进重点领域标准研制,在关键信息技术、数字基础设施、数据资源、产业数字化、电子政务、信息惠民、数字文化、数字化绿色化协同发展等8个重点领域推进信息化标准研制工作。三是推进信息化标准国际化,包括深化国际标准化交流合作、积极参加国际标准组织工作、推动国际国内标准协同发展。四是提升信息化标准基础能力,包括优化标准供给结构、加强标准化人才培养、推动标准数字化发展。

    《行动计划》从加强统筹协调、强化政策支持、营造良好氛围等3方面提出组织保障要求,确保目标任务落到实处。