为切实解决高校网络空间安全专业教师实践能力提升及教学资源建设需求，助力网络安全人才培养及学科发展，推动人才的教学、培训和实践等工作快速落地，2024年7月15日—7月19日，联盟以“求实创新、产教融合”为宗旨，联合重庆热月科技在中国（重庆）职业技能公共实训中心联合举办了2024年第一期网络空间安全师资培训班。
培训内容丰富多样，涵盖了当前网络安全领域的最新技术、发展趋势以及实战演练，授课专家通过深入浅出的讲解和实际操作演示，使学员们掌握了前沿的网络安全知识和技能。
您的想法，我们在意
您的意见，我们想听
互联网时代
网络已经融入大家工作生活的方方面面
那么，上网用网时
您是否曾遭受过不良攻击？
是否遇到过网络安全问题？
我们这里有一个活动
可以让您表达心声和诉求
——
2024网民网络安全感满意度调查活动
于7月17日0点全国同步上线问卷！
为期10天面向广大网民收集意见
联盟作为发起单位之一
诚邀您参与问卷填写
动动手指，说说感受
让党政有关部门听到您的声音
为国家网络安全治理提出建议
▲长按或扫码二维码填写问卷
2024网民网络安全感满意度调查问卷分“公众网民版”和“网络从业人员版”，除主问卷的共性问题外，还设置了9个公众网民版专题问卷（含1个热点专题）、3个从业人员版专题问卷。为了让数据更科学合理，请您选择适合自己的问卷类型参与调查（建议非专业人员填写公众网民版，鼓励网络从业人员填写两套卷子）。
网民网络安全感满意度调查活动是一个公益性网络安全社会调查活动，自2018年开始每年举办一届。活动采取线上问卷调查方式开展，网民可在每年的样本采集期间通过参与答卷，写下上网用网过程中的感受、评价、建议及意见，是广大网民表达诉求和心声的绿色通道。2024调查活动由全国135家网络社会组织及相关机构发起，全国228家网安联志愿服务机构及相关志愿服务团队联合发起，各级党政有关部门、企事业单位、科研院所、高校、社会组织、志愿服务团体、媒体等支持。
前六届调查活动已累计采集调查有效样本量突破千万份，收集汇总网民意见建议近百万条，浏览和点击数据量两亿多次，发布全国总报告、专题报告、行业报告、区域报告等专业性调查报告近千份。调查数据被党政相关部门、研究机构广泛引用和权威发布，不仅为党政相关部门进行网络空间安全治理提供了决策参考，还成为网络安全研究、网络综合治理工作的有力支撑。
▲答题有奖！
您的上网用网安全感满意度如何？
您对我国的网络空间综合治理
有什么意见？
欢迎参与问卷调查
倾述上网烦恼，表达治网建议
我们盼与您心连心
共同建设清朗网络空间！
如果您对本次活动以及网络安全、网民权益维护方面有更多意见和建议，可发送邮件到cinsabj@163.com，我们会用心聆听您的声音，记录并反馈您的意见和诉求。期待与您一起，同画网上网下同心圆！
更多活动资讯可至“网安联”微信小程序、活动官网：https://www.iscn.org.cn/（网络安全共建网）查阅。
联通（重庆）产业互联网有限公司是联通数字科技有限公司简介
联通（重庆）产业互联网有限公司是联通数字科技有限公司在渝成立的全资子公司，承接国务院国资委独家授予联通的“网络安全现代产业链链长”在渝职责，依托联通集团集约化能力，聚焦重点垂直领域，发挥靠近市场，紧密接触客户的优势，重点支撑重庆联通公司做好市场需求对接，产品二次开发和综合解决方案提供等，并结合资源禀赋，探索培育面向全国的创新应用产品，与相关子公司形成商务、产品和解决方案、研发交付、运营等协同距阵能力体系。
在网络空间安全领域，积极发挥产业链链长融通带动作用，不断强化5G、大数据、人工智能、区块链、工业互联网等新技术、新业态的安全能力储备，形成“云网端数服”一体化的安全产品能力、国家级的威胁情报中心和跨行业的联合溯源机制。
由联通研发的联通云盾、墨攻等产品，为国家部委、互联网等头部客户及广大中小企业提供了一体化的优质安全服务，有效支撑各领域数字化转型，为经济社会高质量发展提供新动能。
7月4日-7月5日，重庆信息安全产业技术创新联盟秘书长马传龙分别到重庆机电职业大学、重庆奇安信科技有限公司进行交流调研活动。
秘书长马传龙对联盟的情况进行了介绍，希望双方能在信息安全领域内从专业建设、师资共建、人才培养、产教融合、社会服务等方面进行合作。双方就信息安全专业的学科建设、学生培养、实训平台、网络安全比赛等方面展开了深入的交流和讨论。
网络空间天朗气清、生态良好，符合人民利益。但近年来，不时出现的网络暴力信息严重扰乱网络秩序、破坏网络生态，侮辱、诽谤、侵犯隐私等网络暴力行为甚至造成当事人自杀等严重后果，产生恶劣社会影响。构建更为清朗的网络空间，更有力地治理网络暴力信息，需要制定更为系统完善的法治规则。国家网信办等四部门公布的《网络暴力信息治理规定》（以下简称《规定》），是第一部系统治理网络暴力信息的部门规章，为维护网络空间清朗、百姓精神安宁构筑法治屏障。
从网络信息内容生态治理角度来看，《规定》具有十个鲜明特点，即十个“明确规定”。
其一，明确规定网络信息服务提供者、网络用户应有的价值取向和行为取向。
《规定》第六条明确规定“网络信息服务提供者和用户应当坚持社会主义核心价值观，遵守法律法规，尊重社会公德和伦理道德，促进形成积极健康、向上向善的网络文化，维护良好网络生态”。《规定》第十三条规定网络信息服务提供者应当及时回应社会关切，引导用户文明互动、理性表达。这些规定体现了“营造良好网络生态”“维护社会公共利益”的治理目的和价值取向，有利于源头治理网络暴力信息。
其二，明确规定网络暴力信息的定义，以明确行为边界、明晰治理规则、界定治理对象、明辨是非性质。
《规定》第七章第三十二条明确，“本规定所称网络暴力信息，是指通过网络以文本、图像、音频、视频等形式对个人集中发布的，含有侮辱谩骂、造谣诽谤、煽动仇恨、威逼胁迫、侵犯隐私，以及影响身心健康的指责嘲讽、贬低歧视等内容的违法和不良信息。”《规定》为网络治理相关责任主体、网络用户和社会各界明晰网络信息行为边界、明确界定网络暴力信息治理对象、明辨网络现象是非性质和维护清朗网络空间提供了规则依据。
其三，明确界定涉网络暴力信息行为的标准和治理规则。
《规定》分“禁止”“防范和抵制”两个层级规定了涉网络暴力信息的行为边界，明确规定“任何组织和个人不得制作、复制、发布、传播涉网络暴力违法信息，应当防范和抵制制作、复制、发布、传播涉网络暴力不良信息”。《规定》第十条不仅明确“借网络暴力事件实施蹭炒热度、推广引流等营销炒作行为”“通过批量注册或者操纵用户账号等形式组织制作、复制、发布、传播网络暴力信息”均属禁止范围和治理对象，还明确禁止“明知他人从事涉网络暴力信息违法犯罪活动的，为其提供数据、技术、流量、资金等支持和协助”行为。
同时，《规定》第十七条、第十八条、第十九条等的相关规定明确了网络视听节目、网络表演、跟帖评论、网络论坛社区和网络群组等环节的网络暴力信息治理要求。这些规定不仅治标而且治本，准确体现了《规定》所坚持的“源头防范、防控结合、标本兼治、协同共治”的原则。
其四，明确规定网络信息服务提供者在网络暴力信息治理中的主体责任。
互联网平台对网络信息具有比其他主体更强的技术控制力、及时发现力和及时处置力，同时又是信息流量、平台影响力和相关收益的主要受益者，网络信息服务提供者理应在网络暴力信息治理中担负更大责任。对此，《规定》从多个方面、多个环节、多种情形规定了网络信息服务提供者应尽的义务、应负的责任，包括网络信息服务提供者应当履行网络信息内容管理主体责任、对网络暴力信息预防预警责任、涉网络暴力违法信息及账号处置责任，并承担用户特别是未成年人、老年人、残疾人等特殊人群的保护责任等。相关规定全面、具体、可操作性强，将在网络暴力信息治理中发挥重要作用。
其五，明确规定互联网新闻信息服务提供者的行为边界和义务。
《规定》第十六条明确规定“互联网新闻信息服务提供者不得通过夸大事实、过度渲染、片面报道等方式采编发布、转载涉网络暴力新闻信息”，明确互联网新闻信息服务者应当坚持正确政治方向、舆论导向、价值取向，约束互联网新闻信息服务提供者的相关行为，从关键环节消减网络暴力信息、网络暴力事件可能产生的影响和危害。此外，还规定“互联网新闻信息服务提供者采编发布转载涉网络暴力新闻信息不真实或者不公正的，应当立即公开更正，消除影响”，明确互联网新闻信息服务提供者在从事相关采编发布、转载活动时的义务。
其六，明确规定公众账号生产运营者在网络暴力信息治理中的责任和义务。
《规定》要求公众账号生产运营者建立健全“全过程信息内容安全审核机制”，是重要规则创设和制度创新。第二十条明确规定“公众账号生产运营者应当建立健全发布推广、互动评论等全过程信息内容安全审核机制，发现账号跟帖评论等环节存在网络暴力信息的，应当及时采取举报、处置等措施。”建立健全全过程信息内容安全审核机制，抓住公众账号生产运营特性，聚焦跟帖评论等容易出现与所发布内容关联性不大、却可能涉网络暴力信息的重点环节，规定了公众账号生产运营者应负的举报和处置义务。
其七，明确规定对网络视听、网络表演、网络直播、短视频等主动发现、及时处置的治理规则。
网络视听、网络表演、网络直播、短视频等信息扩散速度快、范围广，一旦涉网络暴力信息，将会严重破坏网络舆论环境，造成严重后果。《规定》对有关网络信息内容传播管理创设了主动介入、及时处置、强化审核等规则。第十七条规定网络信息服务提供者“发现含有网络暴力信息的网络视听节目、网络表演等服务的，应当及时删除信息或者停止提供相关服务”，即主动发现的义务和及时处置原则，并明确网络信息服务提供者强化审核规则，“应当加强对网络直播、短视频等服务的内容审核，及时阻断含有网络暴力信息的网络直播，处置含有网络暴力信息的短视频。”
其八，明确规定对跟帖评论、词条超话等新形态内容的管理规则和治理制度。
随着互联网信息内容形态的发展，跟帖评论、网络论坛、网络群组甚至词条、超话制作等具有较大的影响力。《规定》第十八条明确规定“网络信息服务提供者应当加强对跟帖评论信息内容的管理，对以评论、回复、留言、弹幕、点赞等方式制作、复制、发布、传播网络暴力信息的，应当及时采取删除、屏蔽、关闭评论、停止提供相关服务等处置措施”。《规定》第十九条明确规定“网络信息服务提供者应当加强对网络论坛社区和网络群组的管理，禁止用户在版块、词条、超话、群组等环节制作、复制、发布、传播网络暴力信息”。还要求网络信息服务提供者应“禁止以匿名投稿和隔空喊话的方式创建含有网络暴力信息的论坛社区和群组账号”，这些规则，体现了《规定》抓住网络信息服务关键环节立规则、求实效的制度出发点，以及对规则可执行性、效果可检验性的全面考虑。
其九，明确规定对未成年人、老年人、残疾人等特殊群体的保护规则和救助制度。
《规定》第二十四条明确特殊保护的三种情形，主要包括“网络暴力信息侵害未成年人、老年人、残疾人等用户合法权益的”、“网络暴力信息侵犯用户个人隐私的”和“若不及时采取措施，可能造成用户人身、财产损害等严重后果的其他情形”。《规定》明确要求，除按面对一般用户面临网络暴力信息风险时应当采取的“及时通过显著方式提示用户，告知用户可以采取的防护措施”外，“还应当为用户提供网络暴力信息防护指导和保护救助服务，协助启动防护措施，并向网信、公安等有关部门报告。”在此基础上，《规定》第二十七条对未成年人提供了更强有力的保护措施，包括网络信息服务提供者“应当优先处理涉未成年人网络暴力信息的投诉、举报”，“设置便利未成年人及其监护人行使通知删除网络暴力信息权利的功能、渠道”，“接到相关通知后，应当及时采取删除、屏蔽、断开链接等必要措施，防止信息扩散”等。
其十，明确规定以技术手段促进网络暴力信息防控与治理。
明确如何以技术手段全面防控与治理网络暴力信息，并规定相应规则与制度安排，是《规定》的又一重要特色。《规定》第十二条明确规定“网络信息服务提供者应当在国家网信部门和国务院有关部门指导下细化网络暴力信息分类标准规则，建立健全网络暴力信息特征库和典型案例样本库，采用人工智能、大数据等技术手段和人工审核相结合的方式，加强对网络暴力信息的识别监测。”这既明确了责任主体，也确立了科技加人工的审核制度和对网络暴力信息进行识别监测的责任。《规定》第十三条进一步强化了技术手段在监测预警网络暴力信息领域的应用，要求“网络信息服务提供者应当建立健全网络暴力信息预警模型，综合事件类别、针对主体、参与人数、信息内容、发布频次、环节场景、举报投诉等因素，及时发现预警网络暴力信息风险”。网络暴力信息特征库、典型案例样本库、网络暴力信息预警模型等机制的建立健全，体现了《规定》所坚持的“源头防范、防控结合、标本兼治、协同共治”的原则，有利于实现网络暴力信息治理目标，让网络空间更清朗、人民生活更美好。（作者：陆小华 天津大学新媒体与传播学院讲席教授）
近日，国家互联网信息办公室联合公安部、文化和旅游部、国家广播电视总局公布《网络暴力信息治理规定》（以下简称《规定》），自2024年8月1日起施行。
国家互联网信息办公室有关负责人表示，网络暴力信息严重侵害公民合法权益，受到社会各界高度关注。为治理网络暴力信息，营造良好网络生态，保障公民合法权益，维护社会公共利益，四部门联合出台《规定》，从明确网络信息内容管理主体责任、建立健全预防预警机制、规范网络暴力信息和账号处置、强化用户权益保护、加强监督管理、明确法律责任等方面，为加强网络暴力信息治理提供有力支撑。
《规定》明确，网络暴力信息治理坚持源头防范、防控结合、标本兼治、协同共治的原则，建立网络暴力信息监督管理机制，鼓励网络相关行业组织加强行业自律。明确网络信息服务提供者应当履行网络信息内容管理主体责任，建立完善网络暴力信息治理机制，履行真实身份信息认证义务，制定和公开管理规则、平台公约并与用户签订服务协议，定期发布网络暴力信息治理公告。强化网络暴力信息预防预警，明确网络信息服务提供者应当在国家网信部门和国务院有关部门指导下细化网络暴力信息分类标准规则，建立健全网络暴力信息特征库和典型案例样本库。规定信息和账号处置制度，明确网络信息服务提供者对涉网络暴力违法和不良信息的处置义务，以及对相关账号的处置措施。建立用户保护机制，要求网络信息服务提供者建立健全网络暴力信息防护功能、完善私信规则，发现用户面临网络暴力信息风险的，应当及时通过显著方式提示用户，告知用户可以采取的防护措施。规定监督管理职责和法律责任，明确网信部门会同公安、文化和旅游、广播电视等有关部门依法对网络信息服务提供者网络暴力信息治理情况进行监督检查，建立健全信息共享、会商通报、取证调证、案件督办等工作机制，协同治理网络暴力信息。此外，还规定了网络暴力信息的定义、排除适用规则等。
国家互联网信息办公室有关负责人指出，网络暴力信息治理需要政府、企业、社会、网民等多方参与，促进形成积极健康、向上向善的网络文化，维护良好网络生态。
网络暴力信息治理是网络空间治理的重要领域，党的二十大报告提出“健全网络综合治理体系，推动形成良好网络生态”的治理目标，为推进依法管网治网、提升网络空间治理能力、营造清朗网络空间指明了方向。《网络暴力信息治理规定》（下文简称《规定》），是我国首部以部门规章形式公布的反网络暴力专门立法，为持续构建网络暴力信息治理体系奠定重要基础。《规定》的颁布开启了网络暴力信息治理法治化新篇章，对于推进网络空间治理现代化意义重大。
一、明确网络暴力信息治理应坚持协同共治
网络暴力治理是一项系统工程，离不开全社会的共同参与。《规定》将“协同共治”确立为网络暴力信息治理的基本原则之一，并在具体条文中细化落实，主要涉及两个方面：
其一，多主体的协同共治，包括政府部门之间实现内部协同共治以及政府与社会主体之间实现外部协同共治。网信部门负责统筹协调网络暴力信息治理和相关监督管理工作，公安、文化和旅游、广播电视等有关部门依据各自职责开展网络暴力信息的监督管理工作，各部门之间建立健全信息共享、会商通报、取证调证、案件督办等工作机制，协同治理网络暴力信息。同时，《规定》积极推动社会主体参与网络空间治理，特别是鼓励和引导网络相关行业组织加强行业自律，在行业内部凝聚合规经营的共识，推动制定网络暴力信息治理规范公约和行业参考标准，开展网络暴力信息治理普法宣传，督促指导网络信息服务提供者加强网络暴力信息治理并接受社会监督，为遭受网络暴力信息侵害的用户提供帮扶救助等支持，实现网络监管与网络自治的互补与平衡。
其二，法律与技术的协同共治。《规定》遵循网络技术发展规律，在网络暴力信息治理中融入技术思维，以技术驱动网络暴力信息治理的现代化转型，如采用人工智能、大数据等技术手段和人工审核相结合的方式加强对网络暴力信息的识别监测，建立健全网络暴力信息预警模型，及时发现预警网络暴力信息风险等，提升网络暴力信息治理效能；另一方面，“算法黑箱”导致人工智能技术具有突破制度调控的自主发展趋势，网络暴力治理中的技术治理，仍需接受法治的规范监管，应通过法律制度明确技术手段的应用边界，确保网络暴力信息治理技术在法治轨道上向善发展。
二、压实平台治理网络暴力信息的主体责任
《规定》坚持源头防范、防控结合、标本兼治、协同共治的网络暴力信息治理思路，进一步压实网络信息服务提供者的主体责任，督促其切实履行网络信息内容管理主体责任，构建覆盖事前监测预警、事中干预处置、事后问责惩戒的全链条治理机制，有效防范和化解网络暴力信息风险。在治理前端，网络信息服务提供者应当在国家网信部门和国务院有关部门指导下细化网络暴力信息分类标准规则，建立健全网络暴力信息特征库、典型案例样本库和预警模型，及时发现预警网络暴力信息风险，对异常账号及时采取真实身份信息动态核验、弹窗提示、违规警示、限制流量等措施。在治理中端，网络信息服务提供者应当加强对网络视听节目、网络表演等服务内容的管理和网络直播、短视频等服务的内容审核，加强对网络论坛社区、网络群组以及跟帖评论信息内容的管理，发现网络暴力信息后立即停止传输，并采取删除、屏蔽、断开链接等处置措施，保存有关记录，并向有关部门报告。在治理末端，对制作、复制、发布、传播网络暴力信息的用户，网络信息服务提供者应当依法依约采取警示、删除信息、限制账号功能、关闭账号直至禁止重新注册等措施，并将涉网络暴力信息违法违规情形记入用户信用记录，依法依约降低账号信用等级或者列入黑名单，并据以限制账号功能或者停止提供相关服务。对组织、煽动制作、复制、发布、传播网络暴力信息的网络信息内容多渠道分发服务机构，网络信息服务提供者应当依法依约对该机构及其管理的账号采取警示、暂停营利权限、限制提供服务、入驻清退等处置措施。
三、加强用户合法权益保护
网络暴力信息严重侵害当事人的身心健康，破坏网络生态，扰乱社会秩序。《规定》设立“保护机制”专章，重点强化对用户尤其是未成年人、老年人、残疾人等特殊群体合法权益的保护。第一，要求网络信息服务提供者建立健全网络暴力信息防护功能，完善私信规则，明确网络信息服务提供者发现用户面临网络暴力信息风险的，应当及时通过显著方式提示用户，告知用户可以采取的防护措施。第二，要求网络信息服务提供者向用户提供网络暴力信息快捷取证等功能，为用户维权提供便利，当公安、网信等有关部门依法调取证据时，应当及时提供必要的技术支持和协助。第三，要求网络信息服务提供者自觉接受社会监督，优化投诉、举报程序，在服务显著位置设置专门的网络暴力信息快捷投诉、举报入口，公布处理流程，及时受理、处理公众投诉、举报并反馈处理结果，特别是应当优先处理涉未成年人网络暴力信息的投诉、举报，设置便利未成年人及其监护人行使通知删除网络暴力信息权利的功能、渠道，并及时采取删除、屏蔽、断开链接等必要措施，防止信息扩散。
四、优化网络暴力信息治理民行刑责任衔接
制作、复制、发布、传播网络暴力信息的行为可能构成民事侵权、行政违法、甚至刑事犯罪，应依法承担相应的民事责任、行政责任和刑事责任。因此，《规定》对网络暴力信息治理的责任衔接作出规定。一是明确网信部门会同公安、文化和旅游、广播电视等有关部门建立健全信息共享、会商通报、取证调证、案件督办等工作机制。公安机关对有关部门移送的涉网络暴力信息违法犯罪线索应当及时进行审查，并对符合立案条件的及时立案侦查、调查。二是规定网络信息服务提供者发现网络暴力信息涉嫌违法犯罪的，应当及时向公安机关报案，并提供相关线索，依法配合开展侦查、调查和处置等工作。三是规定了相应的法律责任。同时，明确违反本规定，给他人造成损害的，依法承担民事责任；构成违反治安管理行为的，依法给予治安管理处罚；构成犯罪的，依法追究刑事责任。《规定》精准惩治网络暴力信息“按键伤人”行为，依法追究施暴者的法律责任，保障公民合法权益，维护正常网络秩序。
《规定》深入贯彻以人民为中心的发展思想，本着对社会负责、对人民负责的态度，吸纳国内外网络暴力信息治理的有益经验，立足中国实践，创新网络暴力信息治理的理念、逻辑、路径，将为全方位促进网络暴力信息治理提质增效，营造风清气正、健康有序、文明守信的网络生态提供有力制度保障。（作者：刘艳红 中国政法大学刑事司法学院院长、教授）
来源：微型计算机官方微博
谁都无法否认，AI是一柄双刃剑。它在为人类社会带来生产力的极大进步、生活娱乐的更多便利的同时，也可能增加隐私泄露、信息安全的风险。就连开启AI时代的OpenAI，近期也因安全问题身陷各种负面舆论的漩涡之中。在AI时代，数字安全将关乎我们每一个人……
AI电信诈骗
2023年7月，韩国一女子被冒充特斯拉CEO埃隆·马斯克的社交媒体账号诈骗7000万韩元（约合37.1万元人民币），诈骗分子以伪造照片与AI拟声音频骗取了受害者的信任。
2024年初，我国香港警方披露迄今为止全球最大的AI换脸诈骗案，一名跨国公司的职员参加英国总部首席财务官发起的多人视频会议，随后按要求先后15次转账到5个本地银行账户，涉案金额高达2亿港元（约合1.855亿元人民币）。实际上，会议中只有他一个“真人”，其他都是AI换脸后的诈骗人员。
2024年4月20日，包头市郭某接到“好友”微信视频电话，被AI换脸骗走430万元。而后福州、包头两地警银迅速启动止付机制，成功拦截336.84万元，但仍有93.16万元被转移。
4月23日，北京互联网法院对全国首例“AI声音侵权案”进行一审宣判。
5月6日，江西鹰潭市余江区法院公开宣判了全国首例“AI外挂”案。
5月22日，安庆何某被短短9秒钟的“熟人”视频连线蒙骗，幸得警方连夜跨省抓获3名涉诈嫌疑人，追回全部被骗金额132万元。
类似通过AI拟声或AI换脸的新型诈骗，在西方发达国家也日趋频繁。在过去一年中，有超过5600万美国成年人承认自己遭遇过电信诈骗，损失达254亿美元，很多案件中都出现了AI技术。一些国际诈骗问题专家指出，在2022~2023年，美国AI诈骗的案件数量同比已经上涨了50%~75%，面向老年人的AI语音骗局是重灾区。
今年5月，有澳大利亚和北美媒体披露，电诈分子已经开始利用大语言模型或AI聊天机器人替代过去繁杂的“脚本+人工”模式，用不同语言向受害者发送消息。一方面，生成式AI使对话聊天更有说服力，更容易获得受害者的信赖，另一方面，AI技术减少了诈骗分子对接多个受害者的工作量，也进一步扩大了影响范围。
而此前安全技术公司McAfee的一份调查报告显示，7000多位全球受访者中，有70%的人不确定能分辨AI合成语音，大约有10%的人曾遭遇过AI拟声的语音诈骗。网络安全公司Sophos也表示，生成式AI可将文本、图像、视频与翻译相结合，生成不重复的“定制内容”，由此可能被用于编写诈骗脚本和更逼真的“钓鱼”邮件。
AI安全隐患的根结
接入AI的新型电诈，就是我们每个普通人最容易接触到的AI变革的副产物。以刚刚问世并对所有用户免费开放的GPT-4o为例，这一面向未来人机交互范式的全新大模型，具有文本、语音、图像三种模态的理解力，可以实时对音频、视觉和文本进行推理，处理50种不同的语言。它甚至可以能够读取人的情绪，并在短至232ms的时间内响应音频输入，与人类的响应时间相似。但也意味着技术的快速进步，使得生成式AI被滥用后，诈骗实施起来越来越简单，且成本极低。
在数字时代或者说网络时代，信息安全一直是整个IT产业必须面对的问题。而随着创新变革进程不断加速，AI在赋能千行百业的同时，也让信息安全问题变得更加复杂，如数据泄露、过度采集和滥用伪造等。除了电信诈骗，近两年个人隐私、肖像权乃至企业名誉受侵害的事件同样层出不穷。
归根结底，这主要源自AI存在的三大安全隐患：其一为AI应用的滥用问题，其二为数据采集和流通渠道的安全问题，其三为更不易被监管的算法模型自身的安全性和可靠性问题。
OpenAI光环暗淡
4月底，包括《纽约每日新闻》和《芝加哥论坛报》在内的多家新闻机构起诉微软和OpenAI，指控其滥用记者工作成果来训练生成式AI大模型。此前也有不少作家、律师和公司机构起诉OpenAI，使用用户数据进行用户画像或广告推广等商业用途；亦有三星电子的员工使用ChatGPT，导致该公司的机密数据外泄。
5月中旬，OpenAI的联合创始人兼首席科学家伊利亚·苏茨克韦尔和简·雷克宣布离开，并表示“OpenAI应是一家‘安全第一的人工智能公司’……制造比人类更聪明的机器本身就是一种危险的尝试，OpenAI肩负着巨大的责任。但在过去几年时间里，安全文化和流程已经让位于‘闪亮的产品’。”紧接着公司宣布旗下人工智能长期安全团队“超级对齐”解散，而一年前该团队刚成立时，OpenAI曾表示将在4年内将20%的算力投入到该团队中。业内猜测，这两个内部事件表明了该公司内部对于AI安全问题产生了巨大分歧。连埃隆·马斯克都锐评表示：“看来安全并不是OpenAI的首要任务。”
与此同时，GPT-4o发布首日即遭“越狱破防”，某种攻击范式下，GPT-4o会被诱导泄露各种危险信息。该攻击范式同样适用于Llama3大模型。相关人士分析认为，其原因在于大模型训练目标和安全目标存在矛盾，训练数据超过安全性数据范围，以及安全性机制未能与底层模型的复杂性和能力相匹配。
我国AI大模型安全测评平台“数字风洞”对其进行信息真实性、健康价值观、破坏性指导和恶意目的等项目测试后，也发现GPT-4o的内容安全对齐和防护效果不容乐观，超7成测试反应“道德缺位”，暴露多项安全隐患。
必须要有三把安全锁
在AI时代，安全问题带来的挑战不仅涵盖了传统的数据信息安全，还有大模型算法本身的安全漏洞和可靠性问题，以及整个产业链环节乃至最终用户的社会责任与道德伦理标准。因此，兼顾进步革新与安全可信，理应是推动AI产业生态稳步发展至关重要的理念。
因此，在大模型的研发、训练和投产过程中，需要由企业强化算法安全意识和安全保障能力，确保大模型算法尤其是AIGC模型的安全机制，这是在大模型底层的第一把安全锁。第二把安全锁则是应用供应商云端协同共筑AI时代的安全底线，保障用户隐私不被泄露。最后一把安全锁，则是必须在政策和法律法规上，对生成式AI服务实行分类分级的监管与防控。（2023年7月，国家网信办等七部门发布《生成式人工智能服务管理暂行办法》，是全球首部专门规范生成式人工智能服务的立法。）
今年是我国正式全功能接入国际互联网的第30个年头，也是网络强国战略提出10周年。我们如今正站在AI时代浪潮的前列，必须直面AI带来的全新机遇与挑战，坚持人工智能发展与安全并重，促进产业健康成长，保证经济增长与社会稳定。