王伟 刘鹏睿 刘敬楷：构建全方位人工智能安全治理体系-k8凯发国际官网入口

习近平总书记强调，“人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的‘头雁’效应”。2017年国务院印发的《新一代人工智能发展规划》明确提出，“到2030年，人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心”。为实现这一目标，我国全面加大对人工智能的投入，推动智能制造、健康医疗和城市管理等多个领域发生深刻变革。当前，人工智能已成为科技创新和经济转型的关键驱动力。

在人工智能迅猛发展过程中，其安全风险日益凸显，这不仅制约了人工智能的发展，同时也对国家政治、经济和社会安全产生负面影响。因此，同步推进人工智能发展与提升人工智能安全治理能力成为全球共识。习近平总书记在十九届中共中央政治局第九次集体学习时强调，“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控”。人工智能安全已成为技术创新与社会发展的关键环节。因此，我们需要有效应对人工智能安全风险挑战，加快提升人工智能安全治理能力，确保人工智能健康有序安全发展，持续推动产业数字化智能化转型升级。

人工智能发展趋势及面临的风险挑战

在数字化时代，人工智能已成为引领科技潮流的重要力量。人工智能发展正处于一个前所未有的快速变革期。随着数据规模不断扩大，深度学习技术持续突破，以及算力稳定增强，人工智能在计算机视觉和自然语言处理等领域取得一系列重大成果，正与各行各业深度融合，不断推动产业升级和变革。近年来，随着大语言模型chatgpt这一现象级产品的问世，以生成式人工智能为代表的新一代人工智能深刻改变着人类的生产和生活方式。大语言模型的发展为通用人工智能的实现提供了一个极具价值的新起点。

但人工智能的技术突破和广泛应用也面临算法安全、数据隐私、设施安全和技术滥用等诸多风险挑战（见图）。算法的内生脆弱性导致决策错误、数据隐私被非法窃取，以及通过软硬件设施漏洞恶意破坏人工智能系统等安全风险，直接影响人们生产生活、企业运营效率、社会公平稳定和国家安全。此外，人工智能技术滥用也不容忽视，一旦其被用于深度伪造、不当监控和网络攻击等都会引发社会伦理和安全问题。人工智能安全风险复杂多样，只有精准把握人工智能安全风险，才能“对症下药”，制定有效的人工智能安全治理措施。

图 人工智能安全风险挑战

第一，算法安全风险挑战。算法是人工智能的“灵魂”。人工智能算法由数据驱动，通过深度挖掘数据所蕴含的知识，构建能够有效实现特定功能的模型。人工智能算法在不同阶段面临不同的安全威胁。在模型构建阶段，人工智能算法主要面临投毒攻击和后门攻击的威胁。对于投毒攻击，攻击者可通过在训练数据中加入错误信息，导致模型产生错误输出。例如，微软（microsoft）于2016年在社交媒体上发布的聊天机器人tay被恶意用户灌输不良信息与极端观点后，开始模仿恶意行为并回复不良内容。对于后门攻击，攻击者可通过诱导模型学习特定规则，在模型中注入后门，导致后门触发时产生攻击者期待的输出。图灵奖得主莎菲·戈德瓦塞尔（shafi goldwasser）曾公开表示，攻击者有能力在模型中嵌入一个隐蔽的后门；人们不要盲目相信人工智能模型。在模型预测阶段，人工智能模型面临对抗样本攻击的威胁，即攻击者可通过对输入数据进行细微扰动，欺骗模型产生错误输出。目前，对抗样本攻击已被证实会对人脸识别系统、自动驾驶视觉系统和金融监测系统产生威胁，这无疑暴露了人工智能模型在关键应用领域的安全隐患。

第二，数据隐私风险挑战。数据是人工智能的“燃料”。由于数据中包含大量的隐私信息，在构建和使用人工智能模型时应当防止任何形式的隐私泄露。人工智能的数据隐私问题涉及数据采集和存储、模型训练与使用以及数据删除等环节。为确保模型的泛化能力，通常需要采集和存储数量大且质量高的数据，这些数据包含用户行为模式、个人偏好设置和社交媒体活动等隐私信息。如果这些数据在采集和存储过程中缺乏有效的保护措施，极易发生数据隐私泄露事件。例如，有海外社交平台基于用户数据训练定制化广告服务，但其在未经用户授权的情况下允许第三方应用收集用户数据，造成了严重的负面影响。模型训练与使用过程中已被证明存在成员推理、模型逆向和模型窃取等威胁。有研究表明，根据面部识别分类器的输出能够重构训练数据中的个人面部图像，凸显了人工智能安全风险的严重性。此外，我国出台的《中华人民共和国个人信息保护法》规定，个人有权要求个人信息处理者删除其个人信息。在涉及数据删除时，通常在数据删除后会快速训练一个不包含所请求删除数据贡献的模型。但执行删除前后模型之间的差异也可能蕴含潜在的隐私风险。

第三，设施安全风险挑战。设施是人工智能的“载体”。设施安全关乎人工智能模型能否稳定和可靠运行。设施安全涉及承载数据和人工智能模型的软硬件设施安全。在软件设施安全方面，操作系统、应用软件和开源框架的安全是确保人工智能安全运行的关键。操作系统和应用软件的安全漏洞可能导致人工智能系统发生数据泄露和服务中断等。例如，2023年3月，chatgpt发生宕机事件，导致用户可以意外访问其他用户的聊天历史记录。美国开放人工智能研究中心（openai）对此表示，宕机原因是开源内存数据存储库“redis”存在漏洞。此外，近年来频繁曝光的tensorflow、caffe和pytorch等深度学习开源框架也存在诸多安全漏洞，包括拒绝服务攻击、远程执行恶意代码和缓冲区溢出等。这些漏洞可能被攻击者恶意利用，对人工智能系统造成严重影响。在硬件设施安全方面，中央处理器（cpu）、图形处理器（gpu）、张量处理器（tpu）、存储设备、网络和边缘设备等硬件设备面临后门攻击、侧信道攻击和固件篡改等威胁，严重影响人工智能系统的正常安全运行。2023年，美国一家安全顾问公司研究发现，同一服务器上托管的不同gpu之间可以互相读取关键数据的漏洞。英伟达（nvidia）、苹果（apple）、超威半导体（amd）和高通（qcom）的多个型号的gpu均受到该漏洞影响。

第四，技术滥用风险挑战。人工智能技术是一把“双刃剑”。人工智能技术的初衷是为了帮助人类完成复杂、困难的工作，提升工作效率；但也存在被滥用的风险，主要包括通用人工智能模型和专用人工智能模型的滥用。通用人工智能模型支持在多个下游任务中发挥作用，而专用人工智能模型针对特定应用场景进行设计。对于通用人工智能模型，恶意使用者利用chatgpt等生成恶意信息，并将这些信息用于网络攻击、侵犯隐私和谋取不正当利益，对国家安全和社会稳定构成威胁。有研究表明，在特殊指令下，chatgpt能生成色情信息、虚假新闻和诈骗话术等危害社会公共安全的内容。近年来，利用chatgpt进行违法犯罪活动的事件频繁发生。例如，2023年7月，浙江省绍兴市侦破了一起利用chatgpt制作虚假视频并在网络上散布的案件；2023年11月，浙江省杭州市侦获了一起利用ghatgpt进行勒索病毒程序优化的案件；2023年12月，山东省济南市侦破了一起利用chatgpt批量生成谣言，敲诈勒索受害企业的案件。对于专用人工智能模型，恶意使用者能利用深度伪造模型生成虚假图片、音频、视频和新闻等，侵犯他人的合法权益。2020年，犯罪分子利用深度伪造技术克隆银行客户的语音，欺骗银行向其转账巨额资金。此外，滥用人工智能技术进行个性化推荐还会造成“信息茧房”，甚至影响舆论导向和社会稳定。美国纽约大学的一项研究表明，某社交平台的推荐算法会将用户逐渐推向狭窄的意识形态内容范围，这可能导致意识形态的“回声室”现象。

人工智能安全治理措施

针对算法安全、数据隐私、设施安全和技术滥用等风险，我们需要从顶层设计、技术创新、人才培养和合作交流等方面开展治理，构建全方位人工智能安全治理体系。

第一，加强人工智能安全顶层设计，完善人工智能治理体系，创新人工智能治理方式。随着《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律的陆续实施，以及《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等管理规定的陆续出台，我国人工智能治理框架初步形成。在此框架下，我们需要加强对人工智能伦理和社会责任问题的研究、讨论和规范，推动法律法规紧跟人工智能技术的快速发展和不断变化的应用场景，健全和完善人工智能治理的法律法规和制度体系。同时，还需要进一步加强标准建设工作，系统制定和完善与人工智能治理相关的国家和行业标准，并推动标准的国际化，引导和规范人工智能产业发展。此外，还需要创新人工智能治理方式，通过建立更加灵活和适应性强的监管体系来确保法律法规和标准有效执行，坚决打击威胁人工智能安全和滥用人工智能技术等违法行为。例如，通过建立健全包容审慎和分类分级的监管机制，确保监管措施既不抑制技术创新，又能有效应对人工智能安全风险。

第二，加强人工智能安全技术创新，提升应对算法安全、数据隐私、设施安全和技术滥用等风险挑战的全方位技术保障能力。新理论、新技术和新工具的研发是增强人工智能安全性的关键之一。因此，研究人员要分析人工智能安全风险挑战形成的基本原理，在此基础上，进一步研究人工智能安全检测和防御技术，构建准确、稳健、安全、隐私、公平和可解释的人工智能算法，加强对软硬件设施的安全防护能力，以应对日益变化的算法安全、数据隐私和设施安全风险挑战。研究人员还需要研究针对人工智能技术滥用的监测方法，例如，研发针对深度伪造等恶意行为的检测算法和追踪溯源技术，提升防范人工智能技术滥用风险的能力，为公众提供可信的数字环境。此外，研究人员还要研究安全测试以及审计方法和工具，定期对人工智能系统进行全面的安全检查，及时发现和解决潜在的安全威胁，以确保人工智能系统满足安全要求。总之，应当构建涵盖数据层、算法层、设施层和应用层的人工智能安全纵深防护技术体系，为人工智能健康有序安全发展提供坚实的技术保障。此外，社会各界应当加大对人工智能安全技术保障的研发投入，进一步促进人工智能安全技术创新。

第三，加强人工智能安全人才队伍建设，注重理论与实践结合、跨学科学习和软技能培养。当前，人工智能面临的安全威胁多种多样且不断发展变化，仅有理论知识不足以应对这种快速变化的环境，还需要提高在真实环境中应用理论知识解决实际问题的能力。有关学校和培训机构应当持续跟进人工智能及其安全前沿趋势，设计包含基础理论和实战演练的课程，提供科研实践平台，加强实际案例解析，设置开放性研究课题。有关学校和企业可以通过关键技术联合攻关解决实际应用问题，或举办相关竞赛活动，培养学生实战技巧，同时为企业发掘专业人才。人工智能安全治理成为多维度、跨学科的挑战，需要技术、法律和伦理等多个领域协同，确保人工智能健康有序安全发展。有关学校和培训机构还应当支持和鼓励学生开展跨学科学习，以培养从更广泛视角解决安全问题的能力。此外，人工智能安全项目通常需要具有不同专业背景的团队成员合作完成，有关学校和培训机构还应当注重培养学生的管理和沟通能力，以提高项目的完成效率和质量。

第四，加强国内和国际人工智能安全治理合作交流，提升资源优化配置、知识共享和风险管控等能力。在相关政策和资金支持下，科研院所和企业可以建立长效合作机制或成立工作组，聚焦人工智能突出的安全风险挑战，围绕“新一代人工智能安全技术”开展长期攻坚，整合各自的资源和专长，共同研发安全治理技术，制定标准和培养人才，提升全行业安全防护水平，增强国际竞争力。实际上，人工智能应用已经跨越国界，攸关全人类命运，其面临的安全风险挑战本质上是国际性的。只有通过国际社会的共同努力，积极开展对话与合作，增进相互理解与信任，才能建立全球范围内的安全防护体系。2023年10月，中央网信办发布《全球人工智能治理倡议》提出，“各国应在人工智能治理中加强信息交流和技术合作，共同做好风险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性”。我国科研院所和企业应当积极开展国际合作研究，分享国际最佳实践经验，以激发和巩固国内人工智能安全的“头雁”效应，引领国际人工智能安全领域的创新和发展。