专题·人工智能安全 人工智能安全挑战及治理研究

  《中国信息安全》杂志，介绍国内外最新网络安全动态，深度解读网络安全事件。

  习早在十九届中央政治局第九次集体学习时就精确指出，要加强AI发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。因此，我国在全力发展人工智能的同时，必须格外的重视其带来的安全挑战，明确安全治理目标，综合运用包括法规政策、标准规范、技术支撑在内的多项治理措施，实施敏捷治理模式，有效提升我们国家的人工智能安全治理能力，确保人工智能安全健康发展。

  计算机发明和计算机科学的诞生可以誉为人类信息处理的新范式，相比较以往的信息存储、加工、利用是一次数字化革命。人们通过计算机和编程不断推进信息化，解决了许多需要脑力劳动和知识加工利用的问题。互联网的发明进一步延伸了网络化，标志着人类社会进入了人人互联、万物互联的信息时代。自 1956 年达特茅斯会议首次提出“人工智能”概念以来，在 60 余年中，人工智能作为计算机科学的一个分支经历了起起落落的曲折发展。进入 21 世纪第二个十年后，随网络算力、互联网和大数据等技术的巨大进步，人工智能进入了加速发展的新阶段，并大范围的应用到金融、医疗、商业、工业等领域，成为引领未来和推动经济稳步的增长的战略性技术。特别是近期生成式预训练语言大模GPT（Generative Pre-trained Transformer）涌现式突破，以及人机对话 ChatGPT、AI 绘画 Midjourney 等工具大规模测试应用，带来计算机科学第二次范式变革，也就是通过具有通用性的预训练生成式大模型能力，让计算机具备了连续对话、帮助人类写文章做策划，能达到律师执业资格考试和高校入学考试等人类考生前 10% 的水平，甚至根据人类对话提出的要求做自动编程的能力，展示了计算从信息加工处理提升到知识加工处理的范式变迁的开始。深度神经网络大模型的预训练以及在大规模人机交互过程中强化学习必将带来人工智能“自我进化”，如何确保这种“进化”对人类社会有益而无害，就是目前需要面对的巨大挑战。总之，人工智能在为经济发展与社会进步带来重大发展机遇的同时，也带来了不容忽视的安全新问题，因此，对AI治理的研究迫在眉睫。

  鉴于人工智能技术具有自主智能、数据依赖性、“算法黑箱”和“不可解释”等特征，它在技术内生、应用衍生、数据安全和隐私保护等方面将面临严峻的安全和伦理挑战，并极可能在国家安全、社会伦理和个人生命财产安全等方面产生更严重和影响更广泛的后果。在安全挑战方面，首先是人工智能技术本身带来的安全挑战，最重要的包含可解释性不足、算法歧视、安全漏洞等。比如现有AI算法都会存在“算法黑箱”问题，其结果“不可解释”，这会使用户不敢使用。其次，AI应用衍生的安全挑战，最重要的包含技术滥用和伦理道德等方面的安全挑战。如恶意运用人工智能技术生成虚假人脸或视频，可能极度影响国家政治安全和个人金融安全。最后，AI应用对数据安全和隐私保护也构成严峻挑战。AI发展依赖大量的数据，其中也包括个人隐私。在采集、使用和分析这一些数据的过程中，存在数据泄漏、篡改和真实性难验证等安全隐患。

  与一般信息系统相比，人工智能安全挑战可能带来更严重、广泛和复杂的后果。首先，人工智能安全事件不仅会影响设备和数据的安全，还可能会引起产生严重的生产事故和危害人类生命安全。例如，给患者看病和做手术的医疗机器人，如果因为程序漏洞出现安全问题，则可能会引起直接伤害患者性命。其次，一旦AI应用于国防、金融、工业等领域，出现安全事件，其后果将影响国家安全、政治安全以及社会稳定。最后，人工智能安全挑战还会引起更为复杂的伦理道德问题，许多此类问题目前尚无好的解决方案。例如，在人工智能用于医疗诊断和手术时，医生是否应完全相信人工智能的判断以及怎么样确定医疗事故责任等问题；在采用人工智能技术实现无人驾驶时，也需要更好的机制来解决“电车难题”等伦理问题。

  总之，人工智能技术发展和深度融合应用带来的安全挑战日益复杂，需引起全社会的格外的重视，并尽快有效加强人工智能安全治理。

  针对人工智能面临的安全挑战，本文提出了一个人工智能安全治理框架，明确了治理目标，归纳了法规政策、标准规范、技术支撑、监测评估、管理措施等多类治理措施，提出了敏捷治理模式，如图所示。

  与一般信息系统中强调的安全主要是指自身安全（security）相比，人工智能安全治理的目标应该包括自身安全（security）、功能安全（safety）、隐私安全（privacy）和可信赖安全（trustworthiness）四个方面。

  其中，自身安全是指人工智能技术发展和应用中，应当加强内在安全能力建设，在算法设计、代码编制和系统部署等方面最好能够降低有几率存在的安全漏洞，降低系统出错和被攻击的风险。功能安全是指应避免由系统功能性故障导致不可接受的风险，包括可能会引起人员的伤亡、环境破坏、设备财产损失等方面的风险。隐私安全是指应着重关注个人隐私信息的保护，防止过度采集、超权限使用和滥用，避免可能带来的隐私侵犯、金融财务损失、名誉身份受损等方面的风险。可信赖安全是指应确保人工智能具有可理解性、可解释性、稳健性、公平性以及以人为本等特征，即AI算法和系统具有能够被人类理解、其行为和决策结果可以有效的进行合理的解释、能够在噪声环境下进行稳定和正确决策、能够公平对待不同群体、能够尊重人权和民主价值观的能力。

  当前，国际社会和国内都在人工智能安全治理方面开展了大量探索，并在法规、政策和标准方面取得了积极的成果。但是，要实现AI安全治理并取得成效，仅仅依靠法规政策和标准规范来进行合规引导是不够的。还应在技术支撑、管理措施和检测评估等方面加强具体落地措施。

  我国在《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人隐私信息保护法》等法规文件中要求统筹发展与安全，发布了《新一代人工智能伦理规范》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理办法（征求意见稿）》等文件，为人工智能技术发展和应用提供了很好的安全指引。下一步，应围绕人工智能安全治理顶层设计、重点领域安全应用、伦理道德约束等方面，体系化地制定更多和更明确的法规政策、行业规范和自律公约，增强人工智能安全的法律治理和伦理治理能力。

  2020 年，国家标准化管理委员会、中央网信办等五部门近日联合印发《国家新一代人工智能标准体系建设指南》，明确了我国人工智能标准化顶层设计。目前我国也已经开展了《信息安全技术 AI计算平台安全框架》《信息安全技术 机器学习算法安全评估规范》等多项国家标准的制定工作。下一步，应围绕AI领域的安全与隐私保护、数据安全方面的标准，通过制定安全要求和指南规范等标准，为我们国家的人工智能安全治理提供标准支撑。

  针对技术内生、应用衍生、数据安全和隐私保护等方面的安全挑战，构建AI安全治理技术体系，在算法安全、数据安全和隐私保护、系统安全和应用安全方面加强前沿安全技术探讨研究，以及推动关键技术应用，是落实人工智能安全治理的必要措施。其中，在算法安全方面主要需要研究增强算法可解释性、防范算法歧视、提高稳健性和公平性等方面的安全技术；在数据安全和隐私保护方面，最重要的包含研究隐私计算、密码技术、防泄漏、流通安全、数据质量评估等技术；在系统安全方面，最重要的包含研究漏洞发现、攻击检测与阻止、可信计算、防逆向攻击等技术；在应用方面，主要需要结合应用场景研究可以帮助防止滥用、确保伦理的技术，包括伦理规则化、智能风险监测、穿透式监管等技术。

  针对人工智能安全治理挑战，除了积极采用技术措施进行安全保护外，还应构建一套完善的安全管理体系，从组织架构、人员队伍、管理制度、应急响应等方面着手，通过有效的管理措施实践人工智能安全治理工作。组织架构方面，最重要的包含确立职责明确的部门和负责人，明确各安全岗位的职责和考核机制，以及贯彻执行各项制度和开展监督检查等；人员队伍方面，最重要的包含确定人员招聘与聘用、培训与能力提升、日常管理与离职等管理要求；管理制度方面，最重要的包含在国家法规政策和标准规范的指导下，设计一整套完备的安全管理制度、管理办法、安全操作流程以及运行记录单等；应急响应方面，最重要的包含确定一系列对不一样的情况的应急响应预案、准备应急技术工具和方案，并开展定期的应急响应演练等。

  考虑到人工智能安全挑战会带来更严重、广泛、复杂的安全影响，以及人工智能安全治理愿景的总体目标是实现自身安全、功能安全、隐私安全和可信赖安全等多方面的要求，应当在现有信息技术安全测试与评估基础上，针对性地加强人工智能安全检测评估体系建设。具体来说，需要在人工智能安全测评技术探讨研究、产品和服务测评、人员测评、组织测评等多个角度进一步开展相关工作：如加大测评技术的攻关力度、丰富测评内容、开发更智能的检测工具、建立更高效的监测预警平台，以及开展更广泛的测评实践等。

  近年来，AI在我国和全世界的发展都非常迅速。斯坦福大学以人为本人工智能研究所发布的《2023 年人工智能指数报告》指出，在过去十年里，全球AI相关论文的总数从每年的 20 万篇增长到每年近 50 万篇，而企业在AI领域的投资额也增长了 18 倍。显然，以AI等技术为代表的新一代信息技术，正在驱动当今世界的新科技革命和产业变革，成为影响全球经济、政治、文化、社会和生态发展的主导力量。但人工智能的技术及其应用的特点，使其正面临典型的“科林格里奇困境（Collingridges Dilemma）”，即如果放任人工智能自行发展，一经发现其在应用中出现严重的不良后果时，人工智能可能已成为整个经济社会结构的重要组成部分，此时处理问题就会变得异常困难和代价昂贵；而如果一开始就采取过于严厉的控制措施，由于担心潜在风险，这可能严重限制人工智能的发展，阻碍其更广泛的应用。

  2018 年，世界经济论坛（World Economic Forum，WEF）借鉴工业领域和软件开发领域的成功经验，提出一种新的治理模式——“敏捷治理”。其目的是适应当前信息技术发展的特征。WEF 将敏捷治理定义为一套具有自适应、以人为本、可持续的和包容性的治理决策过程。同时，WEF 也指出政策制定不再仅限于政府，而是需要更广泛地吸纳来自不同利益相关方的意见和建议。随后，我国在 2019 年发布的《新一代人工智能治理原则——发展负责任的人工智能》中，也将敏捷治理作为最重要的八大原则之一。该文件提出，需要尊重人工智能发展的客观规律，优化管理机制，完善治理体系，并推动敏捷治理原则贯穿AI产品和服务的全生命周期。

  结合人工智能安全治理场景的特殊性，我们大家都认为，要落实敏捷治理原则，最关键的要素是：在多元主体参与治理的基础上，建立快速灵活的响应机制，并采取多种多样的监管手段。

  人工智能安全治理应由政府扮演主导角色，但考虑到人工智能技术发展速度快和业务模式更新频繁等特征，在安全治理过程中不可以忽视企业、行业组织等其他主体的作用，因为这些主体掌握着第一手资料和丰富的实践经验。以企业为例，当前AI企业在数据和算力等方面占有明显优势，且其工作处于产业链前沿，在遇到和解决安全事件方面积累了丰富的经验，这使得AI企业能快速定位问题的本质所在并提出高效的治理措施。

  因此，应建立由政府主导，行业组织、研究机构、企业和公民等多元主体共同参与的治理体系。政府应负责制定法规政策和执行核心行动，是法规和政策的最终决定者。同时，政府要建立广泛的合作机制，加强与行业组织、研究机构、企业和公民的沟通。政府需要及时吸收AI产业创新成果和市场反馈，并将有效的引导措施、监督管理要求和审查标准反映在新的法规政策中，进而指导行业组织和公司进行自我监管。此外，行业组织应制定行业规范和自律公约，一方面带领企业的业务创新方向，另一方面通过行业共识约束企业遵循社会公德、和道德要求。研究机构应担任第三方监督角色，对热点应用和创新业务进行技术、法规和道德分析，以支持政府提高监管能力和识别潜在风险的能力。企业则应主动建立内部监督管理机制，并向行业组织和政府提供人工智能安全治理方面的最佳实践。

  政府在制定法律或发布政策时，通常会在深思熟虑的基础上采取包容的方式，但这也轻易造成笨拙而缓慢的响应速度。而AI技术具有颠覆性强、发展速度快和引领作用显著等特征，由此会带来新技术应用的快速变化、高度复杂性和深刻变革性等问题。这使得政府原来按部就班的政策制定方法、过程和周期变得不再适用，导致治理效率低下，难以跟上技术创新的步伐。

  在多元主体共同参与的基础上，敏捷治理可以依据内外部环境的动态变化和不确定性，快速识别问题、总结需求，并通过积极采取小步快走和多次迭代的方式，实现对治理诉求的快速响应。针对技术发展快和日益复杂的AI领域，敏捷治理要求建立动态调整机制。这需要及时跟踪技术和应用的发展事态，尽早分析并识别各种安全风险的严重程度，基于包容和可持续的理念，敏捷治理需要采取策略动态调整和快速响应的手段。

  人工智能作为新一代信息技术，目前已经在购物推荐、客户服务、人脸识别、游戏竞赛等众多场景得到普遍应用，并在智能驾驶、智能诊疗、智能制药等领域做试验验证。然而，不同应用场景面临的安全风险并不相同，甚至在同一场景中，由于人工智能技术发展变化和利用深度不同，也会带来各种安全风险。某些安全风险可能只会导致轻微损失，但其他有些安全风险却可能会导致人体生命健康方面的严重问题。

  因此，应采取分类分级的治理方针，实施灵活多样的监督管理机制。根据AI应用的领域、风险等级、安全后果以及容错能力，划分AI应用的类别和安全监管级别，并设置差异化的监管措施。同时，能够准确的通过业务特征创新监督管理模式，例如根据真实的情况采取监管沙箱、应用试点、准入审批、报备汇报、认证认可、政策指南等多种不同的监管措施。在促进AI产业安全可控和加快速度进行发展之间保持平衡，既要采取一定的措施防止重大安全事件，也不能因过度监管而限制产业发展。

  人工智能正在大力促进经济发展与社会进步，但同时也带来了不容忽视的安全挑战。本文梳理了人工智能面临的安全挑战，结合我国真实的情况，提出了人工智能安全治理框架。该框架期望通过法规政策、标准规范、技术支撑、管理措施、检验测试评估等多方面治理手段，构建一体化的安全治理能力。本文还提出应进一步应用和健全敏捷治理模式，以保证人工智能安全和健康发展。

  本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。