元数安

引言

 

AI黄金时代，智能化技术将改变一切

随着ChatGPT等通用大语言模型的火爆全球，人类科技正式进入AI黄金时代。围绕大语言模型通用人工智能创新应用如雨后春笋般涌现。人工智能正从人民的生活活动向关键生产活动如科学技术研究、工业、农业和国防军事领域蔓延。大有得AI者得天下之势。然而，人工智能在展现其强大的创造力、生产力的同时，其自身的存在的例如幻觉导致的不稳定性导致的安全风险，引起了人们的隐忧。正严重阻碍其在关键生产领域的应用。对AI应用的安全性的研究，是让AI充分发挥其创造力的重要课题。是每个AI从业者以及网络安全技术人员责无旁贷。本文将从AI安全性风险防护和通过AI实现网络安全技术升级两个维度进行探讨。

通过专业的公司训练的基础大模型，通过少量的微调和适配工作，可以应用在各种应用场景，这就让所有行业智能化成为可能。这些领域包括科学技术研究、工业、农业以及国防军事，也包含网络安全领域。这些亟待产业升级的领域。因此，包括东西方国家围绕AI展开了新一轮的人工智能军备竞赛，因为下一个十年，AI将决定国家、组织和个人的核心竞争力。

面对AI的革命，目前有两个观念，首先是
然而，在各领域的高歌猛进同时，AI这个新的科技巨兽强大性能、各种不确定性，也为未来的发展带来了隐忧。例如AI是否会取代人类、是否会为人类带来灾难性后果、如果将不可控的AI应用在决定国计民生的关键领域，是否会造成无法挽回的损失？而其中网络安全，就推上了风口浪尖。
面对这个时代的大变局？网络安全从业者，科技工作者采用什么态度？是值得我们深入研究的。因此在产业界也推出了HAI， responsible AI等研究。

第一个思想是拥抱变化，顺应潮流，用AI赋能安全，用魔法打败魔法，用科技保护科技。发展是硬道理，科技是第一生产力。落后就要挨打，唯有利用魔法打败魔法，网络安全也要转变思想，顺应历史潮流，用AI科技武装自己，才能为AI变革保驾护航。
本文将从AI网路安全面临的困境和具体的方案策略进行探讨，展开。

AI时代网络安全面临的困境

关键字：安全还是发展，科学技术是唯一解

随着软件技术与人工智能等新技术的涌现，网络安全能力上的不足引发了更为巨大的挑战。首先，人工智能以及面向大规模用户、关键基础设施的应用，安全是必备要素。在某些对抗场景，安全问题不仅仅会导致经济损失，还涉及到人民生命财产安全、企业、组织生存的问题。然而面对残酷的外部竞争，组织面临高速增长、快速创新的压力。因此快速滋生了大量的复杂、灵活的应用系统。相较而言，网络安全却显露出严重不足。绝大多数企业在投入大量的专业人才、构建了大量安全系统，依然漏洞百出。做得比较好的比如Google 、微软往往投入了大量的资源，甚至放弃了很多的创新的机会，才导致相对的安全状态。而对于业务发展初期的创业型企业、以及IT技术相对滞后的生产制造业、大型央、国企，安全状况更不容乐观（参照护网行动）。导致这些现状的原因有很多，或多或少与网络安全的技术和业务特征有关。然而最核心的问题是没有将安全与业务需求深度绑定，导致安全与组织业务脱节，无法从业务上获得支持和认可。网络安全技术发展缺乏激励机制有关。

因此网络安全第一性原理：构建正向经济激励，将安全与企业业务发展深度绑定，让安全也为组织创造价值。具体可通过一下几个维度落实：

经济性

无论任何企业，发展才是硬道理。牺牲发展的安全会让企业失去根基。长期看，不会得到企业的最终认可。因此网络安全一定，而是要按照长期、可持续的发展目标，从投入产出比-ROI考虑进行规划建设。这里的投入I，不仅仅是直接经济投入，更应该考虑到安全方案对业务的创新性、信息的流动性、企业生产效率的负面影响。如冗长的审批、等待环节，过于严格、死板的访问控制都会极大的损害企业的创新和试错效率，这部分流程主意对组织的伤害往往是更致命的。

透明性

网络安全不仅仅是安全部门的工作，需要来自业务、研发和基础设施各层的合作与支持。网络安全技术具有很强的专业性，这很容易造成信息差。网络安全需要制定简单、明确的规则，建立科学、客观的评价指标，开发专业的测试、验证工具。让所有生态相关方能够客观的判断安全方案的性能优劣、系统的安全合规与达标水平。在好的评价机制如红黑榜、Benchmark，形成良性的竞争，可以推动安全技术、创新和性能的提升，激励业务对安全的参与主观能动性。给予相关方以信心和客观的心里预期。

科技含量

传统网络安全技术相对比较封闭，这导致网络安全方案的软件化、智能化相对滞后。在工具系统层面，很多安全系统还主要面向专业安全技术人员的专业技能，自动化与扩展性较弱；另外在数据应用领域，安全系统在数据分析、代码日志分析、模型智能化层面还在用比较早期的算法。网络安全作为效能极度敏感的领域，更需要拥抱AI科学技术，大大提升其覆盖率、精准度。

利益绑定

安全不应该是安全部门的事，和所有生态的相关方都有利益绑定，将安全、质量固化成业务产出，将产品安全性良性循环。比如隐私合规、安全标准的制定都是将安全作为业务性能的基本要素的手段。当然，安全合规不仅仅在立法，还在于执行。

综上所述，网络安全一定要以业务价值为核心，拥抱科技，大大提升性能和技术水平，才能肩负起为AI发展变革保驾护航的重任。

网络安全范式

安全的内核是风险控制，这个范式一直都没有变。而网络安全的风险由业务资产、攻击威胁、安全防护三个要素组成。安全任务流程通常是识别业务资产；发现针对业务的内、外部攻击和威胁；并结针对性部署安全防护措施，最终实现安全风险控制的目标。

第一要素：业务

从宏观角度，充分理解业务诉求，识别业务资产以及业务系统的构建模式、相互关系。是一切安全活动的基础。每一种业务系统都会有其通用性与独特性。资产识别的指标包含完备性、精准性。完备性主要基于攻击最薄弱链条（或者木桶原理）原则。攻击者不会与防守者硬碰硬，任何防守的盲区，都可能被利用成为攻击的跳板。精准性是指，安全需要深入理解业务逻辑以及底层的技术细节的理解，尽可能识别所有的业务信息和逻辑。

针对业务资产方面，有一些重要的工具。
第一条，生命周期分析，通过针对整个业务系统从需求设计、开发实施到上线使用、运维。通过生命周期分析工具，可以全面覆盖业务系统的所有应用场景，确保完备性。生命周期可通过流程图+Use Case分析实现。
第二条，架构分析：现代应用系统往往由大量的功能单一的组件、服务拼接而成（请参考云原生CNCF架构和微服务架构）这些组件各司其职，互相作用，形成了实现多功能的复杂系统。其中重要的组件包含基础逻辑组件和支撑组件，组件可通过人机接口如UI和机机接口API，相互调用。架构分析将识别、拆解这些单一组件，识别出可能潜在的信息访问接口。这些接口同时也是安全威胁重点关注对象。主意在架构分析中要包含逻辑架构、物理架构。此外出显性业务接口外还需要关注后台运维、管理接口。
第三条，代码、配置和网络扫描：业务系统往往身兼多职，也分不同维度，比如IAAS、PAAS和SAAS应用，自研、开源供应链。每个系统都存在大量的隐含功能，除了从逻辑架构分析外，通过技术手段，也可以及时补充大量的盲区、发现未知漏洞
第四条，资产盘点与资产目录：业务系统从底层主机、存储，到上层的服务、应用以及人员账户都存在错综复杂的关系，通过资产目录和相关的元数据将所有IT资产进行管理是现代企业的常规工具，这里包含数据目录、服务目录、业务目录、组织人员目录、终端目录等。

此外，对于网络安全人员，也需要理解各种不同的技术也是必备跨界技能。比如操作系统、Web应用技术、云原生、微服务架构、DevOps，以及各种开发、运维技术；数据科学、机器学习与人工智能技术等都需要学习。具体的学习方法可以通过与领域专家交流研讨；阅读技术书籍、文章和论文；代码review；对于关键的应用，如DevOpS，CNCF， 数据科学和AI，则需要通过构建、实验和深入到实际项目中深度学习。

第二要素：威胁

威胁是从攻击者视角来审视一个系统，知己知彼、百战不殆。从宏观讲，我们需要识别威胁动机，威胁代理和威胁技术。威胁代理主要是指攻击者的身份与角色，比如内部的信息泄露人员；来自商业竞争对手的商业间谍、来自敌对势力的国家级黑客、黑灰产业链上下游生态、也包含白帽子等安全安全研究员与赏金猎人等。
威胁动机不言而喻，就是实现攻击的目的； 威胁技术能力包括如极客到实施渗透测试的脚本小子。
从微观上我们需要识别各种威胁情报、攻击特征库等信息。
威胁是一个非常庞大的体系，限于篇幅本文将不再赘述。本文将重点介绍一些比较常规的威胁分析工具和威胁信息库。
威胁建模：是微软2000年左右提出的一种软件安全分析方法，主要是以第一视角，基于上文说的业务应用分析的所有接口进行攻击面分析。
攻击信息库ATTACK：ATTACK是安全机构MITRE维护的攻击手法，攻击特征目录。覆盖了黑灰产、内外部的攻击路线图。同时MITRE开发了针对AI应用领域ATTACK-ATLAS。
威胁情报：威胁情报是近十年兴起的针对传统的病毒缺陷的新型威胁信息来源，通过对接厂商，不但可以识别病毒和讲师网络，还可以识别出恶意的IP，互联网主机、移动设备、僵尸账户、黑灰产等攻击所需的攻击物料信息。可以进一步分析出攻击团伙等深入的信息。
漏洞扫描和分析工具：针对3方软件供应链的漏洞信息库
SOC/SIMS 将以上的攻击信息对应到网络资产，结合应用、网络日志，实现威胁实时运维中心。

由于系统的开放性和互联互通，以及业务系统复杂度的飙升。威胁往往隐藏在正常的系统和用户当中难以察觉。同时公共IT基础设施的获得成本下降，攻击者更容易隐藏自己的信息。因此威胁分析要求更快、更精准的分析能力，AI在此处更有用武之地。

第三要素：防护

安全防护体系发展经历了3个发展阶段，第一代防护是以防火墙、入侵检测、杀毒和漏洞管理的系统和网络安全阶段，由于绝大多数安全机制是在应用系统外围独立部署，我们称为外挂安全。第二代，随着软件技术的发展，企业自主研发能力的普及，基于软件应用系统本身的安全性称为了主流，这期间出现了如微软SDL、代码安全以及响应的权限控制、日志审计以及各种安全SDK将安全特性和功能集成到软件本身。我们称为内生安全阶段。第三代刚刚到来。随着大数据和AI技术突破，基于广泛数据分析洞察，实现精准防控、主动防御，让安全能力得到飞跃的，我们称为安全智能。

安全防御体系是最考虑设计能力，也是三要素中技术含量最高的部分。首先，防御系统不仅仅要考虑到威胁，还要考虑到业务，在保证安全风险控制的目标同时还要考虑到对业务的低影响、全覆盖和低成本。业务系统的复杂性直接影响防护系统的效率和效果。以下原则的深入理解和准确实施，会大大提升方案的效果。

纵深防御
纵深防御是指针对一个攻击面，采用两个以上的防御技术互为补充、互为强化的一种安全设计方法。考虑的业务应用场景受到物理、人员、技术等多种因素影响，单一防护机制往往很难实现高的安全保障。如果过度强化控制力，不但成本飙升、还会牺牲易用性和效率。例如认证上支持除净态密码外，还支持短信、物理令牌或者指纹等，不但可降低因密码泄漏导致的身份仿冒风险，还可以在使用相对较简单的密码情况下、手机丢失等情况下保证安全的访问。纵深防御并不代表可以弱化单一防护机制，单一防护机制的确定性是纵深防御的基础，因此设计者需要对所有的防御机制本身的强度和优缺点要有准确的认知。纵深防御是一门艺术，后面我们会在单独的议题展开。

安全防护的时机
安全防御机制有很长清单，按时机可以分为三个阶段
事前阻断与治理，限制最严、效果最好、业务影响最大。比如身份认证和访问控制，网络防火墙、补丁、加密。通常适用比较成熟的业务，策略明确，安全敏感度高的场景。
事中监控与告警：限制较弱，效果适中，对运维成本高。比如入侵检测、事件告警、行为分析。随着大数据和AI的进步，这部分或将成为主流。
事后响应与溯源：限制最低，效果相对滞后，但成本与业务侵入性也最低，对于规则不明，处于生命周期早期的创新型场景，或者安全风险较低的业务首选。随着AI加持，分析能力的提升，这部分将逐步从离线向近线或实时靠拢，甚至可以结合风控模块实现实时阻断
安全防御的坚持与妥协
安全要业务优先，但也不能牺牲安全性，安全防御机制要保障其确定性。在与业务的权衡中，哪些需要坚持？哪些可以妥协？在高风险业务和资产情况下，需要坚持。在低风险和创新型项目中可以妥协；在面向合理用户、影响可用性和便利的、可以妥协，在明确攻击特征和不达标不合规的，需要坚持。此外对于因兼容性和事件导致的降级等妥协情况下，需要记录和分析，保证风险可控。
常规的安全防护工具
治理保健类：漏洞扫描、管理；数据目录、标注；加密、脱敏和token化、https
阻断控制类：网络隔离、身份认证、服务鉴权、
监控审计类：日志服务、NIDS、SOC、威胁情报、用户画像、风控

安全防御新范式-安全智能化

上文罗列了安全体系建设的3要素，讲述了传统的安全能力堆叠的逻辑。目前主流的厂商、大厂都是按这个方法构建自己的安全体系。然而，我们看到，如果只按以上范式来构筑，是非常复杂、成本巨大的。然而实际效果并不理想。最核心的还是经济性、效率问题。问题的根本是传统安全防御的特征安全策略没有针对性，这种一刀切安全机制是对高风险攻击与正常用户一视同仁，会导致ROI极低。如果设置严格，会严重限制企业运行效率、产品创新，限制了核心竞争力。如果过于松散，却让企业、产品整体面临系统性风险。
其根本原因是安全系统，在缺乏对安全3要素的情报和数据支撑，缺乏对业务的精确洞察，缺少对攻击和风险精准识别、预测。从而无法提供针对性的防护控制措施。
大模型的出现，让以上问题得到了解决的可能性。本章将网络安全问题转化成一个人工智能问题。从而让安全能力得到智能化提升。

围绕大模型开发AGI通用范式

 

1.项目生命周期：

Scope（需求分析）：确定应用场景、功能实现和标准，与传统算法和数据科学项目类似。这里要包含不同阶段产出的SLA
Select（模型选择）：包含开、闭源，模型规模、参数：模型评价标准等。这里需要具备模型评估的专业技能
Adapt and align model（模型开发）:实际的模型开发阶段，包括模型微调、对齐和评估。业包含训练、测试数据的整备。是整个项目的核心能力阶段。
Application Integration（模型应用）：围绕大模型开发的AGI应用，目前主要是围绕向量数据库RAG企业级知识库框架和更具想象力的AI Agents

2.AGI开发框架

图2 大语言模型生命周期 来源 https://www.arthur.ai/blog/what-does-the-ml-lifecycle-look-like-for-llms-in-practice

上图介绍了当下比较完整的LLM的生命周期架构图。
。

第一条，通过大规模预训练实现的基础模型，能完成通用的语言任务，以此基础进行微调和行业适配，可训练出专用模型。与训练是AGI军备竞赛的基础，一个好的基础模型需要基于百亿-千亿级参数在TB级高质量数据、大量的GPU计算资源历经数以季度的训练，是技术与资源密集型产业。只有少数的专业公司如Google、OpenAI和Meta这类的公司才具备这个实力。对于AGI应用，选择一个优质的厂商的高性能产品至关重要。对于后续有高的定制化需求以及隐私和安全诉求比较高的公司，建议基于开源大模型实现私有化部署。
第二条，模型开发，这步主要是通过对基础模型进行微调和二次训练，实现领域大模型或专有功能大模型的训练。基础模型和微调模型统称模型生产，模型微调重点主要包含全量指令微调、PEFT、和
a.需求分析和用例开发，同时也定义出模型的性能指标，其中安全指标和滥用用例也在此阶段。 
b.数据准备：包括不同用例的数据收集、数据标注、训练、评估和测试数据的拆分；注意，数据质量决定模型的性能。通过数据质量保证机制，并在广泛的维度进行评估验证非常重要。
c.模型微调：指令微调、SFT、RLHF，目前存在多种微调方案，而且这个领域创新潜力巨大。因此此处通过版本控制进行大量实验验证。可训练更好的模型。同时关注针对模型投毒等攻击CASE。
d.质量验证：测试和验证来保证模型性能的透明化，在模型投产前，乃至整个训练过程中，都要穿插各种Benchmark和性能、安全性测试。
第三条，应用集成：当模型完成训练后将部署到线上推理环境，对接各种上下游应用实现AGI的业务价值。注意，最近AI Agent框架，让这部分不仅仅是LLM的延伸，还将成为AGI的核心功能，通过该模块集成外部向量数据库、API，以及具身智能体。将弥补LLM本身的幻觉、安全性、准确性等缺陷，该部分我们可以集成多种安全方案。

安全大模型开发
基于通用AGI开发范式，我整理了安全大模型的开发流程

1.需求分析：企业安全体系是一个非常复杂、庞大的体系，安全信息也涉及到业务、威胁和防护等诸多要素。而AI也是一个逐步发展成长的智能体。企业可以依据自身情况，选定智能化节奏。通常包含以下范围：
a.IT资产数据化、向量化和认知模型化：需要将所有的IT实体，包括人、终端、系统、数据以及相互之间的网络、系统环境信息进行采集。除了简单的资产罗列，还需要深入到业务逻辑内部、使用、访问行为，对资产对象进行画像、特征刻画。
b.威胁情报、威胁特征识别：依据来自内外部的威胁情报、攻击特征分析，关联出针对企业内部系统的攻击和潜在攻击行为。
c.安全防护：从安全治理方面，针对漏洞管理、安全基线、隐私合规、软件供应链，针对不同的安全防护模块的覆盖情况，从而识别出可能存在的安全漏洞
2.数据收集和处理：企业信息化程度不同，导致数据采集的完整度和效率或有差异。从安全洞察视角，数据越完整、准确、实时，决策与预测的能力越强。通常对于数字化比较好的企业或者部门，通常现有的配置管理系统可覆盖绝大多数。对于很多公司还使用大量的离线手动维护。通常部分覆盖情况比较常见。除了通过流程设计保证外，还需要采用多种技术、流程手段获取尽可能完整的数据。此外，需要数据科学家对数据质量、数据内容进行分析、加工和处理。
a.数据资产盘点：需要获得企业内部各类型的数据存储
b.人员和终端盘点：不仅仅包含人员账户属性、权限，关联的终端
c.应用系统盘点：包括服务治理、主机、资产盘点以及底层IAAS、PAAS和SAAS相关的实例信息，以及系统的软件供应链、漏洞、相关信息。
d.网络流量、应用访问日志、安全日志信息采集
e.外部威胁情报、攻击特征信息采集
3.模型开发：智能化体系，AI将承担主要的安全决策、预测判断，通用模型因为缺乏安全领域相关知识、缺乏特定的技巧。无法直接发挥作用。通常通过几个方面解决领域大模型能力问题。具体模型训练主要有
a.模型选择：安全大模型肯定是采用开源模型私有化部署，但具体选择模型规模，模型语言等需要进行一定的取舍。因为安全分析数据量巨大，模型推理的成本也要考虑进去。对于综合、全面画像，绝大多数离线分析，尽可能采用较大的模型，能从更多维度和属性上下文分析，获得更为全面、准确的预测。对于数据量大、实时性强的及时决策系统如访问控制、风控决策，可采用更为经济的小模型。此外基础模型本身性能，决定安全大模型的上限，因此尽可能选择权威评分较高，并且找专业人士采用科学评估方法。
b.模型微调：传统大模型主要是基于文本理解世界。安全模型需要通过日志、结构化数据、代码以及各种配置信息、流量信息来了解IT虚拟世界。通过微调，可以让模型获得领域知识、改变推理、学习习惯适应安全领域的推理逻辑。
c.数据向量化存储应用RAG：与传统大模型不同，安全领域大模型面对的是大量的瞬息万变的IT实体对象，这些对象的维度较小，但关联信息变化快，信息量大，实时性高的特征。通过将所有的安全信息嵌入到统一的向量数据库存储，通过多维向量关联、查询，结合大模型的推理。更容易发现实时的和潜在的安全风险。
d.多维度安全智能代理结合：安全建设涉及多种应用场景。不同场景的需要的知识和技能有所不同。

4.模型应用：大模型应用除ChatBot之外，目前最广泛的应用是基于企业知识库和AI智能代理；代码分析与生成，安全大模型应用也是基于以上功能开发出多个模型AI智能代理
a.安全信息知识库：通过企业知识库模型结合（RAG）开发的企业IT资产、漏洞、威胁信息库。过去通过知识图谱，现在通过向量化。实现数据血缘、用户画像、设备画像、漏洞分析、安全风险评估等多种衍生功能，其核心是将IT资产、上下文配置信息、访问信息、继承关系与安全漏洞、访问行为、威胁情报和日志关联起来，形成安全信息网络。包含数据血缘、数据流分析、软件、组件集群、团伙画像、风险分类、分级等。
b.安全编码、漏洞分析模型：通过大模型编程能力，分析识别大量的安全漏洞，做到识别安全漏洞、包括0日漏洞的能力；
c.软件供应链、系统漏洞模型：基于外部的cve、漏洞信息与软件版本、特征，从系统层、中间件层和应用层识别出安全漏洞
d.安全风险识别：包括网络流量、访问行为等日志信息分析、匹配，结合用户、终端等行为，识别出僵尸网络、木马和黑灰产等行为。
e.智能访问控制：通过实时风控信息，关联风控组件，二次验证、多重验证和环境风险等因素，实现智能访问控制。需要机遇现代ABAC模块，集成智能风控SDK，实现机遇源头的、风险的访问控制，可有效防止数据删除、数据勒索、大规模数据泄漏等系统性风险。
f.用户、系统行为画像，识别潜在的内鬼、APT潜伏等攻击行为。
g.攻击模拟智能体：依照Attack模型、安全威胁特征，构造攻击智能体。测试、复现攻击向量、攻击行为。

 

总结

科学技术是人类进步的最主要驱动力，随着AI大模型，新的AI技术将对人类的资源进行重新分配，掌握AI技术，成为国家、组织和个人的最强竞争手段。ChatGPT的崛起，标志人类科技正式进入全新的AI时代，AI将超越工业、电器和石油，成为人类科技史最重要的转折。AI不仅仅改变人们的日常生活，其智能化更会对现有的生产力、技术底层重新定义科学技术。作为网络安全从业者，无论考虑AI安全性，还是利用AI智能化革命安全。我们都应该深入学习、拥抱这个科技时代。

 

参考信息
zero2hero2-大模型篇
https://www.notion.so/07394de5c2a8435b8148da571e0b1de1?v=d8a0612b394e474485ffb277e6ad7e13&pvs=4 
大语言模型介绍：
https://www.youtube.com/watch?v=zjkBMFhNj_g&list=PLp_qcKnLcRi7vo88v4AxGVrCwyHx5cutt&index=7&t=6s
Large Language Models
https://www.youtube.com/watch?v=dbo3kNKPaUA&t=0s
万字通俗讲解向量数据库
https://www.youtube.com/watch?v=uQcBwN1PEyI&t=64s
万字综述大语言模型代理 Agent
https://arxiv.org/pdf/2309.07864.pdf
Building and Evaluating Advanced RAG Applications
https://www.deeplearning.ai/short-courses/building-evaluating-advanced-rag/
Finetuning Large Language Models
https://www.deeplearning.ai/short-courses/finetuning-large-language-models/
Awesome-LLM
https://github.com/Hannibal046/Awesome-LLM