Afleveringen
-
本篇的文字版出于敏感要求无法放出，劳烦各位听播客啦
从国内某领先安全厂商的网络安全大模型出发，看行业内的技术情况
一、网络安全大模型的构建过程，四个阶段
二、安全大模型利用 MoE 的设计思想，运行原理是怎么样的
三、MoE 架构包含多个专家模型是哪些
四、训练用到的数据是哪些
-
一、从输入输出角度看，大模型应用的风险
1、输入风险：
1️⃣提示注入攻击：不仅针对文本形式注入，也要关注通过多轮文本交互、文档、图片、代码等复杂形式进行的注入攻击。这种注入攻击通常会让模型绕过安全控制，生成一些不好的内容，或者生成一些非当前用户权限范围内能查看的数据。
2️⃣敏感或重要信息泄露：用户输入时可能存在企业数据泄漏。
2、输出风险：
1️⃣生成有害信息：如涉政、涉恐、涉暴、涉黄、违反伦理道德，尤其对公众提供服务时。
2️⃣敏感或重要信息泄露：模型输出核心代码、设计原理、经营数据、个人隐私等导致数据泄露
3️⃣输出影响范围扩大：生成错误的执行路径或重大策略建议，向下游设备或者工具下发异常指令。
二、防护类型分类
1、对于企业内部员工，访问企业内部自建大模型：
1️⃣防止输入风险：提示注入防护
2️⃣防止输出风险：信息泄漏防护、生成有害信息防护
2、对于企业内部员工，访问互联网大模型
1️⃣仅防止输入风险：信息泄漏防护
三、有什么解决方案
1、防护框架
从整体上看，其实有三层风险需要关注，由于比较新的是智能应用风险，所以本此重点讲解第三部分智能应用风险。
1️⃣模型开发风险：模型幻觉、数据投毒等
2️⃣系统平台风险：模型漏洞、访问权限失效等
3️⃣智能应用风险：提示注入、敏感信息泄漏、有害内容生成等
2、自建大模型防护
1️⃣将原本发送到业务大模型的提示内容，送入到安全系统中检测（这里的检测系统可以用“大模型防火墙”，也看到有专业安全企业在单独做此类“安全检测智能体”，这个单独的“安全检测智能体”就可以检测提示词注入攻击，或者信息泄漏，或者有害内容生成等）。 2️⃣如果检测结果正常，则将原始提示词发送给业务大模型；若结果异常，则拦截并提示。当然业务大模型生成的内容也可进行有害性与合规性的检测和拦截 3️⃣企业管理员可针对提示注入规则、重要或敏感字段/内容规则、有害/合规内容规则等进行自定义，匹配实际要求。
3、互联网大模型防护
1️⃣直接用常见的防泄密方案即可，注意要做到影子AI应用发现、敏感文件上传管控等。
-
Zijn er afleveringen die ontbreken?
-
奇安信、三六零、亚信、安恒、天融信、启明等陆续发布了DeepSeek接入的热点软文，本期探讨DeepSeek在网络安全大模型下的应用真的那么简单吗。
本期文字内容不便发，劳烦各位听播客吧
-
第一阶段，1月3日、4日、6日、7日、13日，出现疑似HTTP代理攻击。
在该时间段，XLab可以看到大量通过代理去链接DeepSeek的代理请求，很可能也是HTTP代理攻击。
第二阶段，1月20日、22-26日，攻击方法转为SSDP、NTP反射放大。
该时间段，XLab监测发现的主要攻击方式是SSDP、NTP反射放大，少量HTTP代理攻击。通常SSDP、NTP反射放大这种攻击的防御要简单一些，容易清洗。
第三阶段，1月27、28号，攻击数量激增，手段转为应用层攻击。
从27日开始，XLab发现的主要攻击方式换成了HTTP代理攻击，此类应用层攻击模拟正常用户行为，与经典的SSDP、NTP反射放大攻击相比，防御难度显著增加，因此更加有效。值得注意的是，1月28日3点开始，本次DDoS攻击还伴随着大量的暴力破解攻击，暴力破解攻击IP全部来自美国。
Http代理攻击：大致是攻击者通过大量被控制的PC向Deepseek的主机不停的发送大量的貌似合法的请求，造成被攻击服务器资源耗尽。因为是貌似合法的请求，所以比较难检测，业内目前比较新的方式是用智能识别方式进行检测：压力学习模型会根据源站返回的HTTP状态码和时延等来实时地感知源站的压力，从而识别源站是否被CC攻击了，DDoS高防再根据异常检测模型实时地检测源站在HTTP协议上的特征的异常行为，然后基于这些异常特征，使用AI算法生成精准防护规则和CC防护规则，来防御CC攻击。
本次Deepseek遭受的DDOS攻击具体如何防护还待进一步实际细节资料发布。
-
选自公众号：信息安全D1net（企业网D1Net）
原文链接：https://mp.weixin.qq.com/s/rlm1xGrsw2sMUUsGrzY8_g
在日益增长的威胁环境中，CISO强调了网络安全团队需要理解并使用业务语言的重要性，并以战略眼光推动更大的客户和利益相关者价值。“这不是一个适合弱者的职业。” 这也是为什么这份职业如此令人振奋的原因，它不仅需要技术技能，还需要更多的能力来成功应对这一领域的挑战。
北极星：将网络安全与企业使命联系起来
凭借对企业的全局视角，网络安全企业处于一个独特的位置，能够预见问题和需求，影响业务战略，并主动推动业务变革和影响，然而，许多网络安全专业人士仍然埋头于细节，缺乏对自己在推动业务使命中所扮演角色的认知。最优秀的CISO会有意确保他们的团队理解自己的使命及其与业务的联系，这是他们如何将职能提升到超越战术执行者或值得信赖的顾问，成为具有前瞻性和创新性的合作伙伴的一部分。
ELC的Noaman一直将培养这种业务优先的意识作为其企业的重点。她说：“我告诉他们，无论你扮演什么角色，你都是拼图的一部分，没有这块拼图，拼图就不完整。你必须知道自己在拼图中的位置，这样才能说，‘如果我没有完成这部分工作，我们就无法实现那个目标。’了解你的位置，了解你所做的工作如何为最终目标做出贡献，这一切都至关重要。”
她表示，这种心态体现在团队成员与业务同事的互动方式中。他们不仅考虑所处理问题的价值，还考虑其总体使命，即以客户为中心的安全。
最终，她表示，这一切都是关于建立共识，而建立共识的首要利益相关者就是你的团队。
“Noaman说：“当你让他们理解你要实现的‘北极星’，也就是为什么要这么做——他们了解安全方面的原因，但他们是否理解业务方面的原因——这就是让他们专注并有动力朝同一方向前进、以相同速度划桨的关键。你必须告诉他们最终目标是什么。”
用业务语言沟通
以使命为导向、作为业务推动者出现是建立信誉并获得关键安全举措支持的关键，但如果你不懂业务语言，就无法与业务伙伴建立可信的联系。事实上，网络安全行业在各个层面上最大的技能差距并非技术，而是人际沟通。
Northwestern Mutual的Deaner说：“我有一支非常出色且技术过硬的团队。但当你与业务和其他战略利益相关者对话时，他们不一定知道什么是单点登录或多因素认证，他们只想知道如何解决问题。”
表达得越简单越好。网络安全专业人士常常陷入技术术语中，结果失去了听众的注意力。Noaman建议道：“要清晰、明确、直接。如果你一开始就直接说明你需要做什么并解释为什么这样做，就不必解释技术细节，因为现在每个人都理解了原因。”
在业务现实的背景下进行沟通也是必不可少的——这需要熟悉业务同事的日常经历。Deaner鼓励她的团队了解业务，参观呼叫中心，倾听电话交谈，“这样他们就能开始感受到另一端的人可能正在感受到的情绪。”
最重要的是，RAND的Rodgers表示，要记住这个基本而又重要的原则：“在每一次对话中都要牢记业务的优先事项。”
顶尖网络领导者的差异
在领导层面，高级沟通技能更加重要，而这种技能差距往往更大。网络安全和其他技术专业人士通常是基于作为技术人员的成就而被提拔到领导职位的。尽管他们的技术资质可能非常出色，但在核心领导能力方面，例如沟通、影响力、客户导向和商业敏锐度，他们往往缺乏发展或指导。
正如Rodgers所说：“把你带到这里的东西不会让你走得更远。你知道如何配置防火墙，但现在你必须向高管们进行沟通。你需要了解业务，并能够用业务语言谈论你的技术、安全和解决方案。能够进行这些对话是伟大领导者的区别所在。”
由于沟通技能对领导力的基础性作用，它们对领导效能产生了连锁反应。例如，透明度通常会建立更多的信任，从而促进更好的合作与协作。“质疑动机的情况会减少，”Noaman说，“我们在彼此交流，你理解我们为什么需要这么做。我认为，唯一能实现协作的方式就是通过信息的透明和简洁。因为我可能认为我们是一致的，但除非你和我在同一条船上一起划桨，否则我们并不一致。”
这些直觉性、以人为本的技能至关重要，尤其是在CISO们经常处理的高压、高风险情况下。正如Deaner所说：“我可以讨论CVSS评分，但归根结底，没有人愿意度过糟糕的一天。我认为，与其过于技术化，或者使用恐惧、不确定性和怀疑，或者不简化问题并在合适的时间地点与人沟通，远不如将问题定位为简单的‘没有人想要度过糟糕的一天’来得好。”
激发个人和团队的韧性
在信息安全领域，风险无处不在，攻击变得越来越复杂，责任重大。成功的CISO的一个定义性特征是他们的勇气。好消息是，勇气就像肌肉一样，可以像其他任何技能一样被培养出来，勇气也是一种心态。这个小组中的CISO们描述了各种内部动力，这些动力使他们即使面对艰难的挑战，依然保持在赛场上，保持韧性和适应性。他们明确表示，当你因热爱所做的事情而驱动，并始终保持对自己产生的影响的清晰认知时，勇敢变得更加容易。
一个共同点是他们专注于“关键时刻”，即网络安全与各种利益相关者之间的接触点。有意识地关注这些时刻的领导者发现，他们能够更好地预见问题，并更有策略地作为业务推动者出现。
Rodgers说，这是她在职业生涯早期工作在帮助台时学到的一课。整天处理投诉需要一种特殊的勇气。“但它的美妙之处在于，你会了解人们及其工作方式，”她说，“我到了一种程度，我能够预见他们会想要什么，所以我开始主动提供这些东西。现在，我在领导职位上运用同样的教训，来预见业务部门的需求。”
Deaner补充道：“了解我们的客户帮助我的团队快速上手，并帮助你理解你为什么要做这些工作。我们充满激情，但我们也有很多时候会感叹，这实在太疯狂了。获得那种‘我在产生影响并保护我的客户’的感觉，真是太好了。”
在这个行业，“总有些事情让你时刻保持警惕，”Noaman说，“这不仅是工作描述的一部分，也是我们这些在网络领域成长的人所具备的一部分。我们通过伤疤学会了这一点。”
伟大的领导者会创造一种文化，使人们能够在高压环境中茁壮成长，而不是被这种环境压垮。随着倦怠感的上升，培养、吸引、激励和留住最佳人才是顶尖CISO们的首要任务——因为他们知道，没有一支技术过硬、充满激情、目标一致的团队，他们无法保护利益相关者并完成使命。
“Noaman说：“我用跨国旅行来做比喻。我们正从A点到B点，我们有这些目标。我不会告诉你如何到达那里，也不会告诉你需要做什么，这是你们的工作。我的工作是让你们为这次旅行做好准备，因为这是一段旅程。作为领导者，我必须设定这个愿景，然后带领大家一起前行。”
领导力的平衡艺术
正如这三位CISO所展示的那样，最好的领导者以谦逊、同理心、适应力、韧性和透明度（HEART）来领导，同时要求他们的团队负责，并专注于交付成果，这是一种微妙的平衡艺术。过于关注结果，你会失去你的团队，但过于专注于HEART，你可能会失去工作。
在我们着眼于培养面向未来的网络安全领导者时，这一点尤其值得牢记。我们需要确保他们具备这项工作所需的技术、商业和领导能力。这意味着要在他们当前的水平上与他们接触，并为他们的旅程做好准备。
“我如何提升人们的能力曲线是有差异的，”Rodgers说，“这取决于识别领导技能的差距，也取决于个人及其想要达到的目标。此外，还很大程度上取决于你所处的环境，有时人们没有得到展示或发光的机会。要提升年轻领导者的能力，你必须有意为之。”
如果从这些领导者的成功中可以汲取一个总的教训，那就是：要有意图。考虑一下你当前所处世界中的变化有多大，这将是未来变化速度最慢的时候。对文化、人才和业务影响的有意关注从未如此重要。”
-
选自公众号：关健基础设施安全应急响应中心
原文链接：https://mp.weixin.qq.com/s/s-oSUZlurLyXBHLPqvZRjw
(一）放弃企业完全自愿原则，软硬兼施加强网络安全公私合作
一直以来，在网络安全问题上，美国政府允许私营公司自愿遵守安全指南。然而，科洛尼尔、太阳风等一系列事件表明这种自愿原则很大程度上未能对企业形成约束从而阻止网络入侵。美国前总统克林顿、小布什和奥巴马都曾试图针对重点领域建立联邦政府主导的监管机制，但最终都在资本游说下束之高阁。因此，相关规则的执行一直是完全自愿的。拜登政府认为，虽然对关键基础设施网络安全的自愿措施产生一定程度的效果，但缺乏强制性要求使得结果不够理想。上任后，有关政策取向开始由自愿原则转向政府监管，督促相关部门尽快制定监管要求、加强政策引导、扩大公私合作，共同强化国家安全和公共安全。2021 年上任之初，拜登在签署的《改善国家网络安全行政令》中就强调公私合作的重要性，并提出通过修订供应商合同强化威胁信息共享、建立网络安全审查委员会机制两项合作举措；同年 8 月，网络安全和基础设施安全局（CISA）采纳日光浴委员会的建议，成立了联合网络防御合作组织（JCDC），以整合整个联邦政府、私营部门和国际合作伙伴之间的防御行动和信息共享；2022 年 3 月，拜登签署《关键基础设施网络事件报告法》，要求关键基础设施实体在遭遇重大网络事件 72 小时内，以及因勒索攻击支付赎金 24 小时内向 CISA 进行报告，标志着美国正式进入网络安全强监管时代。
(二）加大前沿技术研发力度，集合一切力量维护科技领先地位
特朗普政府采用的中美全面脱钩政策并未收到预期效果，反而暴露了对华依赖和供应链短板。拜登政府上台后，从现实角度出发重新评估对华科技政策，认为中国在科技方面拥有政策扶持、市场规模、人才储备等方面的优势，短期内难以完全遏制，反而会失去庞大市场。因此，拜登政府调整战略方向，将更多资源和精力投入国内前沿技术研发，希望以此扩大与中国的科技代差，进而使两国科技实力、综合国力出现“自然分叉”。《2022 年国家安全战略》对科技做出专门部署，未来将聚焦半导体、微电子、先进计算、量子、人工智能、下一代通信、清洁能源与生物科技等发展较为迅速、竞争相对激烈、应用前景明朗的技术领域。在科技战略的指引下，美国政府和高科技企业大力发展网络前沿技术，全力维护网络空间优势地位。2022 年 3 月，美国参议院投票通过《下一代电信法案》，授权组建“下一代电信委员会”，负责监督联邦政府对下一代通信技术的投资和政策制定；同年 5 月，拜登签署了《关于加强国家量子计划咨询委员会的行政命令》和《国家安全备忘录》两项总统政令，旨在推动美国量子信息技术的研发与应用，确保在该领域继续保持领先优势，同时，减小密码系统对量子技术的脆弱性；7 月，国家标准与技术研究院（NIST）发布四种新的加密算法，用于抵抗量子计算机的攻击；12 月，拜登签署《量子计算网络安全防范法》，为联邦政府应对基于量子计算带来的网络攻击做好准备，推动数字系统向后量子时代过渡。企业方面，SpaceX 持续推进全球最大的星链卫星计划，计划发射 4.2 万颗近地轨道卫星，布局新一代卫星互联网；美国人工智能研究实验室 OpenAI 于 2022 年底推出了自然语言处理工具 ChatGPT，在全球范围内引起轰动，开启了通用人工智能时代。
(三）灵活运用胡萝卜加大棒，通过产业链重构塑造其芯片霸权
经济全球化时代，产业链供应链的形成是市场规律和企业选择共同作用的结果。半导体作为技术密集型和资本密集型的高精尖产业，是一个包含设计、制造和封装测试在内的、涵盖 70 余个细分领域的复杂生态系统，任何一个国家都不可能形成独立的产业链闭环。几十年来，各国结合自身技术实力和要素禀赋，在某些细分领域积累了专业化优势，形成了配合默契、运转高效、彼此依赖的全球供应链格局。美国作为半导体发明者，长期以来坚持“本土发明，离岸制造”的原则——将高附加值的上游设计环节留在国内，生产制造业务外包到国外。与此同时，全球经济数字化、智能化发展，芯片已成为计算机、手机、家电、医疗器械、汽车以及军事装备等现代制造业产品的核心部件。随着经济社会数字化转型，原有的生产结构已无法满足市场需求的快速增长，供需矛盾突出。新冠疫情期间，工厂停工、产能下降，导致全球半导体产业链断裂，进一步加剧了全球“缺芯”。美国“离岸制造”带来的制造业空心化使其产生深深的“芯片焦虑”，这种焦虑在持续推进对华战略竞争的背景下愈发突出，其重塑芯片霸权的野心日益强烈，对华展开的遏制打压动作也日趋激烈。2022 年 8 月，《芯片与科学法案》正式通过，美国政府一方面以“胡萝卜”作诱饵，拨款 520 亿美元用于芯片生产与供应链建设，提升美国半导体制造能力；另一方面以“大棒”作威胁，在法案中专门设置“中国护栏”条款，迫使芯片巨头在中美之间选边站队。此外，拜登政府还积极推动与日本、韩国和中国台湾地区组建芯片四方联盟（CHIP4），加强半导体供应链控制，将“离岸制造”转换为“友岸制造”“近岸制造”“回岸制造”，推行全球芯片产业链“去中国化”。
(四）积极巩固创新盟伴体系，以意识形态为标准开展网络合作
拜登政府高度重视通过盟友体系实现自身利益。为弥补特朗普政府“美国优先”政策对盟友利益和自身国际形象的损害，拜登上台后即以网络议题作为拉拢盟友的抓手，持续加强与传统盟友伙伴的密切合作，恢复在国际组织中的领导地位。同时，拜登团队还以意识形态为叙事，启动建立新型网络空间合作伙伴关系，强化针对中俄等国家的“集体韧性”。长期活跃于大国博弈场的美国在网络空间的合作并非“开放自由民主”，而是以意识形态和价值观为标准和前提。价值观一致或相近也许有助于国家间的合作；但更重要的是通过刻意煽动价值观对立可以引发冲突和对抗，进而实现打压对手的最终目的。就任以来，拜登政府一是巩固与传统核心盟友的合作，以小多边形式在联合溯源、跨境数据流动、网络空间国际规则制定等方面加强协同；二是利用双多边合作机制，积极在印太地区开展极具针对性的网络协作，通过数字经济贸易、网络安全政策对话、网络协同防御等措施谋求地区网络军事存在和影响力提升；三是与乌克兰、以色列等高地缘政治利益国家和地区开展网络事件最佳实践、漏洞和威胁信息共享等合作，探索建立新型网络空间合作伙伴关系。
(五）部署进攻性政策和行动，以网络威慑之名行网络攻击之实
威慑作为美国网络安全防御的关键内核由来已久，2003 年美国首份《国家网络空间安全战略》就提出，依靠建设强大的防御体系使敌方产生“打不赢”的想法，从而达成威慑目的。此后，在几届政府的推动下，美国网络威慑力获得大幅提升，其威慑理论和实践也从防御性威慑全面转向进攻性威慑，而且越来越突出“全政府”“全国家”的分层和综合威慑，即集合政治、经济、军事、外交等所有手段让攻击者承担责任、付出代价，从而达到拒止和预防威胁的目的。拜登政府上台后，延续了进攻性反制策略且更为激进、主动：将美国网络国家任务部队（CNMF）升级为次级统一司令部，同时赋予其更高的决策和行动权力；持续开展网络军演，提升美军攻防和持久作战能力；增加对进攻性网络行动的国防投入，不断扩充网络任务团队数量和规模；积极与盟友和合作伙伴开展国际合作，支撑网络任务部队在全球范围内实施“前出狩猎”行动。在这些网络威慑行动背后，美国却以“维护国家安全”为幌子，无视国际法和国际关系基本准则，利用技术优势在全球范围内实施大规模、有组织、无差别的网络窃密、监控和攻击。在美国国家安全局（NSA）入侵西工大的网络事件中，特定入侵行动办公室（TAO）做了长时间准备工作，并且进行了精心伪装，先后使用了 54 台跳板机和代理服务器、41 种 NSA 专属网络攻击武器，仅后门工具“狡诈异端犯”就有 14 款不同版本。从不断爆出的“棱镜门”“脏盒”“怒角计划”“强健计划”，到近期的五角大楼“泄密门”，一系列网络监控和攻击事件反复证实美国就是全球头号“黑客帝国”，而网络威慑战略的本质也是以威慑之名行攻击之实，最终服务于美国的网络霸权和全球霸权。
(六）聚焦基础设施网络安全，多措并举强化关键基础设施保护
在国际局势多变和大国博弈加剧的背景下，围绕关键信息基础设施的网络攻防已成为网络空间高烈度对抗的主战场，因此，各国均将提升基础设施对网络威胁的防御和弹性作为优先议题。美国作为互联网起源地和网络技术强国，也是关键基础设施保护起步最早的国家，防御理念和能力一直走在世界前列。然而，由于网络空间本身的“非对称性”，使美国在关键基础设施网络攻击面前也未能独善其身，特别是拜登上任之初的一系列网络攻击事件，使本届政府将关键基础设施保护作为执政考虑的重中之重。《国家网络安全战略》中，关键基础设施保护位列五大支柱之首，更加凸显拜登对该议题的重视程度。执政以来，拜登政府加紧出台各项措施强化对关键基础设施的保护。2021 年 7 月，拜登签署《改善关键基础设施控制系统网络安全备忘录》，指出关键基础设施控制和运行系统面临的网络安全威胁，是美国面临的最重要和日益严重的问题之一，阐述了加强工业控制系统网络安全的推进落实计划；2022 年 3 月，美国通过《关键基础设施网络事件报告法》，明确要求关键基础设施相关实体在规定时限内向 CISA 通报网络事件；同年 11 月，CISA 更新《基础设施韧性计划框架》和《跨部门网络安全绩效目标 2022》，为地方政府和各行业提供明确的保护指南。
(七）推动网络防御重心转移，零信任文化和理念加速落地生根
传统的安全理念将网络划分为内外网，并在边界处设置防火墙、安全网关等设备作为防护。随着云计算、物联网、大数据等技术发展和产业数字化转型，核心网络资产开始从本地向云上迁移，导致防护边界逐渐模糊、效果急剧下降。在此背景下，零信任架构应运而生。零信任基于“从不信任，始终验证”理念，认为所有的网络流量均不可信，对任何访问请求都应该进行安全认证，目前已成为当下最前沿的一种防护手段。自 2010 年提出以来，零信任概念一直被美国各政府机构高度关注，相关技术不断发展完善。近年来，美国遭受网络攻击的数量和规模都呈现上升趋势，推动零信任概念落地被加速提上日程。拜登政府上任后，将零信任作为施政网络空间的重要抓手，国防部、NIST 等相关部门先后出台多项政策文件，助力零信任应用转化和落地见效。2021 年 2 月，NSA 发布《拥抱零信任安全模型》，建议将零信任安全模型部署到国家安全系统和国防部所有的关键网络中；同年 5 月，美国国防信息系统局（DISA）发布《国防部零信任参考架构》，为国防部大规模部署零信任提供了指导原则和技术标准；当月，拜登签署《改善国家网络安全行政令》要求加快推动政府网络云上迁移并推进零信任架构；9 月，美国管理和预算办公室（OMB）和 CISA 分别发布了《联邦政府零信任战略》和《零信任成熟度模型》，以推动并落实美国联邦政府机构的网络安全架构向零信任转型；2022 年 11 月，美国国防部发布《国防部零信任战略》及路线图，设定了未来五年达到的零信任目标愿景，并阐述了具体实施方法。相关政策逐步落地，标志着热议多年的零信任理念和文化在拜登任内落地生根。
-
选自公众号：安全牛
原文链接：https://mp.weixin.qq.com/s/LIyHplGvwPek4HaD-LGfvA
OWASP TOP10大家比较熟悉，总结更新应用面临的主要威胁，在整个行业是可信度最高的风向标。本次他们发布的十大风险是针对大语言模型的，一起来看看吧。
从排名第一的提示注入到新增的系统提示泄露，“OWASP大语言模型（LLM）应用十大风险涵盖了从模型安全、数据保护到资源消耗等多个维度的风险。
LLM01：提示注入
提示注入漏洞是指用户的提示以非预期方式改变LLM的行为或输出。即使这些输入对人类来说是不可感知的，只要模型能够解析内容，就可能产生提示注入。提示注入漏洞存在于模型处理提示的方式中，攻击者可能强制模型将提示数据错误传递到其他部分，导致违反指导原则、生成有害内容、启用未授权访问或影响关键决策。虽然检索增强生成(RAG)和微调等技术旨在使LLM输出更加相关和准确，但研究表明它们并不能完全缓解提示注入漏洞。提示注入和越狱在LLM安全中是相关概念，它们经常被交替使用。提示注入涉及通过特定输入操纵模型响应以改变其行为，这可能包括绕过安全措施。越狱是一种提示注入形式，攻击者提供的输入导致模型完全无视其安全协议。开发人员可以在系统提示和输入处理中构建安全防护来帮助缓解提示注入攻击，但有效防止越狱需要持续更新模型的训练和安全机制。
LLM02：敏感信息泄露
敏感信息会影响LLM及其应用场景。这包括个人身份信息(PII)、财务细节、健康记录、机密业务数据、安全凭证和法律文件。专有模型的训练方法和源代码等也被视为敏感信息，特别是在封闭或基础模型中。LLM存在通过输出暴露敏感数据的风险，可能导致未经授权的数据访问、隐私侵犯和知识产权泄露。消费者应该了解如何安全地与LLM互动。他们需要理解无意中提供敏感数据的风险，这些数据后续可能在模型的输出中被泄露。为降低这一风险，LLM应用程序应执行充分的数据净化，以防止用户数据进入训练模型。应用程序所有者还应提供明确的使用条款政策，允许用户选择不将其数据包含在训练模型中。在系统提示中添加对于LLM应返回的数据类型的限制，可以缓解敏感信息泄露。但是，这些限制可能并不总是被遵守，并可能通过提示注入或其他方法被绕过。
LLM03：供应链安全
LLM供应链容易受到各种漏洞的影响，这些漏洞可能影响训练数据、模型和部署平台的完整性。这些风险可能导致有偏见的输出、安全漏洞或系统故障。虽然传统软件漏洞关注代码缺陷和依赖性等问题，但在机器学习中，风险还扩展到第三方预训练模型和数据。这些外部元素可能通过篡改或投毒攻击被操纵。创建LLM是一项专业任务，通常依赖于第三方模型。开放访问LLM的兴起和新的微调方法(如"LoRA"低秩适应和"PEFT"参数高效微调)，特别是在Hugging Face等平台上，引入了新的供应链风险。此外，设备端LLM的出现增加了LLM应用程序的攻击面和供应链风险。
LLM04：数据和模型投毒
数据投毒发生在预训练、微调或嵌入数据被操纵以引入漏洞、后门或偏见时。这种操纵可能会损害模型的安全性、性能或道德行为，导致有害输出或能力受损。常见风险包括模型性能下降、有偏见或有害的内容，以及下游系统被利用。数据投毒可以针对LLM生命周期的不同阶段，包括预训练（从通用数据学习）、微调（使模型适应特定任务）和嵌入（将文本转换为数值向量）。理解这些阶段有助于识别漏洞可能的来源。数据投毒被视为一种完整性攻击，因为篡改训练数据会影响模型做出准确预测的能力。使用外部数据源的风险特别高，因为它们可能包含未经验证或恶意的内容。此外，通过共享存储库或开源平台分发的模型可能带来超出数据投毒的风险，例如通过恶意序列化等技术嵌入的恶意软件，这些软件在加载模型时可能执行有害代码。同时还要考虑，数据投毒可能导致后门的植入。这种后门可能使模型的行为保持不变，直到某个触发器导致其改变。这可能使此类更改难以测试和检测，实际上为模型成为潜伏特工创造了机会。
LLM05：不当输出处理
不当输出处理特指在将大语言模型生成的输出传递给下游组件和系统之前，对其进行不充分的验证、净化和处理。由于LLM生成的内容可以通过提示输入来控制，这种行为类似于为用户提供对附加功能的间接访问。不当输出处理与过度依赖的区别在于，它处理LLM生成的输出在传递到下游之前的问题，而过度依赖则关注对LLM输出的准确性和适当性过度依赖的更广泛问题。成功利用不当输出处理漏洞可能导致Web浏览器中的XSS和CSRF，以及后端系统上的SSRF、权限提升或远程代码执行。以下条件可能增加此漏洞的影响:
应用程序授予LLM超出最终用户预期的权限，从而能够实现权限提升或远程代码执行；
应用程序容易受到间接提示注入攻击，这可能允许攻击者获得对目标用户环境的特权访问；
第三方扩展没有充分验证输入；
缺乏针对不同上下文的适当输出编码；
对LLM输出的监控和日志记录不足；
缺乏对LLM使用的速率限制或异常检测。LLM06：过度代理权限
LLM系统通常被开发者授予一定程度的代理权限，即通过扩展调用函数或与其他系统交互的能力，以响应提示并采取行动。对调用哪个扩展的决定，也可能委托给LLM"代理"根据输入提示或LLM输出动态来确定。基于代理的系统通常会使用先前调用的输出来指导和引导后续调用，并反复调用LLM。过度代理权限是一种漏洞，它使系统能够响应来自LLM的意外、模糊或被操纵的输出而执行有害操作，不管是什么导致LLM出现故障。常见触发因素包括:
由设计不当的良性提示或性能不佳的模型导致的幻觉/虚构；
来自恶意用户、早期调用恶意/受损扩展或(在多代理/协作系统中)恶意/受损对等代理的直接/间接提示注入。过度代理权限的根本原因通常是功能过度、权限过度和自主权过度，可能导致机密性、完整性和可用性方面的广泛影响，这取决于基于LLM的应用程序能够与哪些系统进行交互。LLM07：系统提示泄露
提示泄露漏洞指的是用于引导模型行为的系统提示或指令可能包含敏感信息的风险。系统提示旨在根据应用程序的要求指导模型的输出，但可能无意中包含机密信息，这些信息可能被用来促进其他攻击。因此，系统提示语言中不应包含凭证、连接字符串等敏感数据。同样，如果系统提示中包含描述不同角色和权限的信息，或者像连接字符串或密码这样的敏感数据，虽然披露这些信息可能有帮助，但根本的安全风险不是这些信息被披露，而是应用程序通过将这些委托给LLM而允许绕过强大的会话管理和授权检查，以及敏感数据被存储在不应该存储的地方。
LLM08：向量和嵌入漏洞
在使用检索增强生成(RAG)的大语言模型(LLM)系统中，向量和嵌入漏洞带来重大安全风险。向量和嵌入的生成、存储或检索方面的弱点可能被恶意行为(有意或无意)利用，从而注入有害内容、操纵模型输出或访问敏感信息。检索增强生成(RAG)是一种模型适应技术，通过将预训练语言模型与外部知识源结合，来提高LLM应用程序响应的性能和上下文相关性。检索增强使用向量机制和嵌入。
LLM09：错误信息
错误信息发生在LLM产生看似可信但实际是虚假或误导性的信息时。这种漏洞可能导致安全漏洞、声誉损害和法律责任。错误信息的主要原因之一是幻觉：LLM生成看似准确但实际是虚构的内容。当LLM使用统计模式填补训练数据中的空白而不真正理解内容时，就会出现幻觉。因此，模型可能产生听起来正确但完全没有根据的答案。虽然幻觉是错误信息的主要来源，但它们不是唯一的原因；训练数据引入的偏见和不完整的信息也可能造成影响。一个相关的问题是过度依赖。过度依赖发生在用户过分信任LLM生成的内容，未能验证其准确性时。这种过度依赖加剧了错误信息的影响，因为用户可能在没有充分审查的情况下将错误数据整合到关键决策或流程中。
LLM10：无界消耗
无界消耗风险指的是LLM应用在缺乏合理限制的情况下，可能被攻击者利用进行过度推理，导致资源耗尽、服务中断甚至模型被窃取的安全隐患。推理是LLM的关键功能，涉及应用学习到的模式和知识来产生相关的响应或预测。成功实施旨在破坏服务、耗尽目标财务资源，甚至通过克隆模型行为来窃取知识产权的攻击，都依赖于一类常见的安全漏洞。无界消耗发生在LLM应用程序允许用户进行过度和不受控制的推理时，导致拒绝服务(DoS)、经济损失、模型盗窃和服务降级等风险。LLM的高计算需求，特别是在云环境中，使其容易受到资源利用和未授权使用的影响。OWASP项目负责人Steve Wilson最后指出，随着AI技术快速发展，攻击者也开始利用AI来发动更复杂的攻击，企业必须与时俱进，采用新型安全工具来保护自己的AI应用系统。
- Laat meer zien
