在科技浪潮的推动下,人工智能技术的革新正深刻影响着各行各业。近日,由市工业和信息化局、火炬管委会指导,集美区科工局、集美文教区管委会、创新公司及软件行业协会联合主办的DeepSeek技术应用与产业赋能专题分享会在软件园三期召开。安胜受邀出席并作《DeepSeek核心技术解读与应用场景创新探索》的主题分享,园区企业技术负责人、AI研发团队、产品经理及企业高管等180余人参与了本次会议。
分享会现场
安胜网络安全研究院 副总监 林炳生
安胜深度剖析了DeepSeek大模型的关键技术创新,并结合实际案例,展示其在办公文本创作、数据分析、智能客服、网络安全等领域的显著应用优势与潜力。
举例而言,在网络安全领域,安胜自主研发的“星盾”多源威胁智能检测响应平台融合了基于DeepSeek的“星智”网络安全大模型的能力,显著提升了平台的网络安全智能推理分析能力,可实现威胁狩猎、事件研判、响应处置的闭环运营,实现安全运营全流程的智能化决策与自动化响应。
此外,作为网络空间安全和大数据智能化综合解决方案提供商,安胜凭借在网络安全领域的丰富经验与专业能力,分享了大模型在建设过程中可能遇到的风险与挑战。
一、深度解析:大模型安全风险,危险潜伏?
随着GPT-4、PaLM、LLaMA和DeepSeek等大模型(LLM)的技术突破及广泛应用,其潜在的安全风险也日益凸显。不同于传统网络攻击,在大模型(LLM)所处的环境中,攻击者即便不具备高超的技术水平,也能通过对话形式对系统实施攻击,攻击门槛降低。
围绕大模型(LLM)的生命周期,涵盖数据准备与模型开发、预训练、微调、推理等各阶段,可能出现的安全问题有:
LLM应用风险示例图
1、数据准备与开发阶段
数据和模型投毒:攻击者通过向模型的数据集中注入恶意样本,导致模型在训练过程中引入偏差或后门,从而在特定条件下触发异常行为或进行后门攻击。
供应链攻击:发生在获取第三方数据或引用外部库时,若这些来源受到污染或存在漏洞,最终训练出的大模型会受到威胁。
2、预训练阶段
敏感信息披露:大模型在预训练过程中可能会无意中学习并记住敏感信息,如个人身份信息或其他机密内容,导致信息泄露。
3、微调阶段
向量与嵌入的弱点:若向量与嵌入在生成、存储、检索数据过程中存在缺陷或漏洞,可能导致模型输出敏感信息或有害内容。
后门植入与对抗攻击:攻击者可利用后门植入对抗攻击等方法对有标注的数据进行攻击,欺骗LLM产生错误的预测结果。对抗攻击相对更容易实施,仅需针对模型生成特定扰动。
4、推理阶段
该阶段主要有提示注入、敏感信息披露、不当的输出处理、过度代理、系统提示泄露、虚假信息以及无界消费。
二、安全防护:星盾+deepseek,实战能力再升级!
鉴于大模型在其生命周期的各个阶段都面临着复杂多变的安全风险,这些风险不仅来自于数据泄露、模型投毒等内部威胁,还可能受到外部攻击者的恶意利用。因此,构建一个全面而高效的安全防护体系对于确保大模型的稳定运行至关重要。
安胜自主研发的“星盾”多源威胁智能检测响应平台,是一款基于XDR理念的一站式安全运营平台。由长年实战对抗中形成的攻防知识经验指导设计,结合大数据、大模型与安全编排自动化响应技术,提供全局监测预警、自动化研判、智能响应、联防联控等能力,体系化提升全局态势感知和主动防御能力,规范化安全运营协同管理工作。
星盾拓扑图
当网络安全进入认知智能时代,星盾与DeepSeek深度联袂,让安全运营拥有自主思考的能力。
1、智能体集群协同感知
星盾基于DeepSeek大模型,孵化出七大智能体集群。各智能体集群均具备领域专家级的认知能力,能够实现7×24小时协同,共同构建全网数字免疫系统。
2、认知型威胁狩猎
面对0day攻击和隐蔽渗透威胁,星盾的“AI特工”具备堪比顶级安全专家的分析能力,能自主研判攻击意图,在攻击关键节点前48小时预警潜在风险,让高级威胁无处遁形。
3、决策式响应中枢
一旦触发警报,星盾的“智能体指挥官”能在3秒内迅速制定出多种处置方案。基于DeepSeek的强化学习引擎,动态优化调整响应剧本,让安全防御具备自主进化能力。
4、先知型资产管理
每项资产均配备专属“AI守护者”(AI防护系统)。依托DeepSeek驱动的资产画像引擎,星盾不仅能洞察当前存在的风险,还能前瞻性预测未来可能发生的脆弱性演变,让安全决策始终遥遥领先于攻击者。
更多关于
安胜“星盾”多源威胁智能检测响应平台
请关注安胜公众号
☟☟☟
回复“星盾”即可获得更多内容或直接联系
400-886-5595 转3
部分内容参考自:公安部网络安全等级保护中心公众号