火山引擎AI安全保障实践-曲乐炜
  • 作者: 曲乐炜@火山引擎
  • 收录:
  • 简介:

这份文档详细介绍了火山引擎在AI领域的安全保障实践。首先,文档概述了火山引擎的AI业务架构,该架构涵盖了从底层AI基础设施(AI Infra)、大模型服务平台(MaaS)到智能体开发运维(Agent DevOps)和最终的AI智能体(AI Agent)应用的全方位服务。 文档的核心部分阐述了火山引擎的AI安全保障方案,强调“安全是一切Agent的基础”。该方案构建了一个多层次的纵深防御体系,

LLM 间接提示注入 漏洞解析与防御路线
  • 作者: 杨武⼒@百度
  • 收录:
  • 简介:

演示首先概述了LLM面临的普遍安全风险,并引用OWASP的报告,强调“提示注入”是首要威胁。近期多所国际知名大学的论文被发现植入了操控AI给出好评的隐形指令,这便是提示注入的实例。研究数据表明,与直接提示注入相比,间接提示注入(IPI)的攻击成功率要高得多,因为它将恶意指令隐藏在模型处理的网页、文档等外部内容中,模型在解析时会自动执行。 接着,文稿深入分析了IPI的攻击原理。其有效性的关键在

AI Agent应用攻击面漫谈
  • 作者: 黎轲(郁离歌、)@字节跳动
  • 收录:
  • 简介:

该报告深入探讨了AI Agent应用面临的攻击面。首先,报告概述了AI Agent的定义、决策流程(感知、规划、行动)和关键特性(自主性、适应性等),并介绍了其在客服、办公助手等领域的广泛应用。其核心技术架构由大型语言模型(Model)、代理运行时(Agent Runtime)、功能工具(Tools)以及底层支持服务(Supporting Services)构成。 报告的核心部分详细剖析了A

LLM&Agent安全防护实战-业务落地视角下的风险管控与解决方案
  • 作者: 吴栋贤@字节跳动,张杭生@字节跳动
  • 收录:
  • 简介:

文稿深入探讨了随着大型语言模型(LLM)与AI智能体(Agent)能力日益强大,所带来的严峻安全挑战。 报告指出了几大核心风险领域: * **有害内容输出**:模型可能被诱导生成歧视性或极端的有害言论。 * **数据与隐私泄露**:系统提示(System Prompt)和个人身份信息(PII)面临泄露风险。攻击者可通过路径遍历等手段实现数据越权访问。 * **目标劫持**:通过间接