ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

AI Agent 安全风险激增,专家共探‘高效可规模化’路径与未来趋势

AI Agent 安全风险激增,专家共探‘高效可规模化’路径与未来趋势 AI Agent 安全风险激增专家齐聚探讨‘高效可规模化’关键路径近日InfoQ《极客有约》X AICon 直播栏目特别邀请腾讯专家工程师、AI Agent 安全负责人张栋担任主持人和百度智能云安全架构师林道正、Cloudflare 高级解决方案工程师刘旭在 AICon 全球人工智能开发与应用大会 2026 深圳站即将召开之际共同探讨 AI 基础设施从‘可用’走向‘高效可规模化’的关键路径分享了关于 Agent 安全的精彩观点。Agent 为何愈发危险今年Agent 安全话题热度飙升其危险程度大幅提升。刘旭指出年初 OpenClaw 爆火标志着 Agent 从 demo 阶段进入实际生产环境它具备了行动能力能部署网站、生成报表、做量化交易等。一旦权限被获取风险远大于以往盗 ChatGPT 账户。现阶段落地面临一次性登录后 token 时长、Agent 间 token 继承关系、MCP 认证等问题。林道正则类比历史每当新科技广泛使用安全问题就会集中爆发。OpenClaw、Hermes 等 Agent 的爆火使市场对安全的关注度急剧上升且此次对软件环境的影响更深。张栋强调关键在于 Agent 有了行动能力安全本质从‘内容对不对’转变为‘行为可不可控’是质的换轨。Agent 与传统 AI 应用的差异林道正认为传统 AI 是业务流中的一环而 Agent 本身就是业务流掌控了全生命周期。它有身份、思考和行动能力对业务影响更深远。刘旭表示AI Agent 从问答式到执行式有了巨大进步具备更多能力但安全被攻陷时风险更大。张栋形象比喻传统 AI 像自动售货机攻击面相对可控Agent 像有工牌的新员工防护边界从‘守住静态入口’变为‘约束动态行为’难度几何级上升。企业在 Agent 安全上踩过的坑提示词注入风险刘旭指出Prompt Injection 一直是 LLM 01 安全风险榜首。过去问答型 Agent 受影响较小现在 Agent 权限增大影响更大。如员工用 AI Agent 总结邮件黑客通过隐藏代码让 Agent 发送公司财报和老板薪水单。因此AI Agent 行动需经过安全评估。林道正介绍注入分业务系统和数据注入等场景还存在上下文压缩导致非预期执行结果的极端情况。张栋总结Agent 使交互更复杂风险从内容升级为行为传统 WAF 失效规则引擎需升级为语义引擎。工具带来的安全窟窿刘旭认为Agent 的出现增加了攻击面OpenAI 已发布工具滥用和过度授权警告。企业应给工具加安全防护如放在沙箱、给最小 API 权限、加 gateway 和 DLP 防护同时做好 log 溯源。林道正指出工具的灵活性放大了攻击面安全机制未跟上。张栋强调每接入一个工具就像多发一把钥匙企业要解决过度授权、无最小权限、调用不可审计问题需深度回收权限。Agent 安全的应对策略上线首个 Agent 的安全步骤林道正提出安全方法论是可视、可管、可追溯。可视能了解企业风险面可追溯对内部威胁有威慑力。刘旭建议先配置保底策略确保 Agent 被攻破时不会完全失控保证可见性周期性审视行为。具体可在登录等接口加人机交互审计输入加 AI security firewall上线后通过 log 分析部署 policy。张栋总结为三个动作先做资产盘点对应‘可视’权限从最小开始配保底策略对应‘可管’全链路打 log对应‘可追溯’。安全责任归属林道正表示多数企业业务团队使用 Agent安全团队提要求百度业务是第一责任人安全与业务共担后果。刘旭认为业务团队应是第一责任人安全团队角色需改变二者要高度配合。张栋总结Agent 安全需共享责任有人兜底类似云的责任共担权限最小化由业务决策安全全程参与。安全与效率的平衡林道正主张先有边界再开放做风险分级与客户沟通确定管控重点。刘旭认为要满足需求渐进式管理先给关键权限做 log 监控结合数据决定是否放开权限。张栋强调安全是护栏风险应分级把人用在刀刃上避免 human in the loop 成为‘安慰剂’。解决确认弹窗问题刘旭提出接入企业内网开最小权限生成内容放沙箱对比有问题及时封掉。林道正建议让影响可回滚用 AI 降噪采用 loop engineering 模式。张栋指出human in the loop 易退化为‘闭着眼睛点确认’应把关键决策留给人其余交给自动策略。保证输出结果稳定林道正提出用测试集考察 Agent 性能建立循环飞轮优化模型。刘旭建议用另一个模型扫描模型输出。张栋总结为交叉验证思路Agent 安全需持续对抗从‘一次性验收’到‘持续的数据飞轮’。解决责任不清问题刘旭认为谁主推业务谁负责。张栋强调最坏结果落在谁身上谁就是第一责任人可拉上安全一起兜底。林道正介绍业内有安全运营托管解决方案。张栋总结前期业务兜底后期可托管给专业团队。AI 安全护栏落地林道正指出行为防御分提示词和执行层提示词层面可在网关加安全护栏但有弊端需深入执行层可落地在 Harness 层或从沙箱底层获取数据。张栋认为交互要经过网关第一道防线是通用语义检测第二道与业务形态相关Agent 间传递需更复杂体系。刘旭强调全链路安全输入、思考、产出都要保障。张栋关注成本问题刘旭表示 Cloudflare 的 AI Gateway 防御措施免费。传统安全团队的改变林道正认为传统安全方法论不变细节需调整要熟悉新生态注意安全与 AI 融合边界。刘旭指出安全团队边界扩大需学习处理新问题。张栋总结大模型和 Agent 可解决传统安全问题也带来新挑战传统安全团队可据此转型。未来趋势林道正认为未来一年 Skill 安全风险会收敛会有可信的 skill 中心沙箱会成标配。从安全运营角度护栏最值得投入。刘旭指出已知问题易解决如 token 爆刷等prompt injection 和影子 Agent 问题较难处理企业应考虑 Zero Trust 零信任部署做好可溯源和权限管控。张栋总结Agent 安全是防护范式的整体换轨方法论不变但要关注新对象和形态企业应尽早搭建护栏。
返回列表