Agent Risk Manager 会监控您环境中的 AI 代理,并将有风险的活动标记为检测记录。本文介绍 Agent Risk Manager 监控的事件、其分配的四个检测类别以及如何查看已检测到的事件。
受监控的事件
Agent Risk Manager 从您已连接的集成接收事件数据。事件是指任何已记录的活动,例如代理运行、工具被调用或为代理发现架构。检测记录是指 Agent Risk Manager 标记为需要审核的事件。AI 活动日志显示您的组织在所选日期范围内的事件,您的仪表板则提供事件活动的实时视图。
AI 活动日志上的 AI 活动覆盖范围条对通过 API 连接的提供商显示完整可见性,对浏览器扩展程序显示部分可见性。未托管的 AI涵盖来自 Agent Risk Manager 无法识别的 AI 工具的活动。
检测类别
Agent Risk Manager 将每条检测记录分配到以下四个类别之一:过度代理权限、提示注入、敏感信息和无限制消耗。
过度代理权限
当代理执行超出任务所需范围的操作、在其预期权限之外行事时,会检测到过度代理权限。过度代理权限包括提升自身权限、向工具调用添加额外参数、偏离用户目标以及尝试窃取数据。
提示注入
当内容到达代理并试图更改其指令时,会检测到提示注入。Agent Risk Manager 分析的是交互的内容,而不是发送者的身份。因此,检测记录并不要求有人以该代理为目标。
敏感信息
当敏感数据出现在代理可以读取或发送的位置时,会检测到敏感信息。Agent Risk Manager 评估的是每个事件的内容,而不是工具本身,因此同一个工具在一次调用中可能没有问题,而在下一次调用中触发检测。有关配置敏感信息政策的更多信息,请参阅我们的数据检测政策指南。
无限制消耗
当代理消耗的资源超出应有范围时,会检测到无限制消耗。无限制消耗包括超出令牌预算、进行过多的工具调用或运行时间过长。无限制消耗可能表明存在成本问题,或者代理正在循环运行或被他人操控。
事件状态
每个事件都有一个状态。有关状态的更多信息,请参阅以下列表:
- 已标记:Agent Risk Manager 标记为需要审核的事件。这些就是检测记录。
- 已拦截:被浏览器扩展程序停止的事件。只有浏览器扩展程序可以拦截。
- 例外情况:包含敏感数据的事件,但所有匹配的数据类型都是该提供商的管理员批准的例外情况。
- 已允许:检测引擎已审核且未发现任何问题的事件。
- 已记录:不属于检测记录的已记录事件,例如发现代理架构。
-
已取消:中途被停止的浏览器扩展程序交互。
注意:如果该交互在停止之前触发了检测,则会改为保留已标记或例外情况状态。
查看检测记录
要查看已标记的检测记录,请执行以下步骤:
- 转到 Agent Risk Manager > 发现 > AI 活动日志。
- 将状态筛选器设置为已标记,以将列表缩小到检测记录。或者,使用事件类型筛选器选择一个检测类别。
- 选择事件所在的行,以打开其事件详细信息面板。
事件详细信息面板包含概览、活动、元数据和用户活动选项卡。它还会为每个事件显示严重性值:
- 警告:已标记的事件
- 严重:已拦截的事件
- 信息:例外情况
- 低:已允许的事件
- 未知:架构发现、已取消和未识别工具的事件