Agent Risk Manager supervisa los agentes de IA de su entorno y marca como detecciones la actividad arriesgada. Este artículo explica los eventos que supervisa Agent Risk Manager, las cuatro categorías de detección que asigna y cómo revisar los eventos detectados.
Eventos supervisados
Agent Risk Manager recibe datos de eventos de sus integraciones conectadas. Un evento es cualquier actividad registrada, como la ejecución de un agente, la llamada a una herramienta o el descubrimiento de un esquema para un agente. Una detección es un evento que Agent Risk Manager marcó para su revisión. El Registro de actividad de IA muestra los eventos de su organización para el intervalo de fechas seleccionado, y su Panel de control ofrece una vista en tiempo real de la actividad de eventos.
La barra de Cobertura de actividad de IA del Registro de actividad de IA muestra Visibilidad completa para los proveedores conectados por API y Visibilidad limitada para la extensión del navegador. IA no gestionada abarca la actividad de herramientas de IA que Agent Risk Manager no reconoce.
Categorías de detección
Agent Risk Manager asigna cada detección a una de cuatro categorías: Capacidad de acción excesiva, Inyección de peticiones, Información delicada y Consumo sin restricciones.
Capacidad de acción excesiva
Capacidad de acción excesiva se detecta cuando un agente realiza una acción que excede lo que requiere la tarea y actúa fuera de su autoridad prevista. Capacidad de acción excesiva incluye escalar sus propios permisos, añadir parámetros adicionales a las llamadas a herramientas, desviarse del objetivo del usuario e intentar exfiltrar datos.
Inyección de peticiones
Inyección de peticiones se detecta cuando un contenido llega a un agente e intenta cambiar sus instrucciones. Agent Risk Manager analiza el contenido de la interacción y no la identidad de quien la envió. Como resultado, una detección no requiere que una persona tenga como objetivo al agente.
Información delicada
Información delicada se detecta cuando aparecen datos delicados donde un agente puede leerlos o enviarlos. Agent Risk Manager evalúa el contenido de cada evento y no la herramienta en sí, por lo que una misma herramienta puede ser inofensiva en una llamada y generar una detección en la siguiente. Para obtener más información sobre cómo configurar sus políticas de información delicada, consulte nuestra Guía de políticas de detección de datos.
Consumo sin restricciones
Consumo sin restricciones se detecta cuando un agente consume más recursos de los que debería. Consumo sin restricciones abarca superar su presupuesto de tokens, realizar un número excesivo de llamadas a herramientas o ejecutarse durante un tiempo excesivo. Consumo sin restricciones puede indicar un problema de costes o que el agente está en un bucle o es controlado por otra persona.
Estados de los eventos
Cada evento tiene un estado. Para obtener más información sobre los estados, consulte la siguiente lista:
- Marcado: Un evento que Agent Risk Manager marcó para su revisión. Estas son detecciones.
- Bloqueado: Un evento que detuvo la extensión del navegador. Solo la extensión del navegador puede bloquear.
- Excepción: Un evento que contenía datos delicados, pero en el que todos los tipos de datos coincidentes eran una excepción aprobada por el administrador para ese proveedor.
- Permitido: Un evento que los motores de detección revisaron y en el que no encontraron nada incorrecto.
- Registrado: Un evento registrado que no es una detección, como el descubrimiento de un esquema de agente.
-
Cancelada: Una interacción de la extensión del navegador que se detuvo a la mitad.
Nota: Si la interacción generó una detección antes de detenerse, conserva en su lugar el estado Marcado o Excepción.
Revisar las detecciones
Para revisar las detecciones marcadas, siga estos pasos:
- Vaya a Agent Risk Manager > Presentación de pruebas > Registro de actividad de IA.
- Establezca el filtro Estado en Marcado para acotar la lista a las detecciones. También puede seleccionar una categoría de detección con el filtro Tipo de evento.
- Seleccione la fila de un evento para abrir su panel Detalles del evento.
El panel Detalles del evento contiene las pestañas Resumen, Actividad, Metadatos y Actividad del usuario. También muestra un valor de Severidad para cada evento:
- Advertencia para los eventos marcados
- Crítica para los eventos bloqueados
- Informativa para las excepciones
- Baja para los eventos permitidos
- Desconocido para el descubrimiento de esquemas, los eventos cancelados y los eventos de herramientas no reconocidas