Agent Risk Manager supervisa los agentes de IA de su entorno y marca como detecciones la actividad riesgosa. Este artículo explica los eventos que supervisa Agent Risk Manager, las cuatro categorías de detección que asigna y cómo revisar los eventos detectados.
Eventos supervisados
Agent Risk Manager recibe datos de eventos de sus integraciones conectadas. Un evento es cualquier actividad registrada, como la ejecución de un agente, la llamada a una herramienta o el descubrimiento de un esquema para un agente. Una detección es un evento que Agent Risk Manager marcó para su revisión. El Registro de actividad de IA muestra los eventos de su organización para el intervalo de fechas seleccionado, y su Tablero ofrece una vista en tiempo real de la actividad de eventos.
La barra de Cobertura de actividad de IA del Registro de actividad de IA muestra Visibilidad completa para los proveedores conectados por API y Visibilidad limitada para la extensión del navegador. IA no administrada abarca la actividad de herramientas de IA que Agent Risk Manager no reconoce.
Categorías de detección
Agent Risk Manager asigna cada detección a una de cuatro categorías: Agencia excesiva, Inyección de prompts, Información delicada y Consumo sin límites.
Agencia excesiva
Agencia excesiva se detecta cuando un agente realiza una acción que excede lo que requiere la tarea y actúa fuera de su autoridad prevista. Agencia excesiva incluye escalar sus propios permisos, agregar parámetros adicionales a las llamadas a herramientas, desviarse del objetivo del usuario e intentar exfiltrar datos.
Inyección de prompts
Inyección de prompts se detecta cuando un contenido llega a un agente e intenta cambiar sus instrucciones. Agent Risk Manager analiza el contenido de la interacción y no la identidad de quien la envió. Como resultado, una detección no requiere que una persona tenga como objetivo al agente.
Información delicada
Información delicada se detecta cuando aparecen datos delicados donde un agente puede leerlos o enviarlos. Agent Risk Manager evalúa el contenido de cada evento y no la herramienta en sí, por lo que una misma herramienta puede ser inofensiva en una llamada y generar una detección en la siguiente. Para obtener más información sobre cómo configurar sus políticas de información delicada, consulte nuestra Guía de políticas de detección de datos.
Consumo sin límites
Consumo sin límites se detecta cuando un agente consume más recursos de los que debería. Consumo sin límites abarca superar su presupuesto de tokens, realizar un número excesivo de llamadas a herramientas o ejecutarse durante un tiempo excesivo. Consumo sin límites puede indicar un problema de costos o que el agente está en un bucle o es controlado por otra persona.
Estados de los eventos
Cada evento tiene un estado. Para obtener más información sobre los estados, consulte la siguiente lista:
- Marcados: Un evento que Agent Risk Manager marcó para su revisión. Estas son detecciones.
- Bloqueado: Un evento que detuvo la extensión del navegador. Solo la extensión del navegador puede bloquear.
- Excepción: Un evento que contenía datos delicados, pero en el que todos los tipos de datos coincidentes eran una excepción aprobada por el administrador para ese proveedor.
- Permitidos: Un evento que los motores de detección revisaron y en el que no encontraron nada incorrecto.
- Registrado: Un evento registrado que no es una detección, como el descubrimiento de un esquema de agente.
-
Cancelada: Una interacción de la extensión del navegador que se detuvo a la mitad.
Nota: Si la interacción generó una detección antes de detenerse, conserva en su lugar el estado Marcados o Excepción.
Revisar las detecciones
Para revisar las detecciones marcadas, siga estos pasos:
- Vaya a Agent Risk Manager > Descubrimiento > Registro de actividad de IA.
- Establezca el filtro Estado en Marcados para acotar la lista a las detecciones. También puede seleccionar una categoría de detección con el filtro Tipo de evento.
- Seleccione la fila de un evento para abrir su panel Detalles del evento.
El panel Detalles del evento contiene las pestañas Descripción general, Actividad, Metadatos y Actividad de usuario. También muestra un valor de Gravedad para cada evento:
- Advertencia para los eventos marcados
- Crítico para los eventos bloqueados
- Información para las excepciones
- Bajo para los eventos permitidos
- Desconocido para el descubrimiento de esquemas, los eventos cancelados y los eventos de herramientas no reconocidas