O Agent Risk Manager monitora os agentes de IA no seu ambiente e sinaliza atividades arriscadas como detecções. Este artigo explica os eventos que o Agent Risk Manager monitora, as quatro categorias de detecção que ele atribui e como revisar os eventos detectados.
Eventos monitorados
O Agent Risk Manager recebe dados de eventos das suas integrações conectadas. Um evento é qualquer atividade registrada, como a execução de um agente, a chamada de uma ferramenta ou a descoberta de um esquema para um agente. Uma detecção é um evento que o Agent Risk Manager sinalizou para revisão. O Registro de atividades de IA mostra os eventos da sua organização para o intervalo de datas selecionado, e o seu Painel oferece uma visão em tempo real da atividade de eventos.
A barra de Cobertura da atividade de IA no Registro de atividades de IA mostra Visibilidade completa para os provedores conectados por API e Visibilidade limitada para a extensão do navegador. IA não gerenciada abrange a atividade de ferramentas de IA que o Agent Risk Manager não reconhece.
Categorias de detecção
O Agent Risk Manager atribui cada detecção a uma das quatro categorias: Agência excessiva, Injeção de prompts, Informações sigilosas e Consumo sem limites.
Agência excessiva
Agência excessiva é detectada quando um agente executa uma ação além do que a tarefa exige, agindo fora de sua autoridade prevista. Agência excessiva inclui escalar as próprias permissões, adicionar parâmetros extras às chamadas de ferramentas, desviar-se do objetivo do usuário e tentar exfiltrar dados.
Injeção de prompts
Injeção de prompts é detectada quando um conteúdo chega a um agente e tenta alterar suas instruções. O Agent Risk Manager analisa o conteúdo da interação, e não a identidade de quem a enviou. Como resultado, uma detecção não exige que uma pessoa tenha o agente como alvo.
Informações sigilosas
Informações sigilosas são detectadas quando dados sigilosos aparecem onde um agente pode lê-los ou enviá-los. O Agent Risk Manager avalia o conteúdo de cada evento, e não a ferramenta em si, portanto a mesma ferramenta pode estar adequada em uma chamada e gerar uma detecção na seguinte. Para obter mais informações sobre como configurar suas políticas de informações sigilosas, consulte nosso Guia de políticas de detecção de dados.
Consumo sem limites
Consumo sem limites é detectado quando um agente consome mais recursos do que deveria. Consumo sem limites abrange exceder o orçamento de tokens, fazer um número excessivo de chamadas de ferramentas ou ser executado por um tempo excessivo. Consumo sem limites pode indicar um problema de custo ou que o agente está em loop ou sendo conduzido por outra pessoa.
Status dos eventos
Todo evento tem um status. Para obter mais informações sobre os status, consulte a lista a seguir:
- Sinalizada: Um evento que o Agent Risk Manager sinalizou para revisão. Estas são detecções.
- Bloqueado: Um evento que a extensão de navegador interrompeu. Somente a extensão de navegador pode bloquear.
- Exceção: Um evento que continha dados sigilosos, mas em que todos os tipos de dados correspondentes eram uma exceção aprovada pelo administrador para aquele provedor.
- Permitida: Um evento que os mecanismos de detecção revisaram e no qual não encontraram nada de errado.
- Registrado: Um evento registrado que não é uma detecção, como a descoberta de um esquema de agente.
-
Cancelado: Uma interação da extensão de navegador que foi interrompida no meio.
Observação: se a interação gerou uma detecção antes de ser interrompida, ela mantém o status Sinalizada ou Exceção.
Revisar detecções
Para revisar as detecções sinalizadas, siga estas etapas:
- Acesse Agent Risk Manager > Descoberta > Registro de atividades de IA.
- Defina o filtro Status como Sinalizada para restringir a lista às detecções. Como alternativa, selecione uma categoria de detecção usando o filtro Tipo de evento.
- Selecione a linha de um evento para abrir o painel Detalhes do evento dele.
O painel Detalhes do evento contém as guias Visão geral, Atividade, Metadados e Atividade do usuário. Ele também mostra um valor de Gravidade para cada evento:
- Aviso para eventos sinalizados
- Crítica para eventos bloqueados
- Informações para exceções
- Baixa para eventos permitidos
- Desconhecido para descoberta de esquemas, eventos cancelados e eventos de ferramentas não reconhecidas