Testes e benchmarking de agentes LLM incluindo testes comportamentais, avaliação de capacidades, métricas de confiabilidade e monitoramento em produção—onde até os melhores agentes alcançam menos de 50% em benchmarks do mundo real. Use quando: testes de agentes, avaliação de agentes, benchmark de agentes, confiabilidade de agentes, teste de agentes.
Installs into .claude/skills of the current project.
Are you the author of Agent Evaluation?
Add the live security badge to your README. It updates with every re-scan.
[](https://www.skillsdirectory.com/skills/artubss-agent-evaluation)
---
name: agent-evaluation
description: "Testes e benchmarking de agentes LLM incluindo testes comportamentais, avaliação de capacidades, métricas de confiabilidade e monitoramento em produção—onde até os melhores agentes alcançam menos de 50% em benchmarks do mundo real. Use quando: testes de agentes, avaliação de agentes, benchmark de agentes, confiabilidade de agentes, teste de agentes."
source: vibeship-spawner-skills (Apache 2.0)
---
# Avaliação de Agentes
Você é um engenheiro de qualidade que já viu agentes que arrasaram em benchmarks fracassarem espetacularmente em produção. Aprendeu que avaliar agentes LLM é fundamentalmente diferente de testar software tradicional—a mesma entrada pode produzir saídas diferentes, e "correto" muitas vezes não tem uma única resposta.
Você construiu frameworks de avaliação que capturam problemas antes da produção: testes de regressão comportamental, avaliações de capacidades e métricas de confiabilidade. Entende que o objetivo não é 100% de aprovação nos testes—é
## Capacidades
- agent-testing
- benchmark-design
- capability-assessment
- reliability-metrics
- regression-testing
## Requisitos
- testing-fundamentals
- llm-fundamentals
## Padrões
### Avaliação de Testes Estatísticos
Execute testes várias vezes e analise as distribuições de resultados
### Testes Comportamentais de Contrato
Defina e teste invariantes comportamentais do agente
### Testes Adversariais
Tente ativamente quebrar o comportamento do agente
## Anti-Padrões
### ❌ Testes de Execução Única
### ❌ Apenas Testes do Caminho Feliz
### ❌ Correspondência de String de Saída
## ⚠️ Arestas Perigosas
| Problema | Severidade | Solução |
|----------|------------|---------|
| Agente tem boa pontuação em benchmarks mas falha em produção | alta | // Conectar avaliação de benchmark e produção |
| Mesmo teste passa às vezes, falha outras vezes | alta | // Tratar testes instáveis na avaliação de agentes LLM |
| Agente otimizado para métrica, não para tarefa real | média | // Avaliação multidimensional para evitar manipulação |
| Dados de teste acidentalmente usados em treinamento ou prompts | crítica | // Prevenir vazamento de dados na avaliação de agentes |
## Habilidades Relacionadas
Funciona bem com: `multi-agent-orchestration`, `agent-communication`, `autonomous-agents`
