promptfoo

por Promptfoo (OpenAI)

Prueba, compara y ataca (red teaming) tus prompts y apps LLM antes de llevarlas a producción.

25,9 k estrellas GitHub MIT GratisOpen sourceLocal

Ver en GitHub →

Qué hace

Evaluaciones automáticas y comparación de modelos lado a lado
Red teaming y escaneo de vulnerabilidades para apps y agentes
Se integra en tu CI/CD para detectar regresiones

Instalarlo

Requisitos: Node.js (o Homebrew / pip) y una clave API del proveedor LLM que pruebes

Instalar

npm install -g promptfoo

Crear un proyecto de ejemplo

promptfoo init --example getting-started

Ejecutar la evaluación (en la carpeta creada)

promptfoo eval

El prompt para tu agente

Pégalo en tu agente de código: comprueba los requisitos y lo instala por ti.

Claude CodeCodexCursorGemini CLIopencode

Prompt

Instala promptfoo (https://www.promptfoo.dev) en mi equipo.
1. Comprueba los requisitos: Node.js (o Homebrew / pip) y una clave API del proveedor LLM que pruebes. Si falta algo, avísame antes de instalar nada.
2. Sigue el método oficial:
- Instalar: npm install -g promptfoo
- Crear un proyecto de ejemplo: promptfoo init --example getting-started
- Ejecutar la evaluación (en la carpeta creada): promptfoo eval
3. Comprueba que funciona y explícame cómo iniciarlo y por dónde empezar.

Revisa siempre lo que tu agente va a ejecutar, sobre todo los comandos de instalación.