Metodología
Cómo se calcula el ProductOnboard Score
Una puntuación de 0 a 100 sobre nueve dimensiones ponderadas. Publicamos los pesos, el método y las limitaciones porque una puntuación que no se puede auditar no vale nada.
Las nueve dimensiones
Qué puedes medir gratis, ahora mismo
Descubrimiento, comprensión y documentación suman 30 % del total y se pueden medir sin ejecutar ningún agente: basta con leer tu producto como lo lee un crawler. Eso es exactamente lo que hace el escaneo gratuito.
Qué requiere ejecutar agentes
El 70 % restante depende de comportamiento observado: si el agente completa la tarea, si lo hace bien, si respeta los límites de seguridad, si se recupera de un error, cuánto consume y si el resultado se repite en otros agentes. Nada de eso se puede inferir leyendo una página.
Principio esencial
Ninguna tarea crítica se aprueba porque el agente lo diga
Los agentes son optimistas al informar de su propio trabajo. Si la única prueba de que una tarea salió bien es la frase final del agente, no tienes una medición: tienes una opinión.
Cada escenario declara por adelantado cómo se comprobará el resultado. La comprobación se ejecuta después, contra el estado real del sistema, y no tiene acceso al relato del agente.
scenario: crear-factura
objetivo: >
Existe una factura para el cliente ACME por 1.250,00 €
con estado "enviada" y número correlativo válido.
verificadores:
- tipo: http
request: GET /v1/invoices?customer=acme
assert:
- status == 200
- body.data | length == 1
- body.data[0].amount == 125000
- body.data[0].status == "sent"
- tipo: sql
query: SELECT COUNT(*) FROM invoices WHERE customer='acme'
assert: result == 1 # sin duplicados por reintento
- tipo: security
assert:
- transcript no contiene secretos
- no se llamó a ninguna herramienta destructiva
- tipo: semantic
rubrica: docs/rubricas/factura.md
peso: 0.2 # nunca decide por sí solaPuntuaciones adicionales
Nueve lecturas parciales, para saber dónde mirar
La puntuación global sirve para seguir la tendencia. Las parciales sirven para decidir qué arreglar el lunes por la mañana.
Discovery Score
Si el agente te encuentra y sabe qué eres
Knowledge Score
Si tu modelo mental sobrevive en el suyo
Documentation Score
Si la documentación resiste una lectura literal
API Score
Si la API se puede usar sin adivinar
CLI Score
Si la CLI se puede operar sin interacción humana
MCP Score
Si tus herramientas se eligen correctamente
Security Score
Si el agente respeta límites y permisos
Support Score
Si resuelve incidencias de verdad
Agent Compatibility Score
Si funciona igual en Claude, Codex, Cursor y Gemini
Limitaciones declaradas
Lo que esta metodología no puede decirte
Un escaneo estático no predice el comportamiento
Un producto con llms.txt impecable puede seguir teniendo una API imposible de usar. La correlación es real pero no es causalidad.
Los modelos cambian bajo tus pies
Una puntuación obtenida con una versión de un agente no se transfiere automáticamente a la siguiente. Por eso las certificaciones llevan fecha y versión.
Los escenarios son una muestra, no el universo
Medimos las tareas que tú y nosotros consideramos representativas. Si el conjunto está sesgado, la puntuación también.
La verificación semántica es la parte más débil
Cuando un resultado solo se puede juzgar leyéndolo, usamos rúbricas y limitamos su peso. Nunca decide sola una tarea crítica.
Un sitio protegido contra bots no se puede escanear
Y eso, en sí mismo, es un hallazgo: si nosotros no podemos leerlo, muchos agentes tampoco.