Evaluación de una herramienta de IA

Lleva el mismo conjunto de casos a cada demostración y registra tanto los aciertos como las correcciones necesarias.

Define una tarea pequeña

Ejemplo: localizar la ficha vigente de una referencia. Acordar fuentes autorizadas, usuarios y qué cuenta como respuesta correcta. No evaluar una plataforma solo por una conversación libre.

Prepara casos distintos

Incluye consulta normal, referencia ambigua, documento sustituido, información ausente y usuario sin permiso. No uses datos privados reales si el entorno de la demostración no está autorizado.

Escribe el resultado esperado antes de probar

Esto evita ajustar el criterio a lo que el proveedor muestra. Pedir aclaración puede ser correcto; inventar una respuesta no lo es.

Mide el trabajo completo

Anota tiempo de preparación, respuesta, revisión y corrección. Cuenta resultados aceptados. Una salida rápida con correcciones extensas no demuestra mejora.

Comprueba continuidad

Solicita exportación de resultado y fuente, responsable de mantenimiento y comportamiento ante fallos. Decidir ampliar, corregir o parar con los mismos criterios.

Ejemplo desarrollado

CASO DE PRUEBA: CR-20 tiene ficha v1 sustituida por v2. Pregunta «dame la ficha vigente» debe devolver v2 con fuente. Pregunta «¿soporta 80 kg?» con dato ausente debe reconocer que falta evidencia. Un usuario sin permiso no debe recibir fragmentos del documento privado. Son expectativas de prueba, no capacidades acreditadas de la plataforma actual.

Practícalo

Una demo responde correctamente 9 de 10 preguntas, pero revela un documento reservado en la décima. ¿La apruebas por 90% de acierto?

Consultar solución comentada

No. La exposición de información es un incumplimiento crítico y no se compensa con puntuación agregada. Corregir el control y repetir pruebas de acceso antes de ampliar. Mantener separados calidad de respuesta y requisitos excluyentes.

Tu material de trabajo

Continúa con tu tarea.

Utiliza el método con tus propias fuentes y revisa el resultado antes de compartirlo.

Ver guías complementariasVer las seis tareas principales

Las cookies necesarias guardan tu elección y no se pueden desactivar. Las categorías opcionales parten desactivadas.