Un RAG no falla: fallan sus dos mitades, y hay que medirlas por separado
Si evalúas la respuesta final no sabes cuál de las dos se rompió, y acabas tocando el prompt cuando el problema estaba en la búsqueda. Qué mido en cada una y el fallo que no detecta ninguna métrica.
Giancarlo Renato Palomino Huallpa
Quality Engineer · Lima, Perú
Un sistema que consulta tus documentos antes de responder tiene dos piezas encadenadas: una busca y otra redacta. Y cuando la respuesta sale mal, la pregunta útil no es «¿por qué respondió eso?», sino cuál de las dos falló.
Esa distinción parece de manual y decide el trabajo de semanas. Lo que más he visto: un equipo retocando el prompt durante días cuando el problema era que la búsqueda nunca traía el documento correcto. Ningún prompt arregla eso.
Dos piezas, dos formas distintas de romperse
Mitad uno: ¿trajo lo que hacía falta?
Esta se mide sin tocar el modelo generador, y es la que más rinde porque es determinista: la misma pregunta trae los mismos documentos.
Necesitas un conjunto donde, para cada pregunta, esté anotado qué documento contiene la respuesta. Es trabajo manual y no hay atajo, pero son unas horas y se amortiza en la primera semana.
Qué miro en la búsqueda
La cuarta fila es la que casi nadie mete y la que más fallos caros previene. Un buscador siempre devuelve algo. Si preguntas por una política que no existe, te trae las tres más parecidas, y el modelo redacta encima de ellas una respuesta perfectamente convincente sobre algo que no está en ninguna parte.
Mitad dos: ¿se apoyó en lo que trajo?
Aquí sí hace falta criterio, y es donde entra la evaluación asistida. Dos preguntas, separadas a propósito:
Las dos preguntas de la generación
¿Está fundamentada?
Cada afirmación, ¿sale del contexto?
¿O hay frases que no están en ningún documento?
Se comprueba contra lo recuperado
Mide invención. Es la que detecta lo que se suele llamar alucinación.
¿Es pertinente?
¿Contesta lo que se preguntó?
¿O contesta algo cercano y correcto?
Se comprueba contra la pregunta
Mide puntería. Una respuesta puede estar fundamentada y no venir a cuento.
Separarlas importa porque se arreglan de formas distintas. Si falla la fundamentación, el problema está en las instrucciones: no le estás exigiendo ceñirse al contexto, o le permites «completar con su conocimiento». Si falla la pertinencia, el problema suele estar antes: le llegaron cinco documentos y redactó sobre el equivocado.
El fallo que no detecta ninguna métrica
Y aquí está lo que más me preocupa de estos sistemas, porque pasa todas las comprobaciones:
El documento correcto, desactualizado
La recuperación
Perfecta. Trajo el documento que habla exactamente de eso.
La fundamentación
Perfecta. Cada frase de la respuesta sale de ese documento.
La pertinencia
Perfecta. Contesta justo lo que se preguntó.
La realidad
El documento es de hace dos años y esa política cambió en marzo.
Esto no se arregla con evaluación, se arregla con higiene del corpus: fecha en cada documento, retirar lo derogado en vez de dejarlo «por si acaso», y —cuando aplique— que el sistema diga de cuándo es lo que está citando.
Lo meto en esta nota porque es el fallo que más confianza destruye. Una respuesta obviamente rara se detecta. Una respuesta coherente, bien fundamentada y desfasada se cree.
Cómo monto la evaluación
El orden en que lo construyo
El orden no es un detalle: mientras la recuperación falle, cualquier medida sobre la generación está contaminada. Vas a estar puntuando lo bien que redacta sobre documentos equivocados.
Y el quinto es lo que hace que esto sobreviva al día a día. En cada cambio, las preguntas críticas midiendo solo recuperación, que es barato. El conjunto completo con juez, una vez al día.
Si tuviera que dejar una sola frase: no preguntes si la respuesta fue buena. Pregunta si trajo lo correcto y si se ciñó a ello.
Son dos preguntas, se contestan por separado, y la primera no cuesta ni un céntimo. Empieza por esa, que además es donde está la mayoría del problema.