El riesgo de los sistemas que no saben decir “No lo sé”

Uno de los aspectos menos discutidos de los sistemas modernos basados en datos es cómo manejan la incertidumbre. La mayoría de los sistemas actuales están diseñados para procesar entradas, validarlas y producir salidas de manera coherente y confiable. Esa estructura funciona bien en entornos donde los datos son claros y las decisiones pueden derivarse directamente de ellos.

Pero no todas las situaciones encajan en ese modelo.

En muchos casos del mundo real, los datos existen sin capturar completamente el contexto necesario para tomar una decisión sólida. La información puede ser precisa pero incompleta, válida pero insuficiente. Estas son las situaciones en las que la incertidumbre no es un fallo, sino una parte natural del entorno.

El problema es que la mayoría de los sistemas no están diseñados para expresar eso.

En lugar de señalar la incertidumbre, tienden a convertir cualquier dato disponible en una salida útil.

La verificación asegura que los datos sean auténticos, y una vez que se cumple esa condición, el sistema continúa. No hay un mecanismo incorporado para pausar y reconocer que la información disponible puede no ser suficiente para llegar a una conclusión significativa.

Esto crea una distorsión sutil pero importante.
Desde fuera, todo parece seguro. Las entradas se validan, las salidas se generan y las decisiones se toman. No hay indicación visible de que los datos subyacentes puedan estar incompletos o que puedan existir interpretaciones alternativas.
Con el tiempo, esto puede llevar a una forma de confianza mal fundada.

Los usuarios comienzan a confiar en el sistema no solo para la verificación, sino también para el juicio. La presencia de una salida se interpreta como una señal de que el sistema tiene suficiente información para respaldarla, incluso cuando eso puede no ser así.

El problema no es que el sistema sea incorrecto.
Es que el sistema no está diseñado para expresar los límites de lo que sabe.

En los procesos tradicionales de toma de decisiones, la incertidumbre a menudo juega un papel visible. Los expertos pueden estar en desacuerdo, se puede solicitar información adicional o las decisiones pueden retrasarse hasta que haya más claridad. Estos mecanismos permiten reconocer y gestionar la incertidumbre.

En cambio, los sistemas que priorizan la eficiencia y la coherencia tienden a avanzar tan pronto como se cumplen las condiciones mínimas. Reducen la fricción evitando la hesitación, pero al hacerlo, también reducen la visibilidad de la incertidumbre.

Esto se vuelve más importante a medida que los sistemas escalan y se aplican a escenarios más complejos.

El rango de situaciones que enfrentan se amplía, incluyendo casos donde los datos son ambiguos, conflictivos o incompletos. Sin una forma de representar la incertidumbre, estos sistemas continúan produciendo salidas que pueden parecer igualmente confiables, incluso cuando las condiciones subyacentes difieren significativamente.
Ahí es donde reside el riesgo.

No en el fallo del sistema, sino en su incapacidad para comunicar los límites de su conocimiento.
Un sistema que no puede decir “No lo sé” puede seguir funcionando correctamente a nivel técnico. Pero también crea un entorno donde la incertidumbre se oculta en lugar de abordarse, y donde las decisiones pueden tener más confianza de la que los datos realmente respaldan.

A largo plazo, el desafío no es solo mejorar la verificación o aumentar la eficiencia.
Es encontrar formas de hacer que la incertidumbre sea visible nuevamente.
Porque sin eso, incluso los sistemas precisos pueden conducir a resultados que parecen seguros, mientras que en realidad descansan en una comprensión incompleta.