🚨 ÚLTIMA HORA: OpenAI ha publicado un artículo demostrando que ChatGPT siempre inventará cosas.

No a veces. No antes de la próxima actualización. Siempre. Lo han demostrado en matemáticas.

Incluso con datos de entrenamiento perfectos y una potencia de cálculo ilimitada, los modelos de IA siempre te dirán con total confianza cosas que son completamente falsas. No es un error en el que estén trabajando. Esto explica cómo funcionan estos sistemas a nivel fundamental.

Y sus propios datos son brutales. El modelo de razonamiento o1 de OpenAI hallucina en el 16% de los casos. ¿Su nuevo modelo O3? 33 por ciento. ¿Su nuevo o4-mini? 48 por ciento. Casi la mitad de la información proporcionada por su último modelo podría ser inventada. Los modelos "más inteligentes" en realidad son cada vez peores para decir la verdad.

Aquí está la razón por la cual esto no puede ser corregido. Los modelos lingüísticos funcionan prediciendo la siguiente palabra en función de la probabilidad. Cuando enfrentan una situación incierta, no se detienen. No lo señalan. Suponen. Y especulan con total confianza, porque eso es exactamente para lo que fueron entrenados.

Los investigadores examinaron los 10 principales criterios de inteligencia artificial utilizados para medir la calidad de estos modelos. 9 de cada 10 dan la misma puntuación por decir "no sé" que por dar una respuesta completamente falsa: cero puntos. Todo el sistema de pruebas literalmente penaliza la honestidad y recompensa la conjetura.

Por lo tanto, la IA ha aprendido la estrategia óptima: siempre adivinar. Nunca admitir la incertidumbre. Parece confiada incluso cuando inventa.

¿Cuál es la solución propuesta por OpenAI? Pedirle a ChatGPT que diga "No sé" cuando no esté seguro. Sus propios cálculos muestran que esto significaría que aproximadamente el 30% de tus preguntas no tendrían respuesta. Imagina preguntar algo a ChatGPT tres veces de cada diez y recibir "No soy lo suficientemente confiado para responder". Los usuarios se irían durante la noche. Por lo tanto, la solución existe, pero mataría el producto.

No es solo un problema de OpenAI. DeepMind y la Universidad Tsinghua llegaron independientemente a la misma conclusión. Tres de los mejores laboratorios de IA del mundo, trabajando por separado, están todos de acuerdo: esto es permanente.

Cada vez que ChatGPT te dé una respuesta, pregúntate: ¿es real o solo una suposición confiada?

Aquí está la respuesta de Come-from-Beyond 👇
Empiezan a entender por qué

#QUBIC #Aigarth .* han puesto la capacidad de decir "No sé" en el centro de sus preocupaciones

$QUBIC