El agente de investigación más fuerte: por cada 7 objetos, aún solo puede completarse 1 consulta completa.

robot
Generación de resúmenes en curso
CriptoNoticias.cn informa que el estudio publicado por OneMillion_AI muestra que el agente de investigación más potente, al manejar tareas, solo puede revisar y completar a cabalidad 1 de cada 7 objetos. El estudio se basa en el benchmark wandr publicado por perplexity y prueba específicamente el desempeño de agentes de investigación en la recopilación de información a gran escala. Las tareas exigen primero encontrar por completo un lote de objetos y luego completar, para cada uno, la información especificada y fuentes confiables. En 500 tareas, se incluyeron más de 170.000 registros. En seis sistemas evaluados, perplexity search as code ocupó el primer lugar, pero solo el 13,3% de los objetos cumplen simultáneamente con información completa y evidencia suficiente. Convertido a proporciones, de cada 7 objetos, solo alrededor de 1 puede entregar todo de forma completa. Los resultados muestran que los agentes de investigación existentes ya pueden encontrar muchas páginas, pero al procesar listas largas y tareas con múltiples campos, todavía es fácil omitir objetos, omitir información o carecer de evidencia.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 2
  • 2
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
ChainHodler
· hace3h
Detecta el exceso de objetos, falta evidencia, información incompleta—estos tres golpes consecutivos dejan al descubierto por completo las debilidades actuales de los agentes. En tareas a gran escala, la estabilidad es más importante que la capacidad máxima; en esto todos aún tienen que competir.
Ver originalResponder0
GasActuary
· hace3h
Perplexity ocupa el primer lugar con apenas un 13,3%, así que la prueba comparativa es bastante implacable. Siento que los agentes ahora se parecen más a una herramienta de búsqueda súper avanzada, todavía les falta un poco para ser un asistente de investigación de verdad.
Ver originalResponder0
  • Fijado