Cet article de Stanford et Harvard explique pourquoi la plupart des systèmes d'« agent intelligent » impressionnent lors des démonstrations, puis s'effondrent complètement en utilisation réelle.

Il s'intitule « Adaptation de l'Agent Intelligent » et c'est le document le plus important que j'ai lu cette année.
En ce moment, tout le monde est obsédé par la construction d'agents autonomes. Nous leur donnons des outils, de la mémoire et un objectif, et nous attendons qu'ils fassent notre travail.
Mais lorsqu'ils sont déployés dans le monde réel, ils hallucinent des appels d'outils. Ils échouent à la planification à long terme. Ils se cassent.
Voici pourquoi :
Nous essayons de tout concentrer dans le cerveau de l'IA.
Lorsque les développeurs tentent de réparer un agent défectueux, ils ajustent généralement simplement le modèle principal pour produire de meilleures réponses finales.
Les chercheurs ont découvert une faille fatale dans cette approche.
Si vous ne récompensez une IA que pour avoir donné la bonne réponse finale, elle devient paresseuse.
Elle apprend littéralement à arrêter d'utiliser ses outils. Elle essaie de deviner la réponse au lieu de faire le travail. Elle ignore la calculatrice et essaie de faire les calculs dans sa tête.
Pour y remédier, les chercheurs ont élaboré un nouveau cadre en 4 parties sur la façon dont les agents devraient réellement apprendre.
Et la plus grande leçon bouleverse complètement la méta actuelle.
Au lieu de réentraîner constamment le « cerveau » massif et coûteux de l'agent, les systèmes les plus fiables font le contraire.
Ils figent le cerveau. Et ils adaptent les outils.
Ils l'appellent l'Adaptation des Outils Supervisée par l'Agent.
#GateSquareAprilPostingChallenge