NVIDIA open source le modèle d'agent intelligent 120B Nemotron 3 Super, avec une augmentation de débit maximale de 5 fois

Gate News, le 12 mars, NVIDIA a publié le modèle de langage open source Nemotron 3 Super, conçu pour des scénarios d'applications multi-agent. Le modèle compte un total de 1200 milliards de paramètres, utilisant une architecture hybride Mamba-Transformer MoE, où lors de l'inférence, chaque token n'active que 120 milliards de paramètres. Sa technologie clé, le « MoE latent » (Latent MoE), compresse l'embedding du token dans un espace latent de faible rang avant de le router vers le réseau d'experts, permettant d'activer simultanément 4 experts avec le coût de calcul d’un seul, ce qui augmente le débit d'inférence jusqu’à 5 fois par rapport à la génération précédente Nemotron Super. Le modèle supporte nativement une fenêtre de contexte de 1 million de tokens, adapté aux agents autonomes nécessitant de maintenir un état de flux de travail sur une longue période. Lors du benchmark PinchBench, qui évalue la charge de travail des agents intelligents, Nemotron 3 Super a obtenu un score de 85,6 %, le plus élevé parmi les modèles open source similaires. NVIDIA a également open source un ensemble de données d'entraînement de plus de 10 000 milliards de tokens, 15 environnements d'apprentissage par renforcement et des plans d’évaluation, sous la licence NVIDIA Nemotron Open Model License. Le modèle est disponible sur Hugging Face, build.nvidia.com, Perplexity, OpenRouter, et peut être déployé via Google Cloud, Oracle, AWS Bedrock, Azure, entre autres. Des entreprises telles que Perplexity, CodeRabbit, Cadence, Dassault Systèmes et Siemens ont déjà commencé à l’adopter.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire