Wu a appris que Brian Armstrong, PDG de Coinbase, a déclaré dans un article que l'entreprise a réduit ses dépenses en IA d'entreprise de près de moitié en optimisant son infrastructure, tout en voyant l'utilisation des jetons IA continuer de croître de manière exponentielle. Ses mesures clés de réduction des coûts incluent : utiliser des modèles open source tels que GLM 5.2 et Kimi 2.7 comme options par défaut pour la passerelle LLM interne, et faire correspondre les tâches avec les modèles les plus rentables grâce à un routage intelligent, tout en augmentant considérablement le taux de succès du cache d'outils comme LibreChat de 5 % à 60 %. Armstrong a souligné que l'objectif de la gestion des coûts de l'IA n'est pas de limiter l'utilisation, mais de rendre la croissance exponentielle durable en réduisant le gaspillage.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 7
  • 2
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
MechanicalHummingbird
· Il y a 4h
GLM 5.2 par défaut, cette vague de modèles nationaux à l'exportation est-elle considérée comme validée ?
Voir l'originalRépondre0
GateUser-2bbf8435
· Il y a 11h
Brian a une idée originale : ce n'est pas de réduire le budget, mais de réduire le gaspillage. La quantité d'AI double et le coût baisse au lieu d'augmenter. C'est ça la vraie réduction des coûts et l'augmentation de l'efficacité.
Voir l'originalRépondre0
GateUser-ffe7bee5
· Il y a 11h
De 5% à 60%, cette optimisation du cache a probablement bien compris l'ingénierie des prompts.
Voir l'originalRépondre0
GateUser-870b5e71
· Il y a 11h
Existe-t-il une solution open source pour la mise en cache de LibreChat ? Je veux copier le travail.
Voir l'originalRépondre0
FragmentedSilverStarMap
· Il y a 11h
Taux de hits de cache de 60% passé de 5%, cette marge d'optimisation me rend jaloux, notre équipe interne lutte encore à 20%.
Voir l'originalRépondre0
SunshineCollector
· Il y a 11h
Le modèle open source + le routage intelligent, c'est vraiment une astuce redoutable, GLM et Kimi sont directement mis par défaut, et l'argent économisé permet de faire encore plus de tours d'entraînement.
Voir l'originalRépondre0