Pourquoi exécuter des modèles localement ?

Généralement deux raisons principales - la confidentialité et le coût
Explorons le côté coût avec un exemple et voyons comment les chiffres s'additionnent
Disons que vous voulez exécuter une boucle Autoresearch toute la nuit comme @karpathy
Si vous avez accès à un H100, vous pouvez exécuter 100 expériences toute la nuit en utilisant Opus-4.6 et le coût API sera probablement dans la gamme de $10-25
Mais la plupart d'entre nous n'ont pas la chance d'avoir accès à un H100
Nous pouvons toujours exécuter 100 expériences Autoresearch sur un MacBook pour les mêmes $10-25, mais ce ne sera pas une comparaison équitable
Le H100 complètera 50-100x plus d'étapes d'entraînement sur le même laps de temps
Donc si vous voulez reproduire le même nombre d'étapes d'entraînement, vous pourriez finir par payer $1000+ en coûts API, et bien sûr cela prendra beaucoup plus longtemps qu'une nuit
Ce ne serait pas très intelligent puisque vous pouvez louer un H100 pour beaucoup moins cher et accomplir le même travail plus rapidement
Mais cela commence à montrer pourquoi vous aimeriez exécuter des modèles localement - cela vous permet de faire des expériences qui seraient autrement trop coûteuses pour la plupart des gens
Cela commence à égaliser les chances
J'exécute Qwen3.5 9B sur un PC plus ancien et cela a maintenant du sens d'expérimenter des choses que je ne ferais autrement pas si je dois payer les coûts API
Et c'est un grand déverrouillage qui s'ouvrira davantage au fil du temps à mesure que les modèles deviennent meilleurs et plus petits