国産の大規模言語モデルが出るたびに、何かしらarenaでスコアを出して、それでいつもの「claude gptをボコる」みたいな感じになってますけど。
毎回こんな調子なんですか? それともフロントエンドのベンチマークなのか、何かの特定タスクのスコアなのか。とにかく毎回出してくるのは、大ニュースを作りたいみたいで。
最初は私もわざわざ試して、テストしてみたんですが、その後は試すのも面倒になって。国内の昔のメーカーが何かあるたびにスコアでアップルを吊し上げてたのと同じで、役に立つのかよって感じですね……
arenaは要するにお金をもらって仕事をするだけで、娯楽として見とけばいい。すでにあるfable solも使わず、sotaも使わず、他のモデルを使うのは時間の無駄です。
原文表示