動的観測によるBeatingモニタリングとして、テンセント混元チームが複数の大学と共同でLHTBを発表し、AI Agentがターミナル内で複雑なタスクを継続的に完遂できるかを専門的に検証した。
ベンチマークは46項目のタスクを含み、ソフトウェアエンジニアリング、実験の再現、科学計算、多モーダル分析などの分野をカバーする。各タスクは最大90分実行され、通常は連続して数百ステップ操作する必要がある。
LHTBは最終的な成否だけを見ていない。タスクの完了の一部も、実際の進捗に応じて加点される。隠し検証器はファイル、テスト結果、プログラム出力を確認し、Agentが自称「完了した」と言うだけではカウントされない。
論文の初版テストでは15のモデルを評価した。GPT-5.5は7項目を完了し、首位にランクインした。各モデルは1つのタスクを実行し、平均消費は約990万Token、所要時間は約85分だった。
現在公開されている結果は20のモデルまで拡張されている。Grok 4.5は平均スコア0.505でトップに立ち、13項目を完了した。46項目のタスクのうち、依然として29項目ではどのモデルも完了基準を満たしていない。
多くのAgentは部分的な手順は完了できるものの、90分で尽きてしまうことが多い。あるいはタスクが未完了の時点で早々に作業を切り上げてしまい、複雑なタスクを本当に最後までやりきれない。
1.13M 人気度
2.61M 人気度
72.01K 人気度
733.1K 人気度
4.04M 人気度
Grok 4.5が腾讯の混元Agent耐久ランキングで首位に到達、6割以上のタスクをモデルなしで完了
動的観測によるBeatingモニタリングとして、テンセント混元チームが複数の大学と共同でLHTBを発表し、AI Agentがターミナル内で複雑なタスクを継続的に完遂できるかを専門的に検証した。
ベンチマークは46項目のタスクを含み、ソフトウェアエンジニアリング、実験の再現、科学計算、多モーダル分析などの分野をカバーする。各タスクは最大90分実行され、通常は連続して数百ステップ操作する必要がある。
LHTBは最終的な成否だけを見ていない。タスクの完了の一部も、実際の進捗に応じて加点される。隠し検証器はファイル、テスト結果、プログラム出力を確認し、Agentが自称「完了した」と言うだけではカウントされない。
論文の初版テストでは15のモデルを評価した。GPT-5.5は7項目を完了し、首位にランクインした。各モデルは1つのタスクを実行し、平均消費は約990万Token、所要時間は約85分だった。
現在公開されている結果は20のモデルまで拡張されている。Grok 4.5は平均スコア0.505でトップに立ち、13項目を完了した。46項目のタスクのうち、依然として29項目ではどのモデルも完了基準を満たしていない。
多くのAgentは部分的な手順は完了できるものの、90分で尽きてしまうことが多い。あるいはタスクが未完了の時点で早々に作業を切り上げてしまい、複雑なタスクを本当に最後までやりきれない。