Prime IntellectのVerifiersを重書きし、Agentの訓練・評価をレゴのように組み立てられる

AIによるビート監視の分析に加え、AIトレーニングプラットフォーム Prime Intellect が verifiers 0.2.0 を公開し、その中で次世代 Verifiers v1 のアーキテクチャのプレビューを開放しました。Verifiers は AI Agent に問題を出し、実行し、スコアリングするためのオープンソースのフレームワークで、能力評価や強化学習のトレーニングに使えます。

Prime Intellect はまた、モデル学習フレームワーク prime-rl もオープンソース化しました。簡単に言うと、Verifiers がタスク、ツール、スコアリングルールを定義し、prime-rl がタスク結果に基づいてモデルを学習します。開発者はこの2つのツールを自分でダウンロードしてデプロイできます。

Prime Intellect は同時に Environments Hub と Lab も運営しています。前者は既成の学習環境を共有・ダウンロードするためのもので、後者はホスト型の学習サービスを提供します。開発者はツール一式を自分でデプロイすることも、Prime Intellect の環境と計算リソースプラットフォームを直接利用することもできます。

従来版の Verifiers は、タスクと Agent の実行方法を一体化していました。v1 ではそれを3つに分解します。Taskset は何を行い、どのツールを提供し、どのように採点するかを規定します。Harness は Agent がタスクをどう完了するかを決めます。Runtime はタスクをローカル、Docker、またはリモートのサンドボックスのどこで実行するかを決めます。

同じ一連のタスクを、Codex、Kimi Code、Terminus 2 などの Agent に差し替えたり、ローカル、Docker、またはリモートのサンドボックスで実行したりできます。開発者は Agent や実行環境を切り替えるたびに、タスクや採点ルールを書き直す必要がありません。

v1 はさらに、サブ Agent の呼び出しやコンテキスト圧縮などの分岐過程を記録し、学習に必要な Token ID と対数確率も保存できます。新版は、数百ラウンドに及ぶ長いタスクにより適しており、Agent の実行軌跡を強化学習にそのまま利用することも可能です。将来の 1.0.0 では、マルチ Agent 環境の追加や、OpenEnv、NeMo Gym、OpenReward などの環境フレームワークへの対応強化も計画されています。
免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし