Kaggle、AIモデル評価の新機能「コミュニティベンチマーク」を発表

当サイトではアフィリエイトプログラムを利用して商品を紹介しています。

Kaggleは、AIモデルの評価方法を刷新する新機能「コミュニティベンチマーク」を公開しました。これまでAIモデルの性能は、決まったデータセットでの正しさ（精度）だけで測られることが一般的でしたが、AIの進化に伴い、より現実世界に近い評価が求められています。 この新機能を使うと、世界中のAI開発者や研究者が、自分たちでAIモデルの評価方法（タスク）を設計し、共有できるようになります。これにより、AIが文章を書くだけでなく、プログラムを書いたり、他のツールを使ったりするような、より複雑な能力を評価することが可能になります。AIの多様な能力を測るためのカスタマイズされた評価が可能になりました。 コミュニティベンチマークでは、設計されたタスクをまとめた「ベンチマーク」を作成し、著名なAIモデルの性能を比較・追跡できます。これは、昨年にKaggleが提供開始した、信頼できる研究機関による評価へのアクセスをさらに発展させたものです。透明性の高い評価フレームワークを提供し、開発者が自身のAIモデルが特定の用途でどれだけうまく機能するかを検証できるようにします。 この新しい仕組みは、AIの進歩がモデルをどのように評価するかにかかっているという考えに基づいています。Kaggleのユーザーは、単にモデルをテストするだけでなく、次世代のAI開発の方向性を形作る役割を担うことになります。AIの未来を担う評価基準をコミュニティで作り上げることを目指しています。