インド文化と言語に特化したAI評価の新基準「IndQA」登場

当サイトではアフィリエイトプログラムを利用して商品を紹介しています。

OpenAIは、インドの文化や言語に対するAIの理解度を測る新しい評価基準「IndQA」を発表しました。 このIndQAは、これまでAIの多言語対応を評価する際に使われてきた既存のベンチマークが、トップモデルの性能が飽和し、翻訳や選択問題が中心で、文化や文脈の深い理解を捉えきれていないという課題に対応するために開発されました。インドは、英語を母語としない人口が約10億人いること、22の公用語があり、ChatGPTの第二市場であることから、AIのグローバルな有用性を高めるための重要な第一歩として選ばれました。 IndQAは、2,278の質問を12の言語と10の文化領域（建築、芸術、食、歴史、法律、文学、宗教など）にわたって評価します。これらの質問は、インド各地の261人の専門家と協力して作成され、単なる知識の有無だけでなく、文化的背景に基づいた推論能力を重視しています。回答には、文化的な文脈に基づいたプロンプト、英語訳、評価基準、専門家の期待を反映した模範解答が含まれており、AIの言語理解能力をより深く、具体的に測定できるようになっています。 この新しい評価基準により、インドのユーザーにとってより有益でアクセスしやすいAI製品やツールの開発が進むことが期待されます。OpenAIは、今後他の言語や地域にも同様のベンチマークを拡大していく方針です。