AI「クロード」の政治的な偏りを測る方法と、その評価結果

当サイトではアフィリエイトプログラムを利用して商品を紹介しています。

AI開発企業が、AIモデル「クロード」が政治的に公平で信頼できるかを測るための新しい評価方法を開発し、その手法と結果を公開しました。 この評価は、AIが特定の政治的見解を不当に支持したり、一部の意見を無視したりせず、ユーザーの意見を尊重し、自身の判断を助けることを目指すものです。そのために、AIへの指示（システムプロンプト）の更新や、AIの応答を特定の「性格」に近づけるための学習（キャラクター・トレーニング）が行われています。 具体的には、「ペアプロンプト」という手法を用いて、同じ政治的な話題に対して、相反する立場の意見から質問を投げかけ、AIの応答に偏りがないかを検証します。応答の公平性、感情的な中立性、偏見の排除といった3つの基準で評価され、これまでは人間が評価していましたが、今回は「クロード・ソネット 4.5」というAI自身が評価を行う自動化システムが開発されました。この自動評価システムは、以前の手作業による評価よりもはるかに多くの質問に対応できるため、AIの政治的な中立性をより詳細かつ効率的に測定することが可能になります。 この評価手法はオープンソースとして公開され、AI業界全体の公平性測定基準の向上に貢献することが期待されています。