AIをだます「プロンプト注入」攻撃の危険性とは？

当サイトではアフィリエイトプログラムを利用して商品を紹介しています。

AIがウェブ閲覧や情報収集など、より高度なタスクを実行できるようになるにつれて、新たなセキュリティ上の脅威が出現しています。その中でも特に注目されているのが「プロンプト注入」と呼ばれる攻撃です。 プロンプト注入は、AIに対する指示（プロンプト）に悪意のある命令を紛れ込ませることで、AIを操作する手口です。これは、メールで偽のURLをクリックさせようとするフィッシング詐欺に似ており、AIに意図しない行動を取らせたり、機密情報を盗み出したりする可能性があります。 例えば、AIに旅行先の情報収集を依頼した際に、ウェブサイト上に仕掛けられた悪意のある指示がAIに読み込まれると、AIは不適切な宿泊施設を勧めたり、最悪の場合、クレジットカード情報を漏洩させてしまう恐れがあります。AIがより多くのデータにアクセスし、自律的に行動するようになるほど、こうしたリスクは高まります。 AIは、ユーザーの指示通りに動くことが基本ですが、プロンプト注入によって、意図しない誤った情報を提供したり、予期せぬ行動をとったりする可能性があります。この問題に対処するため、OpenAIはセキュリティ対策に注力しています。