プロンプトインジェクションは、AI が読み込む文章の中に命令を紛れ込ませて、AI をだます攻撃です。AI に直接おかしな指示を打ち込む形のほか、AI に読ませるメールや Web のページや文書の中に、人には見えにくい形で命令を書いておく形があります。AI は、読んだ文章のどこまでが資料で、どこからが命令かを、取り違えることがあります。
危険が大きくなるのは、AI にメールの送信やファイルの削除のような操作を任せているときです。だまされた AI が、社内の情報を外へ送ったり、記録を消したりするおそれがあります。
備えの基本は、AI に持たせる操作を必要な分だけにすることです。外へ送る、消す、支払う、といった操作は人が承認してから行い、AI につなぐ道具は読むだけから始めます（読むだけから始める記事）。どの操作を人に残すかの考え方は、AI に任せず人が決めることの記事に書きました。