プロンプトインジェクション
ぷろんぷといんじぇくしょんプロンプトインジェクションは、細工した入力を読ませることで大規模言語モデルの動作を開発者の意図とは違う方向に変えさせる攻撃手法。原因はモデルの側で、命令として与えられた文と処理対象のデータが同じ自然言語であるため、どちらが指示かを本質的に…
意味・読み
| 読み | ぷろんぷといんじぇくしょん |
|---|---|
| カテゴリ | セキュリティ |
| 話題になった時期 | 2022-09 頃 |
プロンプトインジェクションの読み方は「ぷろんぷといんじぇくしょん」です。
プロンプトインジェクションは、細工した入力を読ませることで大規模言語モデルの動作を開発者の意図とは違う方向に変えさせる攻撃手法。原因はモデルの側で、命令として与えられた文と処理対象のデータが同じ自然言語であるため、どちらが指示かを本質的に区別できない点にある。利用者が直接送り込む形（直接型・いわゆるジェイルブレイク）と、ウェブページやファイルなどモデルが読み込む外部の内容に指示を仕込む形（間接型）に分かれる。OWASP がまとめたLLMアプリケーション向けの脆弱性一覧では第1位に置かれている。
経緯・背景
命名の経緯には複数の説がある。英語版Wikipediaの記述では、prompt injection という語はまずSNS上の投稿（2022年5月）で使われ、2022年9月にサイモン・ウィリソン（Simon Willison）が独立に広めたとされ、それ以前の2022年5月に Preamble の Jonathan Cefalu が command injection という名で OpenAI に報告していたとされる。別の解説では、2022年9月11日にデータサイエンティストの Riley Goodside が GPT-3 での注入を示し、その翌日にウィリソンが脆弱性として定義・命名したと説明されている。いずれの説でも2022年に概念として確立し、以後は Bing Chat の内部指示が引き出された2023年の事例などが繰り返し報じられてきた。
なぜ話題になったのか
AIが単に文章を作るだけなら被害は限られるが、メールを消す・買い物をする・社内データを検索するといった実行権限を持つと、仕込まれた一文がそのまま実害につながる。MCPなどの仕組みで外部ツール連携が当たり前になったことで、この危険は理論上の話ではなくなった。対策としては、権限を最小限に絞る、重要な操作の前に人の確認を挟む、外部から取り込んだ内容と利用者の指示を明確に分離するといった設計上の工夫が挙げられるが、英国NCSCも確実な緩和策はまだないと認めており、設計で被害を抑える発想が必要だと語られている。
人気ポスト・反応
人気ポストの概要
AIに外部のページやファイルを読ませる機能が増えるにつれて注意喚起として使われることが多い語。「ウェブページに見えない文字で指示を埋め込んだ」といった検証報告や、AIエージェントに強い権限を渡すことへの懸念とあわせて語られる。決定的な対策がまだないという指摘も繰り返し共有されている。
※ 上記は実際に見られる反応の傾向をまとめたものです。特定の投稿を再現・引用したものではありません。
「プロンプトインジェクション」に関するXの人気ポスト（話題の投稿）は、以下のリンクからXの検索結果でご覧いただけます。
※ リンク先はX（旧Twitter）の検索・該当ページです。表示内容は時期により変動します。
関連するサイト
この話題に近いことを扱っている姉妹サイトのページです。あわせてどうぞ。
関連する商品
以下はAmazonの検索リンクです。当サイトはAmazonアソシエイトとして、適格販売により収入を得ています。
よくある質問
- プロンプトインジェクションとは何ですか？
- プロンプトインジェクションは、細工した入力を読ませることで大規模言語モデルの動作を開発者の意図とは違う方向に変えさせる攻撃手法。
- プロンプトインジェクションの読み方は？
- プロンプトインジェクションは「ぷろんぷといんじぇくしょん」と読みます。
- プロンプトインジェクションはなぜ話題になったのですか？
- AIが単に文章を作るだけなら被害は限られるが、メールを消す・買い物をする・社内データを検索するといった実行権限を持つと、仕込まれた一文がそのまま実害につながる。
- プロンプトインジェクションの元ネタ・由来は？
- 命名の経緯には複数の説がある。
出典・関連ページ
「プロンプトインジェクション」を調べるときに参考にした、実際に開けることを確認したページです。画像と見出しはリンク先のものです。