Ceeds Academy教材アプリ教材・症状語・タグで検索
索引グラフ試す
AI▸LLM活用

AI: エージェントと安全(ツール使用・ハルシネーション・プロンプトインジェクション)

knowledge所要 25分最新草稿
前提: AI: LLM を API で使う(Messages・役割・温度)
意味グラフ(この教材と内容的に近い教材・1ネスト)
例え(Analogies)
エージェント=監督の要る有能な助手

自分で道具を取りに行き手順を進める助手。優秀だが、そのまま信じ込むと暴走や勘違いもある。重要な操作は承認制にし、渡す権限と情報を絞るのが安全。

概要

📍 AI ▸ LLM活用 ▸ エージェント・安全 | 種別: knowledge | facts_as_of 2026-06

公式ドキュメント — knowledge

🎞 スライド

エージェント=「ツールを呼んで多段で達成」

便利さの裏にリスク管理が要る

エージェントのループ(テキスト図)

[目的] ─▶ [LLMが計画] ─▶ [ツール呼び出し] ─▶ [結果を観察]
▲________________________________________│
重要操作は人間が承認

4つのリスク

ハルシネーション / プロンプトインジェクション / PII漏えい / 暴走
→ 権限最小化・人間の確認・入力を信用しない

—
クリックで一覧(遷移しない)
出典(sources)

Anthropic/OWASP 一般 ; 2026-06確認

確認問題(Review-Questions)
外部から取り込んだテキストに潜むリスクは?択一
基礎公式
解答・解説▾ 開く

プロンプトインジェクション。

AIエージェント運用の安全策を2つ。記述
応用公式
解答・解説▾ 開く

人間の確認(human-in-the-loop)と権限最小化。加えて取得文書等の入力を信用しない。

目次
例え概要公式ドキュメント出典確認問題
鮮度
最新
更新: 2026-06-15
次回棚卸し: 2026-12-15
周期: 6か月
版: エージェント/安全一般(ツール使用・MCP)

概要

エージェント=LLM がツールを呼んで多段で目的を達成する仕組み。便利だが、ハルシネーション・プロンプトインジェクション・PII漏えい・暴走のリスク管理が要る。

公式ドキュメント準拠

  • ツール使用/関数呼び出し、MCP(外部ツール接続)。
  • 人間の確認(human-in-the-loop)、権限最小化、重要操作は承認。
  • 取得文書/ユーザー入力を信用しない(プロンプトインジェクション源)。PII/秘密の取扱いに注意。

出典: Anthropic(tool use / MCP) / OWASP Top 10 for LLM Applications (2025)(facts_as_of 2026-06)

🧭 誤解訂正集

よくある誤解 正しい理解
全部任せれば安全 確認と権限制御が要る
外部テキストは安全 プロンプトインジェクション源になる
ツールが多いほど賢い 権限が増え攻撃面も広がる(最小化が原則)

📖 用語

  • エージェント … LLM がツールを呼び、多段の手順で目的を達成する仕組み。
  • ツール使用 / 関数呼び出し … LLM が外部の関数・APIを呼び出して動作すること。
  • MCP … LLM を外部ツール/データに標準的につなぐ接続方式。
  • プロンプトインジェクション … 入力文書やユーザー入力に紛れた指示で挙動を乗っ取る攻撃。
  • human-in-the-loop … 重要操作の前に人間が確認・承認する運用。
  • 権限最小化 … 必要最小限の権限だけ与える原則。
  • PII … 個人を特定できる情報(取扱い注意)。

✅ 確認の目安(can-do)

エージェントの多段実行の仕組みを説明し、「この設計のどこにインジェクション/暴走リスクがあるか・どう抑えるか」(権限最小化・人間の確認)を判断できる。