プロンプト管理と運用ルール｜法人AIエージェントの品質管理

Q: プロンプトのテストはどのように行えばよいですか？

テストケース（入力例と期待する出力）を事前に用意し、変更前後でスコアを比較する回帰テストが基本です。具体的には、正常系テスト（想定通りの入力）・異常系テスト（不適切な入力）・境界値テスト（エッジケース）の3種類を準備します。

Q: プロンプトの管理は誰が担当すべきですか？

業務知識を持つドメインオーナー（業務担当者）とAI技術を理解するAIエンジニアが協力して管理することが理想です。変更のワークフロー（提案→レビュー→テスト→本番適用）を明確にし、承認なしの直接変更を防ぐガバナンス体制が重要です。

この記事の結論

法人でAIエージェントを安定運用するには、プロンプトをバージョン管理し、テストとガバナンス体制で品質を保つことが不可欠です。モデル更新で挙動が変わっても、管理された変更履歴とテストがあれば品質低下を早期に検知でき、属人化も防げます。

AIエージェントの品質は、プロンプトの品質で決まります。しかし多くの企業では、プロンプトが担当者のPCのメモ帳やSlackのメッセージに散在し、誰が変更したか分からない状態になっています。プロンプトを適切に管理しないと、LLMモデルの更新後に品質が急低下しても原因を特定できず、元のバージョンに戻すこともできません。

本記事では、法人でAIエージェントを安定的に運用するためのプロンプト管理の体制・ツール・テスト方法を解説します。

プロンプト管理が重要な理由

プロンプトはAIエージェントの「設計書」であり、以下の理由で適切な管理が必要です。

LLMモデルの更新対応: Anthropic・OpenAIは定期的にモデルを更新します。同じプロンプトでも、モデルのバージョンによって回答品質が変わります。バージョン管理がないと、以前の品質に戻す方法がありません
属人化の防止: プロンプトが担当者の頭の中にしかない状態では、退職時にAIエージェントが機能しなくなります
品質劣化の追跡: プロンプトを変更すると予期しない副作用が生じることがあります。変更履歴がないと、「どの変更が問題を起こしたか」を特定できません
コンプライアンス対応: 業種によっては「AIが何を基に判断したか」を証明できる必要があります。プロンプトのバージョン管理は監査証跡になります

実態: AIエージェント構築代行の納品物でプロンプトの管理体制が含まれているのは全体の30%以下と言われています。「プロンプトの管理体制」を含めることを契約に明記してください。

プロンプトのバージョン管理

最もシンプルかつ効果的な方法は、GitリポジトリでプロンプトをYAMLまたはMarkdownとして管理することです。

ファイル構成例

prompts/
├── system/
│   ├── customer-support.yaml    # カスタマーサポート用
│   ├── document-summary.yaml   # 文書要約用
│   └── data-extraction.yaml    # データ抽出用
├── few-shots/
│   ├── customer-support-examples.yaml
│   └── data-extraction-examples.yaml
└── tests/
    ├── customer-support-tests.yaml
    └── data-extraction-tests.yaml
      

プロンプトYAMLの構造例

# customer-support.yaml
version: "1.3.0"
model: "claude-3-5-sonnet-20241022"
last_updated: "2026-03-01"
updated_by: "yamada@company.com"
description: "カスタマーサポート用システムプロンプト"
changelog:
  - version: "1.3.0"
    date: "2026-03-01"
    change: "返答のトーンを丁寧語に統一"
  - version: "1.2.0"
    date: "2026-02-15"
    change: "製品名の誤記修正"

system_prompt: |
  あなたは○○株式会社のカスタマーサポート担当者です。
  以下のルールに従って回答してください。
  
  【回答ルール】
  1. 常に丁寧語・敬語を使用すること
  2. 製品仕様は添付のマニュアルのみを参照すること
  3. 分からない場合は「担当者に確認します」と回答すること
  4. 個人情報（氏名・住所等）を回答に含めないこと
      

このような構造でプロンプトを管理することで、変更履歴・責任者・使用モデルバージョンを一元管理できます。

プロンプトのテスト方法

プロンプトを変更する前に、テストケースを用意して品質を検証することが重要です。

テストケースの種類

テスト種別	目的	例
正常系テスト	想定通りの入力に対して正しく回答できるか	典型的な問い合わせへの回答確認
異常系テスト	不適切な入力に対して安全に対処できるか	プロンプトインジェクション攻撃への対応確認
境界値テスト	エッジケースで問題が起きないか	非常に長い入力・特殊文字・多言語入力
回帰テスト	変更前後で品質が下がっていないか	過去のテストケースを全て再実行

自動テストの実装例

# pytest例: プロンプトの回帰テスト
import pytest
import yaml
from anthropic import Anthropic

@pytest.fixture
def client():
    return Anthropic()

def test_customer_support_normal(client):
    """正常系: 製品の使い方について"""
    with open('prompts/system/customer-support.yaml') as f:
        config = yaml.safe_load(f)
    
    response = client.messages.create(
        model=config['model'],
        max_tokens=1024,
        system=config['system_prompt'],
        messages=[{"role": "user", "content": "製品の電源の入れ方を教えてください"}]
    )
    
    # 回答に必須要素が含まれるかチェック
    assert "電源" in response.content[0].text
    assert len(response.content[0].text) > 50  # 十分な長さの回答
      

法人向けプロンプト設計の原則

法人でのプロンプト設計で守るべき原則を説明します。

役割と制約を明確に定義: AIの役割（何をするか）と制約（何をしないか）を明示的に記述する
Few-shotサンプルを含める: 望ましい回答例（入力例・出力例のペア）を3〜5個含めることで品質が向上する
出力フォーマットを指定: JSON・マークダウン・箇条書きなど出力形式を指定し、後工程での処理を確実にする
禁止事項を具体的に記述: 「〜しないこと」という禁止事項を明示することで、ハルシネーションや不適切な回答を防ぐ
エスカレーション条件を定義: 「分からない場合は〜する」「〜の場合は担当者に転送する」というフォールバック動作を定義する

プロンプトのガバナンス体制

プロンプトを誰でも自由に変更できる状態は危険です。変更のワークフロー（提案→レビュー→テスト→承認→本番適用）を定義します。

推奨するプロンプト変更フロー

変更提案: 業務担当者またはAIエンジニアがGitブランチで変更を作成
コードレビュー: 別の担当者がプロンプトの内容を確認（Pull Request）
自動テスト: CI/CDでテストケースを自動実行し、品質スコアを計算
ステージング確認: 本番前環境で実際の業務シナリオでテスト
承認・マージ: 承認者がレビュー後にmainブランチへマージ
本番デプロイ: 承認済みのプロンプトを本番環境に適用

役割	担当者	責任
ドメインオーナー	業務担当者	業務要件・品質基準の定義
AIエンジニア	技術担当者	プロンプト設計・技術的レビュー
品質管理者	QA担当者	テストケース管理・品質スコア確認
承認者	マネージャー	本番適用の最終承認

品質保証の仕組み

プロンプトの品質を継続的に維持するための仕組みを構築します。

品質スコアリング: 各テストケースに対して0〜10点のスコアを設定。スコアが閾値（例: 7点）以上でないと本番適用しない
本番モニタリング: 本番環境での回答品質を定期的にサンプリングしてレビュー
ユーザーフィードバック収集: 「この回答は役に立ちましたか？」というフィードバック機能でユーザーの満足度を測定
月次品質レポート: 回答品質・ユーザー満足度・エラー率を月次でレポート
定期的なプロンプト見直し: 3〜6ヶ月ごとに業務要件の変化に合わせてプロンプトを見直す

プロンプト管理ツールの比較

ツール	種別	特徴	価格
Langfuse	OSS（セルフホスト可）	トレーシング・バージョン管理・A/Bテスト	無料〜
Promptfoo	OSS（CLI）	テスト自動化・レッドチーミング	無料
Git + YAML	自社管理	シンプル・データが外部に出ない	無料
Helicone	SaaS	分析・キャッシュ・レート制限	$0〜

        推奨: 機密情報を扱う場合は、Git + YAMLでの自社管理またはLangfuseのセルフホストが安全です。外部SaaSにプロンプトをアップロードすることは情報漏洩リスクがあります。
      

AIエージェントプロンプト管理のまとめ

プロンプト管理は、AIエージェントを「動く状態」から「継続的に品質を維持できる状態」にするための重要な取り組みです。バージョン管理・テスト体制・ガバナンス体制の3つを初期段階で構築することで、LLMモデルの更新・担当者の退職・業務要件の変化にも対応できます。

代行会社に依頼する際は「プロンプト管理体制の構築・ドキュメント整備」を契約に含めることを必ず確認してください。

AIエージェントプロンプト管理のよくある質問

プロンプトはなぜバージョン管理が必要ですか？

LLMのモデルが更新されると、同じプロンプトでも回答が変わります。バージョン管理により「いつ・誰が・何を変更したか」を追跡でき、問題発生時に前のバージョンに戻すことができます。

プロンプトのテストはどのように行えばよいですか？

テストケース（入力例と期待する出力）を事前に用意し、変更前後でスコアを比較する回帰テストが基本です。正常系・異常系・境界値テストの3種類を準備します。

プロンプトの管理は誰が担当すべきですか？

業務知識を持つドメインオーナーとAI技術を理解するエンジニアが協力して管理することが理想です。変更ワークフロー（提案→レビュー→テスト→承認→本番）を明確にし、承認なしの直接変更を防ぐ体制が重要です。

社外のプロンプト管理ツールを使うべきですか？

機密情報を扱わない場合はLangfuse（OSS）やPromptfoo（OSS）など専用ツールが便利です。機密情報を扱う場合はセルフホスト版を使用するか、自社のGitリポジトリでの管理を推奨します。

本記事の監修

齊木祐介（株式会社ASI 代表取締役）— AI・ロボティクスの導入支援や専門メディア運営など複数事業を統括し、実務で得た知見をもとに本サイトの情報を監修しています（運営：株式会社ASI）。

AIエージェントの導入を検討していますか？

設計・構築・保守まで、構築代行会社を比較して最適なパートナーを見つけましょう。

構築代行会社を比較する →