LLMが顧客との多段階のインタラクション（メール、チャット、通知など）を自動的に設計する時代になりました。しかし、「このAIが作ったジャーニーは本当に効果的なのか？」という根本的な問いに答えるのは容易ではありませんでした。従来の精度、類似度、さらにはLLM-as-a-Judgeといった評価方法でも、スタイルやトーンは捉えられても、ジャーニーの構造的論理とビジネス目標の達成度を評価することはできません。本稿では、事前に定義されたタクソノミー（分類体系）に基づいてジャーニーの構造的品質を測定する決定論的メトリクスであるCDPフレームワークを紹介します。詳細は根拠資料をご覧ください。

AI and machine learning concept with abstract data visualization

CDPメトリクスの3つの軸

CDPは、以下の3つの相補的な次元でジャーニーの品質を評価します。

  1. 連続性 (Continuity)

    • 意味: 前のインタラクションで確立された文脈に、次のメッセージがどれだけ適合しているかを評価します。主題やテーマが突然飛ばずに滑らかに続いているかを確認します。
    • 計算: タクソノミーツリー内での移動パターン（同一トピック維持、関連トピック移動、ステージ前進、後退など）に重みを付け、ステップごとのスコアを平均化します。

  2. 深化 (Deepening)

    • 意味: ジャーニーが一般的な内容から、次第に具体的で詳細化され、パーソナライズされたインタラクションへと進んでいるかを測定します。関係を深める移動です。
    • 計算: 2つの要素を組み合わせます。
      • ジャーニーベースの深化: タクソノミーツリー内での深さレベルがステップごとにどのように増加するかを測定します。
      • タクソノミーを考慮した深化: 訪問した主題ヘッドの下に存在する可能性のあるすべての下位コンテンツのうち、実際にジャーニー中にどれだけ多く探索されたかの比率を計算します。

  3. 進展 (Progression)

    • 意味: 顧客ジャーニーのステージ（例：探索 -> 購入 -> 所有）に沿った前方への方向性と速度を評価し、不必要な後退や停滞を検出します。
    • 計算: ステージ間の移動（アンカーIDの差）と現在ステージの相対的重要度を考慮したスコアを合計し、tanh関数を使用して[-1, 1]の範囲に正規化します。

Data flow and structural analysis diagram on a screen

実践適用：自動車購入ジャーニーの例

理論だけでは理解が難しいため、簡単な例を通じてCDP評価がどのように行われるかをステップバイステップで見ていきましょう。

入力ジャーニー (LLMが生成したメッセージシーケンス):

  1. 仮想ツアーで主要な機能とトリムを発見してください。
  2. ご都合に合う試乗の時間枠を見つけました。
  3. 収入確認書類と身分証明書をアップロードして事前承認決定を完了してください。
  4. 今後のメンテナンス項目の費用を見積もってください。
  5. リース終了が近づいたら維持管理のオファーを確認してください。
  6. 引き渡し前にナンバープレートと登録情報を追加してください。

タクソノミーマッピング結果: 各メッセージは、埋め込み類似度に基づいてタクソノミーツリーの特定のノード（アンカー、主題ヘッド、深さレベル）にマッピングされます。これに基づいてステップ間の移動を分析し、CDPスコアが計算されます。

このジャーニーのCDPシグナルの解釈:

  • 連続性: 大部分はスムーズですが、ステージが混在する部分でスコアが若干低下する可能性があります。
  • 深化: 「試乗予約」から「事前承認のための書類アップロード」への移行など、特定のトピックを深く掘り下げる瞬間を捉えます。
  • 進展: 購入に向けた全体的な前進を示しますが、所有ステージ中に予期せぬ「引き渡し」関連タスクが現れるなど、構造的な後退も観察されます。

このように計算されたCDPスコアは、異なるプロンプトやモデルが生成した代替ジャーニーを比較したり、LLMベースのジャーニー生成を継続的に改善するための自動化されたフィードバックとして直接活用できます。

Server rack and cloud infrastructure representing system architecture

まとめ：構造評価の重要性

LLMはすでに流暢で説得力のあるテキストを生成できます。今後のより大きな課題は、それらのテキストシーケンスがビジネスロジックとユーザーエクスペリエンスに合致した一貫性のあるナラティブを形成しているかを保証することです。CDPフレームワークはスタイル評価に取って代わるものではなく、構造という新しい主要なシグナルを提供することでそれを補完します。

このアプローチは自動車コマースに限定されません。順序立てられた目標指向のコンテンツを生成するあらゆるシステム（例：教育コース設計、医療相談経路、ゲーム内クエストライン）は、強固な構造的基盤を必要とします。CDPは、その構造を明示的、測定可能、かつ実践可能にする方法を提供します。次にAI生成シーケンスを評価する際には、「言語は自然か？」だけでなく、「構造は健全か？」と問いかけてみてください。