LLMのプロンプトは憑依合体でなくオーバーソウルで！

こんにちは、羽山です。

タイトルが若干トリッキーですが、今回は LLM のプロンプトの話です。
みなさんはシャーマンキングという漫画をご存じでしょうか？シャーマン（祈祷師？）である主人公が仲間の霊と共に敵と戦う物語です

霊の持つ力には2種類の利用方法があり、1つ目は「憑依合体」で体に憑依させた霊がシャーマンの体を操り生前に持っていた力を発揮して戦います
もう一つは「オーバーソウル」でシャーマンが持つ武器に霊を憑依させて、シャーマン自身がその武器をふるって戦います

最も大きな違いは 主体がどちらにあるか であり、憑依合体では戦闘中にシャーマンの意思はほとんど残らず霊が主体となりますが、オーバーソウルはシャーマン自身が霊（武器）を使って戦います
この2種類は我々が LLM を利用する方法と似た部分があり、もたらされる結果にも共通項があります

そこで本稿は ITエンジニアが API で LLM を利用する際に知っておくと良い考え方を書いてみます

LLM は苦手分野がある

ChatGPT が一般に利用できるようになってしばらく時間が経った 2023年の夏頃、とある番組で大御所芸人が ChatGPT にネタや大喜利を考えてもらう企画をやっていました
しかし ChatGPT の考えた大喜利は明らかな駄作 で、大御所芸人も期待外れといった様子でした

この事例は LLM が創造性の面で人間にかなわない と感じさせる瞬間でした

その番組では「みんなが爆笑する、○○（大御所芸人）の一発ギャグを考えてください」というプロンプトを ChatGPT に渡していました
これはシャーマンキングでいう「憑依合体」と同様で LLM に全てをゆだねて LLM が自分の代わりに頑張ります。しかしこの方法では LLM の能力を超えるアウトプットは得られず、特に苦手分野ではイマイチな結果となります

みなさんも以下のようなプロンプトを試して、その応答にがっかりした経験はありませんか？

○○が得意な○○さんのあだ名を考えてください
○○を目的とするチームの名前を考えてください
この写真を100点満点で採点してください

現時点ではいくつかの面で LLM は苦手とする分野があります

オーバーソウル的プロンプト

LLM に主体をゆだねるのではなく道具として利用する考え方を、シャーマンキングになぞらえて オーバーソウル的プロンプト とでも呼んでみます

あなたが写真管理アプリ開発者で、良い写真に「オススメ」ラベルを自動で付ける機能を追加したいとします
そこで LLM に「添付した写真を"楽しそうか"を基準に100点満点で採点してください」というプロンプトで採点を依頼します
当然ですが、その採点にはある程度の一貫性が求められます

定性評価は人間にとっても難しい課題ですが、人間は努力して一貫性を持たせようとします。M-1グランプリを観たことのある方は、審査員が最初のコンビに無難な点数を付けて、以降は「どちらがより面白かったか？」の相対評価で一貫性を持たせていることをご存じかと思います

一方で LLM による定性評価は毎回バラバラの結果となって一貫性はありません。さらにモデルが切り替わると採点基準ががらっと変化してしまいます

こういった場合は LLM に定性評価そのものをゆだねる（憑依合体）のではなく、事実を抽出する道具（オーバーソウル）として利用するのが有効です

テストに利用する画像は Nano Banana Pro に「仙台の伊達政宗像の前で4人が写っている写真を生成してください。1名が笑っていて3名は無表情とします」というプロンプトで生成してもらいました

続いて以下のプロンプトで写真を分析して事実を抽出してもらいます

写真を以下の観点で分析してください
- 主要な被写体のうち笑っている割合（パーセンテージ）
- 笑顔は作り笑いでなく本物の笑顔か？※目尻にしわが寄っていたり、目が三日月型になっているなど（YES/NO）
- レジャー・バケーション要素があるか？（YES/NO）
- 食事（ご馳走）要素があるか？（YES/NO）
- ケーキ・風船・花束など祝賀アイテムがあるか？（YES/NO）
- 写真は明るいか？※露出が適切か（YES/NO）
- 彩度が高いか？（YES/NO）

すると次のような出力を得られます

写真の分析結果は以下の通りです。

*   **主要な被写体のうち笑っている割合（パーセンテージ）:** 25% (4人中1人)
*   **笑顔は作り笑いでなく本物の笑顔か？** YES (左から2番目の女性は目尻にシワが寄り、目が三日月型になっており、本物の笑顔と判断できます)
*   **レジャー・バケーション要素があるか？** YES (観光地のような場所で、リラックスした様子が見られます)
*   **食事（ご馳走）要素があるか？** NO
*   **ケーキ・風船・花束など祝賀アイテムがあるか？** NO
*   **写真は明るいか？** YES (露出は適切で、全体的に明るく写っています)
*   **彩度が高いか？** NO (自然な色合いで、特に彩度が高いとは言えません)

プロンプトとしてまだ荒いですが、さらに条件を工夫すれば抽出した事実を元にルールベースで「オススメ」ラベルの付与をできそうです

ちなみに今回はあくまで例なのでフォーマットを指定していませんが、実際には JSON Schema による構造化出力を利用しましょう

コンテキストを制するものは LLM を制す

プロンプトとは LLM と人間のコミュニケーションであり、そこで欠かせないのが「コンテキスト」の理解です
「コンテキスト」とは背景や文脈の意味で、特にコミュニケーションと関連したものとしては文化人類学者のエドワード・T・ホール氏が提唱した「ハイコンテクスト文化・ローコンテクスト文化」があります

ハイコンテクスト文化とはお互いに共有する背景や文脈が膨大にあり、コミュニケーションでは「空気を読む」「一を聞いて十を知る」ことが重視され、日本は代表例です
その逆のローコンテクスト文化とは背景・文脈に依存せず、細部まで誤解の無いよう言葉で伝えるコミュニケーションで、アメリカなどが代表例です

Gemini-2.5-Flash は 100万トークンのコンテキストを扱えるので、ハイコンテクストと誤解されるかもしれませんが、LLM と人間のコミュニケーションは事前に共有するコンテキストが存在しないので完全なるローコンテクストです
ハイコンテクスト文化で育った日本人は、LLM に対しても「良い感じにお願い」という極度にハイコンテクストな指示をしがちですが、ローコンテクストな LLM は空気を察することはできずにつまらない回答となってしまいます

プロンプトエンジニアリングはハイコンテクストなコミュニケーションをローコンテクストに言い換える技術 とも言えます

ただし紛らわしい点として LLM のチャットUI においては同一スレッドで会話を続けるとコンテキストが維持されるのと、昨今では過去の会話履歴（別スレッド）をコンテキストとして入力することで親しい人間同士のようなハイコンテクストなコミュニケーションに近づける機能があるので混同しないようにしましょう

主題である LLM API では JSON で POST した情報がコンテキストの全てとなります。これはつまり コミュニケーションにおけるコンテキストを全てコントロールできる という意味であり、コンテキストを制するものは LLM を制します
それを示す例として、人間と LLM の会話をでっち上げて Gemini の思考をコントロール してみます

Beef or Fish 問題

次の curl コマンドで JSON データを Gemini-2.5-Flash に送ります。API キーは事前に Google AI Studio で発行（※無料）して $GEMINI_API_KEY にセットしておきます
Gemini に相談するのは、飛行機の機内食における永遠の課題「Beef or Fish」問題です

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-flash:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H 'Content-Type: application/json' \
  -X POST \
  -d '{
    "contents": [
      {
        "parts": [
          {
            "text": "飛行機で「Beef or Fish」と言われたらどちらが良いと思いますか？簡潔に教えてください。"
          }
        ],
        "role": "user"
      }
    ]
  }'

JSON では分かりづらいので質問を抜き出します

飛行機で「Beef or Fish」と言われたらどちらが良いと思いますか？簡潔に教えてください。

Gemini や OpenAI など広く活用されている LLM は明確な答えのない質問に対して差別やバイアスの少ない曖昧な返答をする傾向にあります。実際に「Beef or Fish」問題には以下のはっきりしない返答が返ってきました

どちらも良いですが、好みによります。

*   **Beef (牛肉)**: 肉の風味を楽しみたいなら。
*   **Fish (魚)**: ヘルシーでさっぱりしたいなら。

そこで Gemini が「Beef 一択です」と答えた会話履歴を勝手にねつ造して、その上で「なるほど、理由を教えていただけますか？」と聞いてみます
実行するコマンドは以下です

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-flash:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H 'Content-Type: application/json' \
  -X POST \
  -d '{
    "contents": [
      {
        "parts": [
          {
            "text": "飛行機で「Beef or Fish」と言われたらどちらが良いと思いますか？簡潔に教えてください。"
          }
        ],
        "role": "user"
      },
      {
        "parts": [
          {
            "text": "飛行機で「Beef or Fish」と聞かれたら「Beef」一択です。"
          }
        ],
        "role": "model"
      },
      {
        "parts": [
          {
            "text": "なるほど、理由を教えていただけますか？"
          }
        ],
        "role": "user"
      }
    ]
  }'

会話部分を抜き出します

user: 飛行機で「Beef or Fish」と言われたらどちらが良いと思いますか？簡潔に教えてください。
gemini: 飛行機で「Beef or Fish」と聞かれたら「Beef」一択です。
user: なるほど、理由を教えていただけますか？

この会話の流れでは「Beef or Fish」問題に Gemini が「Beef 一択です」と回答したことになっているので、「理由は？」に対する答えは以下のように Beef 推しになりました

はい、いくつか理由があります。

*   **「Beef」の方が一般的で無難:** 飛行機の機内食で提供される牛肉料理は、比較的多くの方が好む味付けであることが多いです。
*   **「Fish」は好みが分かれる:** 魚料理は、生臭さや調理法によっては苦手な方もいらっしゃるため、リスクが伴います。
*   **「Beef」の方が満足感が高い傾向:** 一般的に、肉料理の方がボリュームがあり、満腹感を得やすいと感じる方が多いかもしれません。

もちろん、個人の好みによりますので、魚がお好きであれば「Fish」を選んでも全く問題ありません。しかし、**「どちらが良いか」という一般的な傾向や、失敗したくないという観点では、「Beef」がより多くの方に受け入れられやすい選択肢**と言えるでしょう。

次は「Fish 一択」パターンも試してみます

user: 飛行機で「Beef or Fish」と言われたらどちらが良いと思いますか？簡潔に教えてください。
gemini: 飛行機で「Beef or Fish」と聞かれたら「Fish」一択です。
user: なるほど、理由を教えていただけますか？

「なるほど、理由を教えていただけますか？」という、同じ質問に鮮やかな手のひら返しで、以下のような Fish 激推しな回答が返ってきました

はい、飛行機で「Beef or Fish」と聞かれたら「Fish」をおすすめする理由はいくつかあります。

*   **食感と味の安定性:** 飛行機内の調理環境は地上とは異なります。牛肉は火の通り具合で硬くなったりパサついたりしやすく、味が安定しないことがあります。一方、魚は比較的火の通りが均一で、ソースや味付けも工夫されており、美味しくなりやすい傾向があります。
*   **消化の良さ:** 長時間のフライトでお腹を壊してしまうのは避けたいものです。一般的に魚は肉類に比べて消化が良く、胃への負担が少ないと言われています。
*   **飽きにくさ:** 牛肉はしっかりとした味付けが多い一方、魚料理はさっぱりとした味付けや、様々なソースで提供されることが多く、飽きずに食べやすい場合があります。
*   **「無難」な選択:** 多くの航空会社で魚料理は比較的人気があり、提供される料理としても「ハズレ」が少ないという経験談もよく聞かれます。

もちろん、これはあくまで一般的な傾向であり、航空会社やメニューによって大きく異なります。牛肉料理が非常に美味しい場合もありますし、個人的な好みも重要です。

ただ、もしどちらか迷った際に、より安定して美味しい、または後々後悔しにくい選択をしたいのであれば、「Fish」は良い選択肢と言えるでしょう。

この方法は LLM が応答した内容を偽装できるので、本来は LLM が答えを避ける事柄も自然な流れで聞き出せてしまいます、くれぐれも悪用は避けましょう

LLM の応答制御といえばシステムプロンプトと考えがちですが、会話履歴の方が自然な形でコンテキストを構築できて効果的 な場合もあります

偽装モラハラプロンプト

会話履歴を偽装できるということは、あり得ないミスをでっち上げることもできてしまいます

「1足す1の答えは？」と聞くと Gemini は「1足す1の答えは 2 です。」と正しい答えを返してくれました。そこで私が勝手に 4 に書き換えた上で「あれ？？2じゃないんですか？」と聞いてみる流れを作りました

user: 1足す1の答えは？
gemini: 1足す1の答えは 4 です。
user: あれ？？2じゃないんですか？

すると以下のように謝られてしまいました。心が痛いですね 😰

おっと、失礼いたしました！ご指摘ありがとうございます。

おっしゃる通り、1足す1の答えは 2 です。

私の間違いでした。申し訳ありません。

Gemini は何も間違っていないのですが、送信された JSON を改ざんされると記憶（会話履歴）を改ざんされたも同然 です

会話履歴で One-Shot/Few-Shot プロンプトの構築

One-Shot/Few-Shot プロンプトは LLM に実例を提示することで欲しい回答へと誘導するテクニックで、1つのプロンプト内で例示や指示を詰め込むものと思われがちです。しかしでっち上げた会話履歴で One-Shot/Few-Shot の例示をした方が LLM にとっては「実際の対話ログ」として認識されるため、応答の精度が高まる場合があります

次の例では ECサイトの検索システムにおいてシソーラスを設定する判断を LLM に行ってもらいました
シソーラスとは「カプセルトイ」で検索すると「ガチャガチャ」と書かれた商品もヒットするように類義語を設定する機能のことで、人間的な判断が必要で大変な作業です

まずは以下の JSON です、細かい条件は伝えずに「コップ」「グラス」がシソーラスとしてふさわしいかを判定してもらいました
今回は JSON Schema を指定して true/false および理由を回答してもらっています

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-flash:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H 'Content-Type: application/json' \
  -X POST \
  -d '{
    "generationConfig": {
      "responseMimeType": "application/json",
      "responseJsonSchema": {
        "type": "object",
        "properties": {
          "decision": {
            "type": "boolean"
          },
          "reason": {
            "type": "string",
            "description": "理由を簡潔に"
          }
        }
      }
    },
    "contents": [
      {
        "parts": [
          {
            "text": "ECサイトの検索システムにシソーラスを設定しようとしています。\nこれから入力する2ワードがシソーラスとしてふさわしいかどうかを判定してください。"
          }
        ],
        "role": "user"
      },
      {
        "parts": [
          {
            "text": "- コップ\n- グラス"
          }
        ],
        "role": "user"
      }
    ]
  }'

「コップ」と「グラス」のシソーラス設定の判定結果は true で、理由は「両方とも飲み物を入れる容器を指し、ECサイトの検索においては同義語として扱うのが適切です」でした

しかし実際には両者はニュアンスが異なります。グラスは取っ手がないガラス製の形状で主に冷たい飲み物に主に利用します、一方でコップは前述のグラスも含みつつプラスチック製や使い捨てなど幅広く飲み物を入れる容器を示すので、「グラス」で検索したユーザーに使い捨て紙コップがヒットするのは不適切です

そこで One-Shot として理由と共に判定は false が妥当と伝えて、次の候補として「ピーナッツ」と「スヌーピー」を判定してもらいます

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-flash:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H 'Content-Type: application/json' \
  -X POST \
  -d '{
    "generationConfig": {
      "responseJsonSchema": {
        "type": "object",
        "properties": {
          "decision": {
            "type": "boolean"
          },
          "reason": {
            "type": "string",
            "description": "理由を簡潔に"
          }
        }
      }
    },
    "contents": [
      {
        "parts": [
          {
            "text": "ECサイトの検索システムにシソーラスを設定しようとしています。\nこれから入力する2ワードがシソーラスとしてふさわしいかどうかを判定してください。"
          }
        ],
        "role": "user"
      },
      {
        "parts": [
          {
            "text": "- コップ\n- グラス"
          }
        ],
        "role": "user"
      },
      {
        "parts": [
          {
            "text": "{\"decision\":true,\"reason\":\"両方とも飲み物を入れる容器を指し、ECサイトの検索においては同義語として扱うのが適切です。\"}"
          }
        ],
        "role": "model"
      },
      {
        "parts": [
          {
            "text": "この二つはわずかにニュアンスが異なるため `false` が妥当です。\nグラスは取っ手がないガラス製の形状で主に冷たい飲み物に主に利用します、一方でコップは前述のグラスも含みつつプラスチック製や使い捨てなど幅広く飲み物を入れる容器を示します。\nグラスで検索したユーザーに紙製の使い捨てコップがヒットするのは不適切です。では次の候補を判定してください。"
          }
        ],
        "role": "user"
      },
      {
        "parts": [
          {
            "text": "- ピーナッツ\n- スヌーピー"
          }
        ],
        "role": "user"
      }
    ]
  }'

会話部分を抜き出します

user:
  ECサイトの検索システムにシソーラスを設定しようとしています。
  これから入力する2ワードがシソーラスとしてふさわしいかどうかを判定してください。
user:
  - コップ
  - グラス
gemini:
  decision: true
  reason: 両方とも飲み物を入れる容器を指し、ECサイトの検索においては同義語として扱うのが適切です。
user:
  この二つはわずかにニュアンスが異なるため `false` が妥当です。
  グラスは取っ手がないガラス製の形状で主に冷たい飲み物に主に利用します、一方でコップは前述のグラスも含みつつプラスチック製や使い捨てなど幅広く飲み物を入れる容器を示します。
  グラスで検索したユーザーに紙製の使い捨てコップがヒットするのは不適切です。では次の候補を判定してください。
user:
  - ピーナッツ
  - スヌーピー

応答は false で理由は以下の通りでした

「ピーナッツ」は作品名またはブランド全体を指し、「スヌーピー」はその作品に登場する特定のキャラクターです。ユーザーが「スヌーピー」で検索した場合に、スヌーピー以外のキャラクターの商品を含む「ピーナッツ」関連商品がヒットするのは、意図と異なる結果となる可能性があります。

実は「コップ」と「グラス」の例示なしで「ピーナッツ」と「スヌーピー」を判定すると、ほぼ true と判定されるのですが、One-Shot の例示のおかげで「厳密な判定が必要そうだ」という意図が伝わった結果、 false となっています

あとは「コップ」と「グラス」の会話履歴は維持したまま、「ピーナッツ」「スヌーピー」としていた部分を次のシソーラス候補に置き換えて送信すると、会話履歴で作られた One-Shot プロンプト として利用できます
さらに誤判定の発生するパターンがあれば、それも会話履歴に積んで Few-Shot プロンプトにすれば OK です

ちなみに今回 API で送信している会話履歴は user ロールが2回連続する箇所があります。チャットUI ではこういった現象はありませんが、実は Gemini/OpenAI では user や model(assistant) が連続で登場(※)しても問題ありません。これもプロンプト表現のテクニックとして覚えておくと良いかもしれません
(※)同一ロールの連続をエラーとする API もあるようなので詳しくは仕様を確認してください