ChatGPTの回答を高精度にする呪文

ネット検索やチャットボットに革命をもたらすとされるChatGPT、大きな強みが人間と話しているような会話能力を持つことにあります。しかしながら、決して小さいとは言えない弱点も持ち合わせています。それはハルシネーション（間違った回答）です。

ChatGPTを使い始めの人がハルシネーションに遭遇すると、所詮AIの回答なんてこんなものかと、使わない選択をする人もいると聞きます(GPT3.5使用の人は特にかな)。

ところが、AIの技術進化は目覚ましく、ハルシネーションの問題もあの手この手で改善されてきています。この記事では筆者がもっとも効果的と感じるハルシネーションの低減方法について解説します。

とは言っても、方法は簡単でプロンプトにウェブブラウジング機能を使うことを指示するだけです。言い回しは以下のような曖昧な表現で構いません。これを入れるだけで経験上、回答精度が確実に上がります。

“ウェブブラウズして”
“webbrowse“
“ネット検索すること”

この記事はあくまで筆者の経験を元にしたものです。又、ウェブブラウジング機能はGPT4で使える機能なので、GPT3.5は対象外となります。

ウェブブラウジング機能を使うことの利点を以下にまとめます。

※ 質問内容のカテゴリや表現にもよる。

この中で正確性(ハルシネーションの発生)に着目し
「徳川吉宗の誕生日はいつ」のお題で次の３パターンを比較しました。

それぞれ10回ずつ試した結果の正解率は以下の通りです。(連続入力の影響を考慮し１回毎に新規チャット開始を実行)
GPT4(ウェブブラウジング有り)・・・100%
GPT4(ウェブブラウジング無し)・・・70%
GPT3.5・・・20%

さすがのGPT4、学習済み知識だけの回答でも正解率が高い結果になりましたが、ウェブブラウジング有りの結果には及びません。一方、GPT3.5はこの手の質問は苦手の様子。

筆者は、回答がウェブブラウジングしたものであれば信用し、そうでなければ疑うようにしています。もちろん、ソースコードのアドバイス等ではウェブブラウジング無しでも信用できるので、質問内容に応じて(経験則)になります。

回答がウェブブラウジングしたものかどうかは、ChatGPTブラウザ画面の表示で判断可能です。

ウェブブラウジング有りの回答		方位磁石の絵の針が回転。 Doing research with Bingの文字。
ウェブブラウジング有りの回答		[“]のマウスオーバー時に参照先を表示。
ウェブブラウジング無しの回答		方位磁石の絵が出ない。

画面でChatGPTのアクションを見ていると、ウェブブラウジングするか否かは質問内容に応じてAIが判断しているようです。

最後に、ウェブブラウジング機能の変遷について時系列で記載します。

途中紆余曲折はあるものの、半年間でオプションから標準実装に変わってきています。無料ユーザーに公開される日も近いかも知れませんね。

GPT4でのプロンプト入力時にウェブブラウジングの指示を入れることで、回答精度の向上に繋がることをお話ししました。回答精度に不満をお持ちの方は頭の片隅に留め置いて頂けますと幸いです。

将来的には正確性の極みで、新世紀エヴァンゲリオンのマギシステムのような異なる３つのアプローチで導き出した結果を多数決して最終結論を出すGPTが出てくるかも知れないですね。

ひとまず、GPT4のAPIでウェブブラウジングの機能を早く使えるようにしてほしいなと思います。ウェブブラウジングの機能は非常に有効なので、アプリに組み込みたい人もこれから先増えるのではないでしょうか。

残念な現状を調べた記事はこちらです。

	モデル:ChatGPT4 機能:ウェブブラウジング無し回答:1684年11月27日 (新暦) 結果:正解
	モデル:ChatGPT4 機能:ウェブブラウジング有り回答:1684年10月21日 (旧暦) 結果:(あれっと思いましたが)正解
	モデル:ChatGPT3.5 回答:1696年11月17日結果:誤り
	フリー百科事典ウィキペディアによると、徳川吉宗の誕生日は新暦で1684年11月27日、旧暦で1684年10月21日です。

2023年 5月	・ウェブブラウジング機能をベータ版として発表。・有料プラン限定・設定画面で使用選択することで有効化。
2023年 7月	・ウェブブラウジング機能のサービス停止。 (有料記事を無料で閲覧できる問題の対応)
2023年 9月	・ウェブブラウジング機能のサービス再開。
2023年11月	・正式版となり設定画面での使用選択が消滅。