はじめに:ChatGPTの「時間」に関する奇妙な不正確さ
パーソナルアシスタントとしての性能が謳われるChatGPTですが、意外なことに「時刻」を正確に答えるのが苦手です。ユーザーが「今何時?」と尋ねても、正確な時刻を返さない、あるいは間違った情報を提示することが頻繁に報告されています。時には「デバイスのリアルタイムクロックや位置情報にはアクセスできないため、正確な現地時間を伝えることはできません」と回答し、日付のみを強調することもあります。
RedditやChatGPTのフォーラムでもこの問題は頻繁に議論されており、あるユーザーはOpenAIに対し、「自分の認知能力をはるかに上回るAIモデルにとって、これは評判を落とす」と改善を促しています。
なぜChatGPTは時間を告げられないのか?LLMの根本的な性質
「時間を告げる」というタスクは、一般的なコンピューターやスマートフォンにとってはごく簡単なことです。しかし、ChatGPTやGoogle Gemini、AnthropicのClaudeといった大規模言語モデル(LLM)は、非常に異なる目的のために構築されています。これらのAIシステムは、基本的に学習データに基づいてユーザーのクエリに対する回答を予測します。この学習データには、時刻のようなリアルタイムの、絶えず更新される情報が含まれていません。
AIロボットの専門家Yervant Kulbashian氏は、これを「大量の書籍は持っているが、時計がない孤島にいる遭難者」に例えています。言語モデルは言語と単語の空間内で機能し、その空間に入力された情報のみを参照するのです。そのため、特別な手段がなければ、常に移り変わる現在の時刻を認識することはできません。
解決策とトレードオフ:アプリ連携とコンテキストウィンドウの課題
では、OpenAIがChatGPTにシステムクロックへのアクセス権を与えられないのでしょうか?短く言えば、可能です。例えば、エディンバラ大学の研究者Pasquale Minervini氏が利用するデスクトップ版ChatGPTアプリは、正確な時刻を伝えたといいます。これは、アプリが「検索」機能を有効にしており、コンピューターの内蔵時計ツールにアクセスする許可を得ていたためです。OpenAIの広報担当者も、「ChatGPTを動かすモデルは現在の時刻に組み込みのアクセスを持っていないため、最新の事実には検索を呼び出す必要がある」と述べています。
しかし、LLMを常に時刻に「意識」させることにはトレードオフがあります。ChatGPTには「コンテキストウィンドウ」と呼ばれる、一度に「記憶」できる情報量の限りがあります。AIがシステムクロックを参照するたびに、その情報はコンテキストウィンドウに追加されます。Kulbashian氏は、これを「誰かが毎秒ごとに『今5時45分だ』『今5時46分だ』と割り込んでくる」状況に例え、リアルタイムの時刻情報を頻繁に追加しすぎると、AIシステムにとって単なるノイズとなり、混乱を招く可能性があると指摘しています。
時刻以外にも:アナログ時計やカレンダーの認識問題
Minervini氏の研究によれば、ChatGPTが苦手とする時間関連のタスクは時刻の認識だけではありません。アナログ時計の画像を提示しても、モデルは2本の針の位置を正確に読み取ることが困難であるといいます。また、カレンダーの認識も「奇妙だ」と述べており、時間に関する包括的な理解にはまだ課題が残されていることが示唆されています。
根深い問題:AIの限界説明能力
平均的なユーザーにとって、おそらくより大きな問題は、ChatGPTが自身の限界を明確に伝えられない点にあるでしょう。時刻を知らない人間のアシスタントは理解できますが、それを知っているかのように振る舞うアシスタントは解雇されるかもしれません。もちろん、大規模言語モデルは「嘘をついている」わけではなく、単にユーザーが聞きたいであろうことを「予測」しているだけです。OpenAIは、いつ検索を呼び出すべきかをAIが「一貫して認識する方法を改善し続けている」と述べています。
元記事: https://www.theverge.com/report/829137/openai-chatgpt-time-date
