猫でもわかるWeb開発・プログラミング

本業エンジニアリングマネージャー。副業Webエンジニア。Web開発のヒントや、副業、日常生活のことを書きます。

Grok 3 の DeepSearch を使ってみるたら Grok の回答にの誤りがあった

DeepResearch について

ChatGPT に DeepResearch という機能が追加され、これがすごいと話題になっている。

ChatGPT に質問を投げると Web を検索した結果をいい感じにまとめて返してくれるので、自分で色々検索する手間が省けるし、そのまとめ能力が高いと話題です。

ただし、ChatGPT の DeepResearch を使うには月額200ドルの Pro プランに加入する必要があり、個人で利用するには少し高い金額です。

Google の生成AI Gemini も Deep Research 機能を搭載しており、こちらは月額20ドル程度と、 ChatGPT に比べてかなり安価に使えるが、精度はイマイチとのこと。

いろんな LLM の Deep Research については、このページがよくまとまっている。

note.com

ただ、最近 X の AI「Grok」に DeepSearch という機能が搭載され、こちらは無料で使えるので使ったみた。

Grok DeepSeach の利用上限

無料の Grok DeepSearch では、24時間あたり10回の質問ができます。

使ってみた感想

悪くないと思います。ただ、たまに間違えることがありますね。

例えば、iPhone 15 Pro Max 以降に搭載されている光学5倍ズーム機能について

質問内容は以下

その結果の中の「直接回答」と言うセクションの内容がこちら

こちらの内容は間違ってなさそうです。

一方で、「詳細な調査報告」として、iPhone 15 Pro以降の光学5倍望遠レンズについてまとめてくれていますが

この部分には誤りがあります。iPhone 16 については、Pro と Pro Max の両方に光学5倍ズームが搭載されていますが、Grok の返答だと Pro Max にしか搭載されていないと書かれており、誤りです。

情報収集の過程を見ることができるので、みてみます。

Apple 公式ページの仕様を確認しているようですが、Apple のページを見てみても、3倍ズームの記載はなさそうです。ちゃんと公式ページを参照しているにも関わらず情報を誤ってしまうのは微妙な気がします。

この後、試しに以下の質問を送ってくれました。

すると

今度は、iPhone 16 Pro が光学5倍ズームを搭載しているとの回答に変わりました。

最近読んだ AI 関連記事

けんすうさんの記事を読みました。有料記事ですが、途中までは無料で読めます。

kensuu.com

この中で、AI に向いているのは「自分に詳しい分野のものをやる」とあります。今回のケースもこれに当てはまっていて、自分が iPhone に詳しいので iPhone の情報が間違っていることに気づきましたが、 iPhone に詳しくない人はこの誤りに気づきません。

なので、現状 Grok の DeepSearch は、補助的に使うことができます。ざっくり DeepSearch にやらせた後で、詳細な裏付けは後ほど自分で行うとかですね。DeepSearch だけで何かをやろうとすると、誤りが含まれる可能性があるため、難しそうです。