一般的に、言語ベースのタスクにはChatGPT、画像や動画も扱いたい場合はマルチモーダルAIのGeminiが適するといわれる。マルチモーダルとは、数値や画像、テキスト、音声など複数種類のデータを組み合わせて、あるいは関連付けて処理できることを意味する。

　カーネギーメロン大学（Carnegie Mellon University）とAIベンダーBerriAIは、より公平で詳細な回答ができるAIモデルの開発を目指し、検証を進めている。検証では、10種類の言語ベースのタスクを用いてGeminiのLLM「Gemini Pro」の性能を評価し、ChatGPTのLLM「GPT-3」「GPT-4」の性能と比較した。

　結果、Gemini Proは長文や複雑な推論プロセスの処理、言語翻訳が得意なことが分かった。一方で短所として以下が挙げられた。

• 数学的推論においては、数字が大きくなるほど推論に苦戦した
• 多肢選択式の問題に対する回答内容にバイアス（偏り）が見られた
• コンテンツフィルタリング機能により、回答がブロックされやすい傾向にあった

　研究者による総括では、Gemini ProはGPT-3やGPT-4の性能には及ばないが、複雑な推論が可能な点や、推論の深さにおいて強みを発揮する、と結論付けられた。

　フューチャリスト（未来学者）であり、書籍「Generative AI in Practice」の著者でもあるバーナード・マー氏は、「Geminiの性能はChatGPTと同じレベルに達しつつある」と評価する。ChatGPTが対話型のユーザーインタフェースとして秀でているのに対し、Geminiは効率的な情報処理やタスクの自動化に向いている、というのがマー氏の見解だ。

共通の課題も

　ペンシルベニア大学（University of Pennsylvania）でAI技術を研究するイーサン・モリック氏は、Googleが2024年2月に発表した生成AIサービス「Gemini Advanced」について、「ChatGPTとほぼ同等のレベルに達した初のAIモデル」と評価した。

　検証によると、Gemini Advancedに搭載されるLLM「Gemini 1.0 Ultra」は説明や検索において優れた性能を発揮したという。一方のGPT-4は、テキストベースの難しいタスクの処理や、ソースコードの生成、解説が得意だった。

　モリック氏はChatGPTとGemini Advancedの共通の課題として、「回答に一貫性がなく、想定していた以上に不正確な回答を出力する幻覚（ハルシネーション）が起きた」ことを挙げる。

　OpenAIとGoogleは、どちらもハルシネーションのリスクをユーザーに周知している。ChatGPTとGeminiのプロンプト入力画面の下部には免責事項が記載されており、機密情報を入力しないよう警告が出ている。

　Geminiの公式WebサイトにおけるFAQ（よくある質問とその答え）には、次のようなアドバイスが掲載されている。

• Gemini は家族、友人、教師、医師など、大切な人々の代わりになることはできません
• Gemini はユーザーの代わりに仕事をすることはできません
• Gemini はユーザーに代わって人生の重要な意思決定を行うことはできません

「ChatGPT」「Gemini」以外のAIモデルにも注目

　生成AIは日進月歩の技術だ。ChatGPTとGemini以外にも、以下のようなさまざまな生成AIサービスが提供されている。

• AIベンダーAI21 Labsのリライト（テキストの書き換え）ツール「Wordtune」
• OpenAI の元メンバーによって設立されたAIベンダーAnthropicのチャットbot「Claude」
• AIベンダーGlean TechnologiesのAIアシスタント「Glean」
• AIベンダーJasper AIのマーケティング向け生成AIツール「Jasper」（旧称「Jarvis」）
• AIベンダーWritesonicのチャットbot「ChatSonic」
• 中国の検索エンジン大手Baidu（百度）のAIチャットbot「ERNIE Bot」（中国名：文心一言）

　次回は、ChatGPTとGeminiに同じプロンプトを渡した際の出力内容を比較する。