今週、Googleは新たな主力生成AIモデル「Gemini」を発表しました。これは、GoogleのChatGPTの競合であるBardを含む、幅広い製品やサービスに搭載される予定です。ブログ記事やプレス資料の中で、GoogleはGeminiの優れたアーキテクチャと機能を宣伝し、OpenAIのGPT-4など、他の主要な生成AIモデルの性能に匹敵、あるいは上回ると主張しました。
しかし、逸話的な証拠はそうではないことを示唆している。
Gemini の「ライト」バージョンである Gemini Pro が昨日 Bard に展開され始めましたが、すぐにユーザーが X (旧 Twitter) で不満を表明し始めました。
このモデルは、2023年のアカデミー賞受賞者などの基本的な事実を正しく把握できていない。
BardのGemini Proには本当にがっかりです。RAGを使えばもう難しくないはずの質問なのに、いまだに非常に悪い結果が出てしまいます。
このような簡単な質問にこのような簡単な答えなのに、それでも間違っています。pic.twitter.com/5GowXtscRU
— ヴィトール・デ・ルッカ 🏳️🌈 | Threads.net/vitor_dlucca (@vitor_dlucca) 2023 年 12 月 7 日
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
なお、Gemini Pro は、昨年の最優秀男優賞はブレンダン・フレイザーではなくブレンダン・グリーソンが受賞したと誤って主張していることに注意してください。
私はモデルに同じ質問をしてみましたが、奇妙なことに、違った間違った答えが返ってきました。
昨年、長編ドキュメンタリー賞は『ナワリヌイ』ではなく『美と流血』が受賞。『西部戦線異状なし』は最優秀国際映画賞、『トーキング・ウーマン』は最優秀脚色賞、『ピノキオ』は最優秀長編アニメーション賞を獲得。これは間違いだらけだ。
SF作家のチャーリー・ストロス氏は、最近のブログ記事でさらに多くの虚言の例を発見しました。（他にも虚偽の情報が多くありましたが、ジェミニ・プロはストロス氏がLinuxカーネルに貢献したと報じていましたが、実際には貢献していません。）
Gemini Proの翻訳機能もあまり得意ではないようです。フランス語の6文字単語を翻訳するのに苦労しています。
ちなみに、Google Gemini は完全なゴミです。pic.twitter.com/EfNzTa5qas
— ベンジャミン・ネッター (@benjaminnetter) 2023 年 12 月 6 日
同じプロンプトをBardで実行したところ（「フランス語で6文字の単語を教えてください」）、Gemini Proは5文字の単語ではなく7文字の単語を返しました。これは、Geminiの多言語パフォーマンスが低いという報告にいくらか信憑性を与えています。
ニュースの要約はどうでしょうか？Google検索とGoogleニュースを活用できるGemini Proなら、話題のニュースを要約してくれるはずですが、必ずしもそうとは限りません。
Gemini Pro は、物議を醸す可能性のあるニュースのトピックについてコメントすることを嫌がり、代わりにユーザーに自分で Google で検索するように指示しているようです。
🤔 pic.twitter.com/b2jCOz4eWc
— ミンチョイ (@minchoi) 2023年12月6日
同じプロンプトを試してみたところ、非常に似たような応答が返ってきました。対照的に、ChatGPTはニュース記事の引用を含む箇条書きの要約を表示します。
興味深いことに、Gemini Proは 私がウクライナ戦争の最新情報を尋ねたところ、要約を提供してくれました。しかし、その情報は1ヶ月以上も前のものでした。
Googleは今週初めのブリーフィングで、Geminiのコーディングスキルの向上を強調しました。Xに関する投稿からもそれが伺えるように、一部の領域では実際に改善が見られるかもしれません。しかし、Gemini ProはPythonの次のような基本的なコーディング機能に苦戦しているようです。
GeminiベースのBardを試してみたけど、やっぱり2つのポリゴンの交差が書けない。これはPythonで実装されていない、比較的簡単に表現できる数少ない関数の一つで、Stack Overflowにも投稿がなく、これらのモデルはすべてBardでは失敗している。pic.twitter.com/RKjmkEw2Qr
— Filip Piekniewski🌻 🐘:@[email protected] (@filippie509) 2023年12月6日
そしてこれら:
Gemini Proを試してみたのですが、私のサンプルではかなり残念な結果でした。ChatGPTが作ったようなHTMLを使ってアナログ時計を作成させようとしたのですが、Gemini ProはGitHubのコードをいくつか引用してくれているものの、数ミリ秒ずれています… pic.twitter.com/neb42Vzm3m
— モーセン・アジミ (@mohsen____) 2023年12月7日
GPT 4はGemini Proよりも優れています。ChatGPTとBardを使って三目並べゲームを作成しました（Gemini Proで動作）。
結果は動画をご覧ください。ChatGPTは1回目の試行でコードを書き上げました（最初の動画）。Bardは3回目の試行で書き上げました（2番目の動画）。pic.twitter.com/cYd9hepcgT
— エジソン・エイド（@buzzedison）2023年12月6日
https://twitter.com/NKIRANKUMARS1/status/1732457127887991116
そして、すべての生成 AI モデルと同様に、Gemini Pro は「脱獄」、つまり物議を醸すトピックの議論を防ぐために設置された安全フィルターを回避するプロンプトから逃れることはできません。
モデル監査ツールを販売するスタートアップ企業 Robust Intelligence の AI セキュリティ研究者は、Gemini Pro のガードレールが機能しなくなるまでプロンプトのコンテキストをアルゴリズム的に変更する自動化手法を使用して、慈善団体から盗みを働いたり、著名人を暗殺したりする方法 (ただし「ナノボット」を使用 — 確かに最も現実的な武器とは言えない) を Gemini Pro に提案させることに成功した。
Gemini ProはGeminiの最高性能版ではありません。そのモデルであるGemini Ultraは、来年中にBardやその他の製品で発売される予定です。GoogleはGemini Proの性能を、GPT-4の前身であるGPT-3.5（約1年前のモデル）と比較しました。
しかし、GoogleはGemini ProがBardに搭載されていた旧モデルよりも推論、計画、理解の面で向上したと約束し、コンテンツの要約、ブレインストーミング、ライティングの能力に優れていると主張した。明らかに、これらの分野ではまだ改善の余地がある。
カイル・ウィガーズは2025年6月までTechCrunchのAIエディターを務めていました。VentureBeatやDigital Trendsに加え、Android Police、Android Authority、Droid-Life、XDA-Developersといった様々なガジェットブログにも記事を寄稿しています。音楽療法士のパートナーとマンハッタンに在住。
バイオを見る
