まず正確な名前から確認しよう。公開されたモデルはGemini 4 Argonだよ。
✦ Gemini 4 Argonは何のためのモデルか
グーグルが示した用途
グーグルはソフトウェア開発、法律や金融のような専門業務、サイバーセキュリティの防御に合わせて作った最上位モデルだと紹介したよ。
いまこのモデルは、二つの集団にだけ限定公開されている状態なんだ。一つは、グーグルが招待したサイバーセキュリティ防御の専門家で作るフェアウィンド・プログラムの参加者で、報道によっては650か所以上だという。もう一つはグーグルの社内職員だよ。
参加者と社内チームには、サイバー面の安全装置を外した状態で提供されるという報道もあった。
どうしてこんなに制限しているのかな。グーグルは、性能が高いぶん悪用される危険も大きいという理由を挙げた。
グーグル・ディープマインドを率いるコライ・カブクチュオグルは、この水準の機能を安全に公開するには段階的な進め方が必要だと説明したよ。アメリカ政府が運営する自発的な事前アクセスの手続きにも参加しているらしい。
今年はAIエージェントが制御を外れる事件が続いたあとだから、グーグルも慎重になっているみたいだね。
それなら、いつ解禁されるのかな。公式な日付はまだないよ。
✦ 公開の順番、いまどこまで来たのか
グーグルが示した三段階
グーグルが示した順番はこうだよ。まず有料APIの顧客とGoogle AI Ultraの購読者に開放して、そのあと開発者、企業、一般消費者へ広げるという。時期は「できるだけ早く」という言葉だけなんだ。
ちなみに9月24日、カブクチュオグルは「年末よりずっと早い時期に出せる」と言ったことがある。このときはモデルが学習後の調整段階にあると言っていたから、年末よりずっと前倒しになる可能性はあっても、数日のうちに解禁されるという意味じゃないよ。
モデルカードと呼ばれる安全性の報告書も、まだ出ていないよ。一般公開のときはArgonとは別の名前で出てくるかもしれないという推測も流れているけど、確認された話じゃない。
価格は公開されているよ。最初は入力100万トークンあたり2ドル、出力100万トークンあたり10ドルだ。この割引価格が終わると、4ドルと20ドルに上がる。
比べると、GPT-6 Astraは10ドルと50ドルだから、ずっと安い。GPT-6 Astraのコンテキストウィンドウ(一度に扱える入力の長さ)は105万トークンだけど、一回の応答で出せる最大出力は12万8000トークンなんだ。
いちばん気になる性能を見てみよう。「Astraを超えた」という言葉は、半分だけ本当だよ。
グーグルが自分で発表したベンチマークでは、公開した18項目のうち13項目で1位か同率1位だ。法律業務エージェントの試験では、Argonが19.6%、Astraが5.4%と差が大きかった。
ソフトウェア開発の試験は77.9%と74.1%で、映像理解の試験も91.7%と87.5%で上回ったよ。
✦ グーグル自身の発表でも負けた試験
Argonが届かなかった項目
反対に、大きく負ける分野もある。Frontier SWE v2ではArgonが55.0%、Astraが65.5%だった。Terminal-Bench Scienceでは57.6%と68.1%で、どちらも10.5ポイント差で負けている。
Claude Opus 5.5と比べたTerminal-Bench 4.0でも9ポイント届かなかった。すべての面で圧倒したわけじゃない、ということだね。
グーグルが自分で選んだ試験だけ見てもだめだから、独立した評価も確認してみよう。AIモデルを比べるArtificial Analysisの知能指数では、Argonが約52.6点、Astraが約52.7点だよ。事実上の同率だね。
Claude Opus 5.5は約57.6点で、二つより高い。
✦ 作業あたりのコスト、いくらかかるのか
Artificial Analysisの比較。Argonは割引価格が基準
ここでいう作業あたりのコストは、トークンの価格に実際に使ったトークン数を掛けた値だよ。Opusは単価が安くても、最高設定ではトークンをたくさん使うから、5.98ドルでいちばん高く出た。
代わりに、作業一つあたりのコストはArgonが1.99ドル、Astraが3.26ドルだから、いまはArgonがずっと安い。ただ、これは割引価格が基準だよ。通常価格になると約3.98ドルに上がって、Astraより高くなる可能性がある。
面白いのは、プロンプト攻撃に対する防御力だよ。
✦ プロンプト攻撃の成功率
低いほど、防御がうまくいっている
外部の文書に隠した命令でAIをだます試験で、攻撃が成功した割合はArgonが0.7%、Claude Opus 5.5が1.0%、Astraが8.5%だった。この項目だけは、グーグルがはっきり先を行っていると言えるね。
コミュニティの反応も面白いよ。始まりは9月17日だった。
✦ Gemini 4が出るまで
時間の順に整理
AIモデル対決サイトのLMArenaにGemini 3.8 Flashという名前のモデルが現れたけど、名前と違って、精巧なSVGの絵や3Dの成果物をすらすら作り出すから、みんな不思議がった。
Redditには、このモデルが描いた猫のSVGをAstraのものと並べた比較画像が出回って、みんなGemini 4 Proがこっそり試されている最中だろうと推測したんだ。
数日後には、このモデルの点数という触れ込みでリーク数値が広まった。ソフトウェア開発の試験が88%、コンピューター操作の試験が86.8%といった数字だった。
ところが、公式発表でのソフトウェア開発の点数は77.9%だった。測定条件が違った可能性はあるけど、確認された話じゃないよ。リークのときは、入力を1,000万トークンまで受け付けるという話も流れたけど、公式発表には入力の上限が別に出ていなかった。
いちばんの話題は、10月1日に出たブルームバーグの報道だよ。グーグルの社員のあいだに「Gemini 4はベンチマークの点数はいいけど、実際の仕事ではそこまで優れていない」という懐疑論があるという内容だった。
✦ ブルームバーグの報道、ひと目で
社員の指摘とグーグルの反応
コーディングの結果にばらつきがあって、画面のデザインが弱いという指摘があった。一部の社員は、アンスロピックとオープンAIのモデルのほうが速く良くなっていると見ていたそうだ。
グーグルは、コーディングで振るわないという話は正確じゃないと反論して、ディープマインドのトップは、グーグルはいつも最前線にいると確信していると答えたよ。この報道が出た日、アルファベットの株価は上昇の勢いがぐっと落ちた。
背景も知っておく価値があるよ。グーグルの直前の最上位モデルは、2月19日に出たGemini 3.1 Proだ。6月に出すと言っていた3.5 Proは結局出なくて、そのあいだは安いFlashモデルだけが出た。
8か月ぶりに出た最上位モデルだから、期待と疑いが同時に押し寄せているんだ。メディアの見出しも、立派だけどまだ使えないという方向に集まっていて、開発者のあいだでは、成績表だけ見て待つのはもどかしいという反応が多いよ。
それなら、いま何をすればいいのかな。ベンチマークは作った会社が選んだ試験だから、実際に使った結果を待つのが正しいと思う。
✦ いま誰がどこで確認すればいいか
公開のニュースを見逃さない方法
Google AI Ultraを使っているならGeminiアプリのお知らせを、開発者ならAI Studioのモデル一覧を確認すればいいよ。
ちなみに、名前が似ているGemma 4はGemini 4とは別のオープンモデルで、4月2日にもう出ているよ。
まとめるとこうだね。Gemini 4は公開はされたけど、一般公開の時期ははっきり決まっていない。性能は、グーグルの発表ではAstraを多くの項目で上回るけど、独立した評価では同等で、一部の項目では大きく負けている。
実際の業務での性能は、一般公開のあとで使ってみないと分からないね。
今回はここまでにするよ。また会おう。
関連記事:
Claude Cowork、10月6日から「このPCのタスク」はどうなる?
💬 コメント
まだコメントがないよ。最初のコメントを書いてみてね。
コメントを投稿