「最強モデル」は用途で変わる:Epoch AI の分野別 ECI とベンダー公表値を並べて、分析・コード・文章の用途別に選ぶ

Epoch AI の分野別 ECI と Anthropic の公表ベンチマーク、各社の API 単価を並べ、信頼区間の重なりから『差があると言える組』を数えました。社内の標準モデルを根拠付きで選びたい方向けの用途別の選び方です。

24分で読めます AI
4本の平行なレーンで、レーンごとに先頭の点が入れ替わり、先頭の点の後ろの半透明の帯が大きく重なっている抽象的なイラスト
この記事は AI が下書きを補助し、運営者が内容を確認して公開しています。

社内で生成AIの標準モデルを決める立場の方に向けて、第三者の指標とベンダーの公表値を、用途別にどう読み分けるかをまとめます。読み終わると「総合1位を選ぶ」以外の、根拠を添えて説明できるモデルの選び方ができるようになります。

この記事で分かること

  • 第三者指標の Epoch ECI では、分野によって首位が入れ替わります。ただし、首位と2位の差を「確かにある」と言える組はほとんどありません
  • ベンダーの公表値は、同じ表・同じ条件の「自社の世代比較」に限って使うと役に立ちます
  • 価格が2〜2.5倍違っても、上位モデル同士の指標差は90%区間の中に収まり、差を断言できないと分かりました

ざっくり言うと:総合1位を選べば済む状況ではない

2026年9〜10月時点の数字を並べると、「どれが最強か」は用途によって答えが変わります。さらに、上位モデル同士の差は測定のぶれより小さいことが多いです。だから、選定の軸は「最強はどれか」ではなく、「用途ごとに十分な性能で最も安いのはどれか」に置き換えるのが現実的です。

この記事で扱うモデルと単価は次のとおりです。単価は API(プログラムからモデルを呼び出す窓口)の入力100万トークンあたりの標準価格で、トークンは文章をモデルが処理する単位に区切ったものです。

モデル会社入力単価(ドル)出力単価(ドル)出典
Claude Haiku 5.5Anthropic0.100.50Haiku 5.5
Claude Sonnet 5.5Anthropic210Sonnet 5.5
Claude Opus 5.5Anthropic420Opus 5.5
Claude Fable 5.1Anthropic1050Fable 5.1
GPT-6 LunaOpenAI0.100.50OpenAI 価格
GPT-6 Sol / GPT-6.1 SolOpenAI210OpenAI 価格
GPT-5.6 SolOpenAI420OpenAI 価格
GPT-6 AstraOpenAI1050OpenAI 価格

Haiku 5.5 の単価はプロンプトが10万トークン以下の場合の値で、それを超えると入力0.50ドルになります。Astra は27万2千トークンを超える長い入力では入力20ドルです。GPT-5.6 Sol は販促価格の記載がありますが、どの額が販促かはページから確認できなかったため、標準表の4ドルを載せています。

なぜ重要か:ベンチマークには3つの「種類」がある

ベンチマーク(同じ課題をモデルに解かせて点数を比べる試験)の数字は、誰が・どの条件で測ったかで信頼の度合いが変わります。この記事では次の3層に分けて読みます。

3段の構造図。上段は第三者の集計である Epoch ECI(90%区間つき)で、モデル同士の大まかな位置の判断に使える。中段はベンダー公表の自社世代比較で、Haiku・Sonnet・Opus の差の大きさに使える。下段はベンダー公表の他社比較で、表記や版が揃わないためこの記事では使わない

図4のとおり、最も優先するのは第三者の集計です。Epoch AI(AI の性能や動向を調べる独立の研究組織)が公開する ECI(Epoch Capabilities Index:複数のベンチマーク結果を1つの尺度にまとめた指標)は、点数に 90%区間(真の値がこの範囲にあると90%の確からしさで言える幅)を付けています。

次に使うのが、ベンダー自身の「同じ表・同じ条件」での世代比較です。会社が自社モデル同士を比べる場合は、条件をそろえやすいからです。

最後のベンダーによる他社比較は、この記事では採用しません。たとえば Claude Fable 5.1 の GDPval-AA という評価の値は、Opus 5.5 のページでは1735(v2.1)、Fable のページでは1853(v2)と版が異なります。同じモデルでもページによって数字が違うため、選定の根拠には向きません。

分析1:分野別 ECI では首位が入れ替わる

まず、Epoch ECI の分野別の点数を並べます。総合・数学・SWE は2026年9月13日時点の値で、Epoch の Astra 分析記事から取りました。SWE はソフトウェア開発の課題を指します。

Cyber はサイバーセキュリティ分野です。この値だけは、10月16日に公開された別の Epoch 記事から取った10月8日時点のものです。

分野1位(点推定と90%区間)2位(点推定と90%区間)時点
総合GPT-6 Astra 166.31(163.00〜171.88)Claude Fable 5.1 164.47(161.36〜168.28)9月13日
数学GPT-6 Astra 169.83(165.98〜175.37)Claude Fable 5.1 165.73(162.84〜175.91)9月13日
SWEClaude Fable 5.1 167.44(161.95〜178.53)GPT-6 Astra 163.58(160.42〜169.82)9月13日
CyberClaude Opus 5.5 171.14(166.66〜177.32)GPT-6 Astra 171.03(166.93〜177.96)10月8日

総合と数学は Astra、SWE は Fable 5.1、Cyber は Opus 5.5 が点推定で首位です。参考として、総合の GPT-5.6 Sol は161.81(159.57〜165.20)でした。

ただし、9月の値と10月の Cyber の値は横に並べて比べられません。Epoch は10月の再計算で上位の点数が下がったため、以前の公表値とは直接比較できないと注記しています。

分析2:「差がある」と言えるのはどこまでか

点推定の順位だけを見ると「SWE なら Fable」と言いたくなります。しかし、区間の幅が差より大きければ、順位は測り直すだけで入れ替わる可能性があります。そこで筆者は、各組について次の2つを計算しました。

点推定の差   = 上位モデルの点推定 − 下位モデルの点推定
区間の重なり幅 = (2つの上限の小さい方) − (2つの下限の大きい方)
               ※ マイナスなら区間が離れている

この記事では「区間が重ならなければ差があると言ってよい」という控えめな目安を使います。区間が重なっていても差がないとは限らないので、重なる場合は「差を断言できない」と表現します。

グループ化した棒グラフ。総合 Astra 対 Fable は差1.84に対し重なり幅5.28、数学は差4.1に対し9.39、SWE は差3.86に対し7.87、Cyber の Opus 対 Astra は差0.11に対し10.39。上位どうしの4組はいずれも重なり幅がプラスで区間が重なる。Cyber の Sonnet 対 Haiku だけは差8.46で重なり幅がマイナス1.49となり区間が離れている

比較する組点推定の差区間の重なり幅判定
総合 Astra 対 Fable 5.11.845.28差を断言できない
数学 Astra 対 Fable 5.14.109.39差を断言できない
SWE Fable 5.1 対 Astra3.867.87差を断言できない
Cyber Opus 5.5 対 Astra0.1110.39差を断言できない
Cyber Sonnet 5.5 対 Haiku 5.58.46-1.49区間が離れている

図1のとおり、上位モデル同士の4組はすべて重なり幅がプラスで、区間が重なっていました(筆者が Epoch の公表値から計算)。判定に使うのは重なり幅がプラスかマイナスかで、点推定の差との大小ではありません。表にない総合 Astra 対 GPT-5.6 Sol も、重なり幅が2.20とプラスなので区間が重なります。

区間が離れていたのは Cyber の Sonnet 5.5 対 Haiku 5.5 だけでした。Opus 5.5 対 Haiku 5.5 も、Haiku の上限161.77が Opus の下限166.66を下回るため、区間が離れています。つまり、はっきり差が出るのは「上位どうし」ではなく「上位と最安クラスの間」です。

SWE の Fable 5.1 は区間が161.95〜178.53と特に広く、根拠のベンチマークは3件だけです。Cyber の Opus 5.5 も4件だけに基づき、Astra とは共通のベンチマークが1つもないと Epoch は書いています。件数が少ないほど区間は広がるので、この2つの「首位」は特に割り引いて読む必要があります。

分析3:Anthropic の世代内比較で分かること・分からないこと

第三者の ECI では、Haiku・Sonnet・Opus の差は Cyber 分野しか確認できませんでした。そこで、Anthropic が自社ページで公表した値を「同じ表・同じ条件」のものに限って使います。Haiku 5.5 のページには、前世代の Haiku 4.5 と Sonnet 5.5 を同じ条件で並べた表があります。

グループ化した棒グラフ。Terminal-Bench 4.0 は Haiku 4.5 が0%、Haiku 5.5 が39.2%、Sonnet 5.5 が70.6%。OSWorld 2.1 オフライン部分集合は15.7%、72.4%、83.9%。Chartography ツールなしは6.4%、46.4%、61.6%で、Haiku 5.5 は前世代から大きく伸びたが Sonnet 5.5 にはどの指標でも届かない

指標(Haiku 5.5 ページの表)Haiku 4.5Haiku 5.5Sonnet 5.5Haiku 5.5 は Sonnet の何%
Terminal-Bench 4.00.0%39.2%70.6%55.5%
OSWorld 2.1(オフライン部分集合)15.7%72.4%83.9%86.3%
Chartography(ツールなし)6.4%46.4%61.6%75.3%

Anthropic の説明では、OSWorld 2.1 は実際のコンピューターを操作して、長く多段階の課題を最後までこなせるかを測る評価です(Haiku 5.5 のページ)。Terminal-Bench 4.0 は、コマンドライン(文字でコマンドを打ってコンピューターを操作する画面)の上で、複雑で多段階の業務課題をこなせるかを測る評価です(Sonnet 5.5 のページ)。

図2から分かるのは、価格が20分の1の Haiku 5.5 でも、OSWorld では Sonnet 5.5 の86%の点数に届くことです(筆者が上の表から計算)。一方で Terminal-Bench 4.0 では55%にとどまります。Anthropic 自身も、Terminal-Bench 4.0 で測るような複雑な エージェント型のコーディング(AI が自分でコマンドを実行しながら開発を進める使い方)には Sonnet 5.5 と Opus 5.5 を勧めています。

もう1つの指標が GDPval-AA です。44職種・9つの主要業界にわたる実務の課題をこなせるかを測る評価で、評価機関の Artificial Analysis が実施し、Anthropic がページに掲載しました(Sonnet 5.5 のページ)。点数は大きいほど良い成績を表します。

GDPval-AA(v2.1)前世代5.5世代伸び
Haiku735(Haiku 4.5)1620+885
Sonnet1449(Sonnet 5)1844+395
Opus確認できなかった1846―

Sonnet 5.5 と Opus 5.5 の差はわずか2で、Opus の単価は Sonnet の2倍です(Sonnet 5.5 のページ)。ただし Sonnet の値は、後に修正された不具合を含む公開前の版で測ったと注記されています。

分からないことも書いておきます。ベンダーの公表値には区間が付いていないため、Sonnet と Opus の2ポイント差が測定のぶれの範囲かは判断できません。また Anthropic は、Opus 5.5 と Fable 5.1 を安全機構を有効にして評価しており、成績が下がっている可能性があると注記しています。

分析4:グラフ読み取り(Chartography)は分析担当にとって何を意味するか

データ分析の担当者にとって気になるのが Chartography です。Opus 5.5 のページには「visual chart recognition(図表の視覚的な認識)」とだけ括弧書きがあり、詳しい定義はどのページにも書かれていませんでした。そのため「グラフの読み取りに関係する評価と考えられる」という程度にとどめます。

注意したいのは、ページによって条件が違う点です。

条件モデル点数出典
ツールなしHaiku 5.546.4%Haiku 5.5 ページ
ツールなしSonnet 5.561.6%Sonnet 5.5 ページ
ツールなしOpus 5.564.4%Sonnet 5.5 ページ
ツールありFable 5.188.4%Opus 5.5 ページ
ツールありOpus 5.589.0%Opus 5.5 ページ

「Sonnet 5.5 の61.6%から Opus 5.5 の89.0%へ」と並べたくなりますが、前者はツールなし、後者はツールありで、条件が違います。同じ条件どうしで比べると、ツールなしの Opus 5.5 と Sonnet 5.5 の差は2.8ポイント、ツールありの Opus 5.5 と Fable 5.1 の差は0.6ポイントです(筆者計算)。

次の比較は、同じ表にない値どうしである点に注意してください。Opus 5.5 のツールなし64.4%(Sonnet 5.5 のページ)とツールあり89.0%(Opus 5.5 のページ)の差は24.6ポイントです(筆者計算)。

同じ測定で比べたものかは確認できないため、断言はできません。それでも、モデルを変えるよりも「ツールを使える状態で動かす」ほうが、点数への影響が大きい可能性があります。分析業務に使う場合は、自社のグラフで試すのが確実です。

分析5:価格と性能の散布図で「10倍払う価値」を見る

最後に、価格と性能を1枚に並べます。Haiku・Sonnet・Opus の総合 ECI は、今回参照した Epoch の記事に載っていません。そこで、3モデルがそろって載っている Cyber ECI を縦軸にしました。

散布図。横軸は入力100万トークンあたりの単価、縦軸は Cyber ECI。0.10ドルの Haiku 5.5 が158.88、GPT-6 Luna が157.31、2ドルの Sonnet 5.5 が167.34、GPT-6 Sol が164.17、GPT-6.1 Sol が168.89、4ドルの Opus 5.5 が171.14、10ドルの GPT-6 Astra が171.03で、4ドルから10ドルに上げても点数は上がっていない

モデル入力単価(ドル)Cyber ECI1つ下の価格帯からの変化
GPT-6 Luna0.10157.31―
Claude Haiku 5.50.10158.88―
GPT-6 Sol2164.17―
Claude Sonnet 5.52167.34Haiku から単価20倍で +8.46(区間は離れている)
GPT-6.1 Sol2168.89―
Claude Opus 5.54171.14Sonnet から単価2倍で +3.80(区間は5.02重なる)
GPT-6 Astra10171.03Opus から単価2.5倍で -0.11(区間はほぼ一致)

図3と表のとおり、単価を0.10ドルから2ドルへ上げる段階では、区間が離れるほどの差が出ました。一方、2ドルから4ドル、4ドルから10ドルへの段階では、差は区間の中に収まります(筆者が Epoch と各社価格ページの値から計算)。

つまり「10倍払う価値」がはっきり見えるのは最安クラスから中位クラスへの段差だけで、中位より上は価格ほどの差を確認できませんでした。なお GPT-6 Sol と GPT-6.1 Sol の区間、Fable 5.1 と GPT-5.6 Sol の Cyber ECI は今回のデータにないため、判定から外しています。

どう使うか:用途別の推奨表

ここまでの分析を、用途別の「まず試す候補」にまとめます。根拠となる指標が弱い用途は、その旨も書いています。

用途まず試す候補(価格帯)根拠にした指標注意点
グラフ読み取り・レポート作成Sonnet 5.5(2ドル)Chartography ツールなしで Opus と2.8ポイント差指標の定義が未公開。ツールありの値とは比べない
コード生成・開発支援Sonnet 5.5(2ドル)、難しい課題は Opus 5.5Terminal-Bench 4.0 は Sonnet 70.6%、Opus 66.4%(xhigh 設定。どちらも Sonnet 5.5 のページの同じ表の値)SWE ECI の Fable 首位は区間が広く件数3件
業務文書などの知識作業Sonnet 5.5(2ドル)GDPval-AA(44職種の実務課題)で Opus と2の差Sonnet は不具合修正前の版で測定。区間がないため2の差がぶれの範囲かは不明
PC 操作の自動化Haiku 5.5(0.10ドル)から試すOSWorld 2.1(実際のコンピューター操作)で Sonnet の86%失敗のコストが大きい業務は Sonnet と比べて決める
大量の分類・下処理Haiku 5.5 または GPT-6 Luna(0.10ドル)直接の指標はなし。Cyber ECI では上位と区間が離れる自社データで正解率を測ってから決める
サイバーセキュリティ系の課題Opus 5.5(4ドル)Cyber ECI で Astra と差を断言できず、単価は2.5分の1Opus は4件のみ、Astra と共通ベンチマークなし。社内のセキュリティ業務全般の性能を示す指標ではない

この表は「最も安く、十分な性能が出そうな候補」を示すものです。最終的には、自社の代表的な業務10〜20件ほどで候補を比べると、社内への説明がしやすくなると考えられます。

つまずきやすい点

得点は更新で動く

ECI は新しい結果が加わるたびに計算し直されます。Astra の総合 ECI は、9月3日の公開時点の169.23(9件のベンチマーク)から、9月13日には166.31(16件)へ2.92ポイント下がりました。Epoch は、ソフトウェア開発のベンチマーク結果が増えたことが理由だと説明しています。

同じ10日間に Fable 5.1 は162.88から164.47へ1.59ポイント上がりました。その結果、両者の差は6.35から1.84へ縮んでいます(筆者計算)。公開直後の数字で社内資料を作ると、10日後には説明が合わなくなる場合があるということです。

9月3日   Astra 169.23  Fable 162.88  差 6.35
           ↓ ベンチマークが 9件 → 16件 に増えて再計算
9月13日  Astra 166.31  Fable 164.47  差 1.84

よくある誤解

  • 「区間が重なる=性能は同じ」ではありません。重なる場合は「この情報だけでは差を断言できない」という意味です
  • 「ツールあり」と「ツールなし」の点数は、同じ評価名でも比べられません
  • 同じモデルの同じ評価でも、ページによって値が違うことがあります。Sonnet 5.5 の OSWorld 2.1 は Sonnet のページで80.1%(partial 採点)、Haiku のページで83.9%(オフライン部分集合)です
  • GDPval-AA の Sonnet 5.5 も、Sonnet のページでは1844、Haiku のページでは1840と、ページによって値が違います

まとめ

  • 上位モデル同士の差は、総合・数学・SWE・Cyber のどれでも90%区間の中に収まり、首位を断言できる分野はありませんでした
  • はっきり差が出たのは最安クラスと中位クラスの間で、中位から上は単価が2〜2.5倍でも差を断言できませんでした
  • 多くの用途では Sonnet 5.5 のような中位モデルを基準にし、PC 操作や大量処理は Haiku 5.5 などの最安クラスを自社データで試すのが、根拠を説明しやすい選び方です

参考にした一次情報