GPT-6 Astra ベンチマーク: 購入前に監査すべき7つのスコア

スコアは、結果であり、ハーネスであり、ツールスタックであり、予算判断でもある。来週のブラウザQA、コーディング、リサーチ作業のためにエージェントを選ぶなら、GPT-6 Astraベンチマークは有益なエビデンスであって、本番導入の判定ではない。

端的に言えば、Astraのコンピューター操作とターミナルの結果は、実務への最も明確な道筋を示すローンチ時の数値である。99.9%のARC-AGI-3結果は、特定のベンチマーク設定に関する顕著なシグナルだが、それだけでは本番環境での障害率を予測できない。各スコアは、権限、ツール、リトライ、受け入れテスト、レビューの経路に対して監査すべき主張として扱うこと。

OpenAIは、OSWorld 2.0で72.6%、Terminal-Bench 4.0で57.9%、Terminal-Bench Science 0.1で64.6%、AutomationBenchで41.4%、BenchCADで95.9%、Artificial Analysis Intelligence Indexで61.2、ARC-AGI-3で99.9%を報告している。これら7つの数値は、それぞれ異なる問いに答えるものである。有用なパイロットは、それらを分けて扱うことから始まる。

重要なポイント

• コンピューター操作は、ほとんどのチームがテストできるローンチ時のシグナルである。
• スコア、バージョン、ハーネス、ツール、努力量を併せて読むこと。
• OSWorld、Terminal-Bench、AutomationBenchは、異なる作業をテストする。
• 飽和したスコアは、本番環境での障害を消し去るものではない。
• 15分の監査で、安全な最初のパイロットを定義できる。

ベンチマーク証拠の監査シーケンスを表すイラスト（紙のカード、フォルダー、ストップウォッチ、レビューアー）

ベンチマークの主張を読み解くための監査シーケンスのイラスト：パイロット判断の前に、証拠カードとタイミングメモがレビューされる。これは監視付きレビュープロセスを示すものであり、ベンチマーク結果ではない。

GPT-6 Astraベンチマークが注目される理由、そしてパイロットが失敗する理由

高い数値は、通常の専門的作業に近いデモとともに発表された。OpenAIのKiCadの例は、回路図をボードレイアウトに変換する。BlenderからUnrealへの例は、住宅モデルを歩き回れるシーンに移行する。Tidal Rushの例は、プレイ可能なカートレースゲームで終わる。これはチャットベンチマークよりもはるかに具体的である。

見出しの罠は、モデルをシステム全体と見なすことである。機能するエージェントには、ベンチマークハーネス、有効化されたツール、ブラウザまたはターミナル、リトライ、許可された認証情報、そして人間がアクションを承認すべきタイミングを決定するポリシーが含まれる。これらのいずれかを変更すれば、タスク完了率は変動しうる。

OSWorld 2.0は、ここで紹介するベンチマークの中で、管理されたデスクトップおよびブラウザ作業に最も近いものである。OpenAIは、オフラインの部分スコアセットで72.6%、レイテンシーシミュレーションではタスクあたり約47%の時間短縮を報告している。これは、フォームQAやデザインツールのチェックリストといった管理されたワークフローをテストする理由になる。広範な本番アクセスを許可する理由にはならない。

Terminal-Bench 4.0は、エージェントがエンジニアリング、設定、データ分析などの複雑なターミナルタスクを完了できるかを問うものである。OpenAIはAstraで57.9%を報告している。この表自体のバージョン別リーダーボードは、すべての比較にベンチマークのバージョン、ハーネス、コスト、信頼性のコンテキストを添付しておくべきだという有用な注意喚起となる（Terminal-Benchリーダーボード、2026年9月）。あるリリースでのスコアを、別のリリースのチャートと軽率に混ぜ合わせるべきではない。

ARC-AGI-3にも同じ注意が必要である。OpenAIの99.9%という結果は、Responses APIハーネスを使用した最大努力（maximum-at-any-effort）の結果である。同社は、研究環境またはAPIは、システムプロンプトやツールが異なる可能性があるため、本番のChatGPTとは異なる場合があると述べている。公開討論がこのハーネスの違いに焦点を当てているのは、それが比較可能性を変えるからである。これは結果を無効にするものではない。製品判断に移す前に、正確に何を文書化すべきかを示している。

BlenderからUnrealへのデモは、有用なポジティブケースである。明確な入力、限定されたツールチェーン、観察可能な中間ファイル、目に見える最終状態がある。そのため、データが変動し、取り返しのつかない外部アクションを伴う曖昧なタスクよりも、監視付き内部トライアルの候補として適している。

パッケージプロトタイプの引き渡しシーケンスを表すイラスト（素材見本、ノギス、レビューアー）

クロスツール検討のための引き渡しシーケンスのイラスト：物理的なパッケージプロトタイプが、転送前に素材、測定、レビューアーによるチェックを通過する。これは独立した監視付きシナリオであり、ベンチマーク結果ではない。

GPT-6 Astraベンチマークワークフロー：小さな現実チェックを構築する

ベンチマークを注意深く読むために、ベンチマークラボは必要ない。必要なのは、固定されたソース行1つ、クレームパーサー1つ、独立した批判者1つ、そして自社の受け入れテストに結びついたパイロット計画である。この一連の流れは1つのブラウザタブで完結でき、最終的なパイロット自体は承認されたテスト環境に留めておく。

軽量なコントロールグループであれば、Atlas Cloud で2つのレビュー役割を分離できる。これはAtlas CloudがAstraをホストしているという主張ではなく、公式ベンチマークを再現するものでもない。2026年9月4日時点で、ディレクトリにはGPT-6 Astraは掲載されていない。

監査はローンチ時の見出しから独立して行うこと。カタログの提供状況やトークン価格は変わりうるため、公開時点で公式ソースとディレクトリを再確認すること。公式ローンチページには、AstraのStandard API価格と、別途提供されるFastモードが記載されている。（Artificial Analysisモデルプロフィール、2026年9月）は、最大構成でのIntelligence Index値61を独立してリストし、$10/$50のトークン価格に言及している。

ステップ1：解釈する前にクレームを固定する

元のベンチマーク行、バージョン、比較行、脚注、公開日をコピーする。これにより、レビューアーが欠落した設定を静かに補完することを防げる。最初のパスではOSWorld/PCBのクレームを使用し、調達判断に影響を与えるすべてのスコアについて繰り返す。

plaintextCopy
1You are a benchmark-audit analyst. Read only the source text below.
2
3Create a claim card with exactly these fields:
41. benchmark name and version
52. reported GPT-6 Astra score
63. compared system and score
74. task the benchmark actually measures
85. harness, tools, retries, or reasoning settings explicitly disclosed
96. what is not disclosed
107. one deployment claim this evidence supports
118. one deployment claim this evidence does not support
12
13Rules:
14- Do not infer missing settings.
15- Label vendor-reported, benchmark-owner-reported, and community interpretation separately.
16- If a fact is absent, write “not disclosed”.
17
18SOURCE:
19[PASTE THE OFFICIAL BENCHMARK ROW AND FOOTNOTES HERE]

設定： temperature 0.2; top_p 1; max_tokens 900; fixed seed 20260904。同じ素材を3回実行し、フィールドが変化するかどうかを記録する。これはコントロール分析であり、Astraベンチマークの再実行ではない。

ステップ2：反論を実行する

パイロットを延期する最も強い理由を問うこと。2回目の要約はしばしばローンチ時のコピーを繰り返すだけだが、調達レビューは見出しには含まれていない依存関係を明らかにする。

plaintextCopy
1Act as a skeptical AI procurement reviewer.
2
3Using the benchmark claim card below, write a concise red-team review for a team deciding whether to pilot GPT-6 Astra for browser QA.
4
5Return:
6- evidence that transfers to this workflow
7- evidence that does not transfer
8- three hidden operating assumptions
9- the smallest safe pilot
10- a pass/fail acceptance metric
11- a reason to delay adoption
12
13Do not rank vendors. Do not invent external benchmark results. Do not claim access to GPT-6 Astra.
14
15CLAIM CARD:
16[PASTE STEP 1 OUTPUT]

設定： temperature 0.2; top_p 1; max_tokens 1,100; fixed seed 20260904。同じクレームカードで3回実行する。単にシステムのテストが必要だと言うだけでなく、前提条件を明示したバージョンを採用する。

ステップ3：クレームを1つのテスト可能なパイロットに変換する

2つの出力を使用して、チームが承認されたテストアカウントと非本番データで実行できるタスクスライスを定義する。ウェブ検索や外部認証情報は追加しないこと。別のシステムに影響を与える可能性のあるすべてのアクションは人間がレビューする。

plaintextCopy
1Turn the audit below into a one-week pilot plan.
2
3Context:
4- We evaluate a tool-using assistant for a real workflow.
5- We will use only authorized test accounts and non-production data.
6- Human review is required before any external action.
7
8Return a table with:
9Task slice | starting input | allowed tools | completion definition |
10human review checkpoint | failure condition | cost cap | sample size.
11
12Then write one sentence that states exactly what result would justify moving from pilot to production.
13
14AUDIT:
15[PASTE STEP 1 AND STEP 2 OUTPUTS]

設定： temperature 0.1; max_tokens 1,000; サードパーティのウェブ検索なし。1回だけ生成し、その後、実際のアカウントと権限に照らしてマトリックスを人間がチェックする。

GPT-6 Astraベンチマークのバリエーション：3つのワークロード、3つの答え

バリエーションA：PCBとガバナンスが効いたコンピューター操作。 KiCadのケースは、ルールが明示的で結果を検証できるエンジニアリングソフトウェアにとって有望である。エージェントがサンプル全体で設計ルールチェックと製造元の制約を一貫して遵守するかどうかをテストすること。1回だけボードを配線したかどうかではない。製造リリース前の承認は必ず維持する。

PCBレビューシーケンスのイラスト：ボード測定、回路図レビュー、人間による承認の引き渡し

バリエーションAのイラストモーションケース：ボードの上方チェックからサイドレビュー、そして広範な承認引き渡しへとカットする。このクリップは監視付きパイロットシナリオを示すものであり、ベンチマーク結果ではない。

バリエーションB：BlenderからUnrealへのクロスツール制作。 アセット変換、ツールの引き渡し、可逆的な内部作業は、中間ファイルを検査できる場合に適した候補である。受け入れテストには、フォーマット互換性、期待されるアセット構造、指名されたレビューアーを含めるべきである。洗練されたウォークスルーは、デザインやエンジニアリングの承認に取って代わるものではない。

クロスツールの引き渡しシーケンスのイラスト（住宅模型、図面レビュー、チーム承認）

バリエーションBのイラストモーションケース：物理的な模型と図面から、その引き渡し、そして広範なチームレビューへとカットする。監視付きパイロットシナリオを示すものであり、ベンチマーク結果ではない。

バリエーションC：Tidal Rushとデモから製品へのギャップ。 プレイ可能なプロトタイプは、チームがブリーフを迅速に明確化するのに役立つ。しかし、リグレッションカバレッジ、コードオーナーシップ、バグトリアージ、アクセシビリティ、ビルドパイプライン、およびデモ後のプロジェクト保守コストについては、ほとんど示唆しない。

プロトタイプレビューシーケンスのイラスト（おもちゃのカート、コントローラー、テストメモ、レビューアー）

バリエーションCのイラストモーションケース：トラックレベルのカートのショットから、実機テスト、そして書面によるテストメモのレビューへとカットする。プレイ可能な成果物は、製品ワークフローになる前に、依然としてテストカバレッジ、メンテナンス、バグ修正の検証を必要とする。これはベンチマーク結果ではない。

GPT-6 Astraベンチマークのコスト、アクセス、安全性の境界

アクセス。 ローンチページによると、Astraはまず限られた組織セットに展開され、その後数日かけてPlus、Pro、Business、Enterprise、API、Azure、Bedrockユーザーに展開される。Enterprise管理者が有効化する必要があり、ローンチ時点ではデフォルトでオフになっている。約束された将来の展開ではなく、実際に確認できるアクセス状態に基づいて計画すること。

コスト。 トークン価格は、目に見える項目に過ぎない。推論の努力量、ツール呼び出し、リトライ、失敗したタスク、人間によるレビューが、完了したジョブのコストを決定する。導入予定の努力量で同じタスクスライスを実行し、レビュー時間を比較に追加すること。

安全性。 パイロットには、機能する最小限の権限セットを与えること。サンドボックス、テストアカウント、アクションログ、外部変更に対する承認ゲートを使用すること。サイバー機密性の高い作業では、活動を防御的で、承認済みで、レビュー可能な状態に保つこと。OpenAIは、追加の安全チェックによりタスクが遅延、一時停止、または停止される可能性があると述べており、これらの制御は後付けではなく運用計画の一部となる。

同じ固定プロンプトをコントロール役割で実行する必要がある場合は、コントロールグループを選択する前に現在のAtlas Cloudモデルディレクトリを確認すること。これは監査を整理する手段であり、GPT-6 Astraがそこで利用可能であるという証拠ではない。

よくある質問

最も重要なGPT-6 Astraベンチマークはどれですか？

エージェントを展開するチームは、コンピューター操作にはOSWorld 2.0、ターミナル作業にはTerminal-Bench 4.0、プロフェッショナルな自動化にはAutomationBench、科学的ツールワークフローにはTerminal-Bench Scienceから始めることをお勧めする。ARC-AGI-3は、明示されたハーネスと努力量の条件を備えた、独立した抽象推論の結果として読むこと。

GPT-6 AstraのARC-AGI-3スコアはAGIを証明するものですか？

いいえ。それは開示された設定の下でのARC-AGI-3の性能に関するエビデンスです。すべての実世界のワークフローにわたる信頼性の高い性能、安全性、または一般的な能力を確立するものではありません。

チームはコーディングエージェント向けにGPT-6 Astraをどのように評価すべきですか？

マッチングしたリポジトリタスク、テストスイート、ツールポリシー、コスト上限を使用すること。公式のコーディング評価は有用なエビデンスですが、チームにとっての結論には同じ運用条件と受け入れテストが必要です。

GPT-6 Astraの利用コストはいくらですか？

OpenAIは、ローンチ時点でStandard API価格として、入力トークン100万件あたり$10、出力トークン100万件あたり$50を掲載しています。ツール呼び出し、高い推論努力量、リトライ、人間によるレビューは、完了したタスクのコストに加算されます。

現在、誰がGPT-6 Astraにアクセスできますか？

2026年9月4日時点で、OpenAIは限られた初期組織展開を説明しており、その後数日間でより広範なChatGPTおよびAPIの利用が可能になります。ワークスペース管理者の設定もアクセスに影響を与える可能性があります。

GPT-6 AstraはAtlas Cloudで利用できますか？

いいえ。この記事の時点で、Atlas Cloudディレクトリには掲載されていないため、GPT-6 Astraベンチマークは、プラットフォーム上の結果ではなく外部エビデンスとしてレビューすべきです。