AA v5 evaluation weights
Official component weights · percentage of total Index
QBench Index 2.0 · Independent public evidence
A wider view of
frontier intelligence.
AA Intelligence Index v5の9評価を基準に、さらに難度の高い数学・エージェント・コーディング・マルチモーダル評価を追加。モデル設定、評価環境、信頼区間、出典を分離して比較します。
Unique base models
—
Across all imported results
Model configurations
—
Reasoning effort / harness-aware
Result observations
—
Published model × benchmark rows
Imported datasets
—
Source-level result tables
AA v5 components
—
Nine evaluations represented
AA v5-aligned benchmark suite
同じ9評価・4領域・25%均等配分。公開結果は原単位のまま掲載し、欠損値を埋めた総合点は作りません。
AA v5 methodology loading…
AA v5 component results
同じAA評価の公開結果を集約。ベンチマーク間で単位・ハーネスが異なるため、異なる列を合算しません。
| Model | Configuration | Evaluation | Score | Uncertainty | Harness / evidence |
|---|---|---|---|---|---|
| Loading benchmark data… | |||||
Rows retain their source-specific units. An AA-compatible aggregate is withheld until all nine component scores exist for the same model configuration.
Official AA Index reference
AAが公開しているIndex v5総合スコア。QBench独自の再計算値ではありません。
| Model | Configuration | AA Index v5 | Source |
|---|---|---|---|
| Loading… | |||
Statistical analysis
異なる評価を無理に合成せず、分布・信頼区間・コスト・校正・モデル間の重なりを個別に可視化。
AA-Briefcase Elo · confidence intervals
Published 95% CI · highest 25 configurations
HLE-Diamond · reasoning vs knowledge
Two 500-question partitions · accuracy (%)
HLE-Diamond · accuracy vs calibration
Confidence calibration error · lower is better
Cost vs task resolution
Selected agent benchmark · cost per test (USD)
Score distribution by evaluation
Independent percentage-based evaluations · box plots
AA suite coverage matrix
Base-model presence across nine AA components · not score equivalence
Provider coverage by evaluation
Published configurations in each AA component
Cross-benchmark score profile
Shared base models across HLE-Diamond, Terminal-Bench 4.0 and Terminal-Bench-Science
Selected benchmark leaderboard
Source-native score scale · selected dataset
Provider share
Unique base-model names across all stored results
Result depth by benchmark
Number of stored model-result observations per dataset
Model-to-model comparison
Two selected configurations · one benchmark · native score unit
Configuration mix by provider
Distinct model / reasoning-effort / harness combinations
Provider-to-benchmark flow
Sankey view of where published model results are concentrated
AA v5 evidence coverage funnel
Component availability → full tables → complete model-level coverage
Benchmark registry taxonomy
Hierarchical view by AA suite, extension family and evidence status
Benchmark registry & explorer
AA v5の9評価に加え、未飽和の数学・エージェント・コーディング・マルチモーダル評価を収録。
Source result explorer
選択したデータセットの全保存結果を、原スコア・設定・信頼区間・ハーネスとともに確認。
Published model results
Select a benchmark to inspect its published results.
| Loading… |
Frontier research queue
難度・信頼性・結果公開状況を確認しながら、次に取り込む評価を管理。
Methodology & evidence policy
AA v5の方式を基準にしつつ、独立した追加ベンチマークは別枠で分析。
01 / AA V5
Same nine evaluations
AA-Briefcase v1.1、AutomationBench-AA、GDP.pdf、Terminal-Bench 4.0、FrontierCode 2.0、Terminal-Bench-Science 0.1、CritPt v2 Hard Subset、AA-Omniscience v1.1、HLE-Diamondを同じ評価セットとして登録。
02 / WEIGHTS
Four categories · 25% each
Knowledge Work、Coding、Science、Generalを各25%。領域内の評価ウェイトもAA v5公式配分に合わせる。追加ベンチマークはAAスコアに混ぜない。
03 / NO IMPUTATION
Complete coverage required
同じモデル設定で9評価すべてのスコアが揃うまで、QBench独自のAA互換総合点は計算しない。欠損値の推定、モデル名だけの強引な別名統合は禁止。
04 / PRIVATE TESTS
Public evidence is not a rerun
AA v5の一部は非公開テスト。AAが公表したリーダー要約と第三者の公開リーダーボードを区別し、非公開問題を再現したとは主張しない。
05 / CONFIGURATION
Model ≠ configuration
モデル名、reasoning effort、実行ハーネスを分離。ベースモデル数、モデル設定数、結果行数を別々に数え、同じモデルのMax/High/Lowを一つに潰さない。
06 / EXTENSIONS
Hard, unsaturated benchmarks
Epoch AIの95ベンチマーク・418モデルの公開データベースを探索母集団にし、FrontierMath、ARC-AGI-2、Mystery Game Puzzles、SpireClimbなどを追加。飽和済み評価は難度・更新日を注記して別扱い。
注意: AA v5の60%は非公開テストセットまたは保留回答を使う評価に基づく。QBenchは公開された結果の収集・比較を行うもので、AA独自の非公開実行環境を完全に再現するものではない。結果の単位・ハーネス・試行回数・信頼区間は出典に従って保持する。