OpenAIのGPT-6 Astra、評価データ修正で指標に変動　AI業界の「ベンチマーク最適化」が浮き彫りに

OpenAIが発表したGPT-6 Astraにおいて、評価ページ上のデータが複数回修正され、一部指標に大きな変動が見られた。Astraの内部ハルシネーション率は当初4.2%と公表された後、2%へ調整され、再び4.2%に戻された。また、ARC-AGI-3のスコアも98.6%から99.99%へ上昇している。OpenAIは、モデルのチェックポイントや推論設定の違いによる変動であり、正確性を期すための調整であると説明した。業界ではテスト条件を調整してスコアを最大化する「ベンチマーク最適化（Benchmaxxing）」への懸念が指摘されている。