例外IDは各回26/26。集計10項目を含む最終JSONも3回すべて正解と一致。
例外IDは各回26/26。ただし14件の集計上の扱いを異なる意味で解釈。
例外IDは各回26/26。集計10項目を含む最終JSONも3回すべて正解と一致。
Measured results
最終JSONの完全一致は、3/3・0/3・3/3
同じ架空CSV、同じ日本語指示、同じ正解、同じJSON採点器で比較しました。ただし実行面は候補ごとに異なり、生成コードの再実行は評価していません。
| 比較項目 | 完全一致 3/3 GPT-5.6 Sol | 完全一致 0/3 Claude Opus 5 | 完全一致 3/3 Gemini 3.1 Pro |
|---|---|---|---|
| 最終JSON | 3回中3回 完全一致 | 3回中0回 | 3回中3回 完全一致 |
| 例外ID検出 | 各回 26/26 | 各回 26/26 | 各回 26/26 |
| 集計10項目 | 各回 10/10 | 各回 0/10 | 各回 10/10 |
| 有効注文数 | 138件 | 124件 正解より14件少ない |
138件 |
| 税抜売上 | 2,218,700円 | 1,213,600円 正解より1,005,100円少ない |
2,218,700円 |
| 実行面 | Codex実行環境 reasoning effort: high |
Claude Code CLI effort: high |
Gemini web app Google AI Plus |
| コード再実行 | 未評価 | 未評価 | 未評価 |
※「完全一致」は、集計10項目と5群の例外ID一覧が正解JSONと一致した状態です。
※ この固定課題での観測結果であり、AI全体の性能順位を示すものではありません。
What happened
1,005,100円の差は、14件の扱いから生まれた
税抜売上の差
1,005,100円
14件分
正しいルールでは、集計から除外するのはキャンセルだけです。カテゴリ欠損5件、標準外税率5件、異常値4件は、例外として記録しつつ売上へ含めます。
Claude Opus 5はこの14件を正しく検出しましたが、例外一覧へ記録した後、売上集計からも除外しました。そのため、例外検出は26/26でも最終集計は一致しませんでした。
For real work
実務では、3段階を分けて確認する
重複、キャンセル、欠損、税率違い、異常値を見落としていないか確認します。
例外として記録する行と、計算から除外する行を分けて確認します。
AIの説明だけで判断せず、件数、合計値、生成コードを自分でも確かめます。
Test record
今回の検証条件
架空CSV150行
候補数3候補
試行回数各3回
正解の例外ID26件
CSV、指示文、正解JSON、採点器、1試行ごとの新規セッション。
Codex、Claude Code CLI、Gemini web appという実行面と、そのツール利用・終了条件。
生成コードの隔離環境での再実行、速度、料金、別CSVや別業務への一般化。
Conclusion
今回の条件で確認できたこと
GPT-5.6 SolとGemini 3.1 Proは、最終JSONが各3回すべて完全一致しました。Claude Opus 5も例外26件はすべて検出しましたが、14件の集計ルールを異なる意味で解釈し、最終JSONは3回とも一致しませんでした。
これはV007の固定課題で観測した結果です。実行面が異なり、コード再実行も未評価のため、総合順位は付けていません。
検証記録と根拠を確認する
- V007公開用結果データ（JSON）
- Benchmark ID: V007-EC-CSV-150-v1
- Fixture SHA-256: abff49ec45a8024f651546035d445935555e1e140b14ac276d2d5adaaaae898f
- 比較・編集方針
