第8回は「生成AIの品質をデータ量で押し切ろうとすると、ある地点から伸びなくなる」という現場の違和感から始まります。原因はシンプルで、「どちらがいい?」と2人に聞けば100件中30〜50件で意見が割れるから。ところが同じ100件でも、評価の問い方を1つ具体化するだけで、意見の一致度が0.42から0.98まで跳ねる ── そんな実験を起点に、「データは多いほど良い」「人間評価が最終指標」「採点役のAIを賢くすれば解決する」という生成AI開発の3つの常識が崩れていく様子を追います。最後に辿り着くのは、「本当のボトルネックはAIではなく、要件を自分たちの言葉で書けるかどうかだ」という意外な結論。

## チャプター構成

00:15 Ch01. 導入:PoC は動いたのに、本番で詰まる

03:02 Ch02. 選好学習時代の常識が、CAPE以降の非常識になる

09:42 Ch03. 2026年の生成AI開発、何を捨てて何を残す?

18:05 Ch04. 明日、社内チャットボットの要件違反を潰せと言われたら

25:22 Ch05. クロージング:明日からの一歩を1行だけ

本エピソードをお聴きいただくと、以下のような「気づき」をお持ち帰りいただけます。

- 選好データはいくら増やしても、評価者間の合意度は30〜50%の不一致で頭打ちになること

- 同じ100件でも、評価の問い方を1つ具体化するだけでκ=0.42が0.98まで跳ね、「品質は量ではなく評価の土俵で決まる」という順序関係の逆転が起きること

- 採点役のAIを賢くしすぎると「丁寧で長い回答ほど高得点」と覚えて冗長な前置きを量産するなど、品質を逆方向に壊す副作用が出ること

- AI開発の工業フェーズへの移行とは「巨大なアノテーションチーム・集約ベンチマーク・プロンプト祈願」を捨てて「PredicateGraph・CPL・メタ検証・ポリシー版管理」を持ち込む開発文化の書き換えであり、open-weightの小さいモデルでも違反率57%削減が届く射程であること

- 学習済み検証器のr=0.87という精度限界、汎化性の未検証、主観領域での選好学習の残存など、論文自身が認める3つの限界を踏まえると、個別プロジェクトへの適用には慎重さが要ること

- 本当のボトルネックは技術ではなく、組織が自分たちの要件を自分たちの言葉で書けるかどうかにあること。明日からの最初の一歩は、暗黙だった禁止条件を1行だけ紙に書き出してみること

紹介した論文「CAPE: Capability Achievement via Policy Execution」(David Ball, Superficial Labs, 2025) arXiv:2512.14761

https://arxiv.org/abs/2512.14761

【免責事項】本配信内の論文に関するトークは独自の解説・議論であり、著作権を侵害するものではありません。図表やテキストの無断転載は行わず、論文の主張を自分たちの言葉で再構成することに努めています。数値や具体例のうち架空プロジェクトを前提にしたものは、聴取者の環境での再見積もりが必要な参考値としてご理解ください。