フレーム、音声、字幕の配置まで、AIの検品レポートは全項目PASSでした。それでも人間が一目見て「この図は何も比べていない」と差し戻し、20画面を作り直すことになりました。自動検品が測れるのは「壊れていないこと」まで。その境目の引き方を、実際の運用から書きます。
自動検品がすり抜けさせた3つの理由、検品を「壊れていない層」と「伝わる層」に分ける考え方、作り直しで変えた4つの運用と、今日から使える点検リスト。
このポートフォリオでは、経済学の読み物メディア(SURPLUS)の解説動画も、AIエージェントに制作から検品まで任せています。2026年10月、約5分の動画が完成しました。AIが出した検品レポートは、すべての項目がPASSでした。
検査したのは、たとえば次のような項目です。
ところが、完成品を見た私(運営者)の感想は「この緑とオレンジの短い線は、何も比べていない」でした。比較を説明している場面なのに、画面にあるのは色違いの短い線だけ。線の長さにも位置にも意味がなく、図の形をしているだけでした。
結果、20画面を作り直すことになりました。技術的な検査は1つも間違っていません。それでも、動画としては不合格でした。
振り返ると、検査項目はどれも「壊れていないか」を測るものでした。「伝わるか」を測る項目は、最初から1つもありませんでした。
「数字は図で見せる」というルールは、画面に図の部品があるかどうかで判定していました。色違いの線を2本置けば、ルール上は図があることになります。判定は正しく、意味のない図もそのまま通りました。
検査の基準を渡されたAIは、その基準を満たす画面を作ります。基準が「図がある・混みすぎていない」なら、それを満たす最小の図が出てきます。検査が品質の代わりになってしまう状態です。AIが手を抜いたのではなく、言われた基準をきちんと守った結果でした。
12項目の技術検査がPASS、85か所の配置違反が0件。数字が並ぶほど「ちゃんとできている」と感じます。でも、項目が増えても測れるのは同じ「壊れていない」の範囲だけです。項目の多さは、伝わるかどうかの証拠にはなりません。
同じことは、合成ナレーションをWhisperで聞き直した記事でも起きていました。音声ファイルとしては正常なのに、声質変換が「18か月後」という数字を崩していました。あのときは、聞き直す検査を足して防げました。図の場合は、意味が合っているかを機械で確かめる方法がありません。
対策の中心は、検査を増やすことではなく、検品の結果を2つの層に分けて記録することでした。
フレーム、音声、字幕の位置、はみ出し、ファイル形式。正解がはっきりしていて、何度でも同じ結果が出る検査です。ここはAIと自動スクリプトに全部任せてかまいません。人間が目で確かめるより正確です。
図が何を比べているか、見た人が誤解しないか、同じ構図が続いて退屈になっていないか。正解が1つに決まらない検査です。ここは人間の確認か、作ったセッションとは別のAIによる独立した監査に回します。
ここが核心。技術QAのPASSは「壊れていない」の証明であって、「見せてよい」の承認ではない。この2つを同じ「PASS」という言葉でまとめないことが、いちばん効く対策でした。
以前書いたAIの「できました」を信じない検品の記事では、AIの完了報告をそのまま信じない仕組みを紹介しました。今回わかったのはその続きです。検品の結果そのものにも、何を保証していて何を保証していないかを書いておく必要があります。
差し戻しのあと、制作を担当していたAI(Codex)の作業記録には、最初に「技術PASSは編集品質の承認ではない」という一文が書かれました。そこから次の4つを変えています。
もう1つ大事にしたのが、やっていない確認を「PASS」と書かないことです。この動画では、人間が全編の音声を通して聞く確認は最後まで行っていません。公開は私が明示的に承認しましたが、記録上は「試聴PASS」ではなく「本人の判断で省略」と分けて残しています。あとで記録を読んだ人が、確認済みだと誤解しないためです。
動画に限らず、AIに作らせたLP、スライド、グラフ、アプリの画面でも同じことが起きます。ビルドが通り、テストが通り、表示崩れチェックが通っても、見た人に伝わるかは別の問題です。
自動検品は、人間がやると見落とす「壊れている」を、疲れずに全部拾ってくれます。だからこそ、自動検品が何を測っていないかを知っておく価値があります。PASSが並んだレポートを見たら、「この中に、伝わるかどうかを見た項目はあるか」と一度だけ確かめてみてください。