← AIバイブコーディングTips 一覧へ Quality Check / 個人開発者向け

技術QAは全部PASS。
それでも図は差し戻された

フレーム、音声、字幕の配置まで、AIの検品レポートは全項目PASSでした。それでも人間が一目見て「この図は何も比べていない」と差し戻し、20画面を作り直すことになりました。自動検品が測れるのは「壊れていないこと」まで。その境目の引き方を、実際の運用から書きます。

この記事で手に入るもの

自動検品がすり抜けさせた3つの理由、検品を「壊れていない層」と「伝わる層」に分ける考え方、作り直しで変えた4つの運用と、今日から使える点検リスト。

01 — 何が起きたか

検査は全部通った。人間は一目で差し戻した

このポートフォリオでは、経済学の読み物メディア(SURPLUS)の解説動画も、AIエージェントに制作から検品まで任せています。2026年10月、約5分の動画が完成しました。AIが出した検品レポートは、すべての項目がPASSでした。

検査したのは、たとえば次のような項目です。

✓
全7610フレームのデコード最初から最後まで、壊れたコマが1枚もないこと。真っ黒・真っ白のフレームが紛れていないこと。
✓
音声と字幕音量が基準内であること。完成ファイルの音声が承認済みの音声と一致すること(ズレ0)。字幕帯の位置が全編で一定であること。
✓
85か所の字幕の実際の配置ブラウザで実際に描画した位置を測り、文字の重なり・画面外へのはみ出しが0件であること。
✓
図の量と密度「数字は図で見せる」「1画面に情報を詰め込みすぎない」などのルールにも違反0件。

ところが、完成品を見た私(運営者)の感想は「この緑とオレンジの短い線は、何も比べていない」でした。比較を説明している場面なのに、画面にあるのは色違いの短い線だけ。線の長さにも位置にも意味がなく、図の形をしているだけでした。

結果、20画面を作り直すことになりました。技術的な検査は1つも間違っていません。それでも、動画としては不合格でした。


02 — なぜすり抜けたか

自動検査が測れるのは「壊れていないこと」まで

振り返ると、検査項目はどれも「壊れていないか」を測るものでした。「伝わるか」を測る項目は、最初から1つもありませんでした。

01

「図がある」は測れる。「図が意味を持つ」は測れない

「数字は図で見せる」というルールは、画面に図の部品があるかどうかで判定していました。色違いの線を2本置けば、ルール上は図があることになります。判定は正しく、意味のない図もそのまま通りました。

02

AIは「通る形」を作るのがうまい

検査の基準を渡されたAIは、その基準を満たす画面を作ります。基準が「図がある・混みすぎていない」なら、それを満たす最小の図が出てきます。検査が品質の代わりになってしまう状態です。AIが手を抜いたのではなく、言われた基準をきちんと守った結果でした。

03

PASSの数が多いほど、人間は安心してしまう

12項目の技術検査がPASS、85か所の配置違反が0件。数字が並ぶほど「ちゃんとできている」と感じます。でも、項目が増えても測れるのは同じ「壊れていない」の範囲だけです。項目の多さは、伝わるかどうかの証拠にはなりません。

同じことは、合成ナレーションをWhisperで聞き直した記事でも起きていました。音声ファイルとしては正常なのに、声質変換が「18か月後」という数字を崩していました。あのときは、聞き直す検査を足して防げました。図の場合は、意味が合っているかを機械で確かめる方法がありません。


03 — 考え方

検品を「壊れていない層」と「伝わる層」に分ける

対策の中心は、検査を増やすことではなく、検品の結果を2つの層に分けて記録することでした。

A

壊れていない層:機械に任せる

フレーム、音声、字幕の位置、はみ出し、ファイル形式。正解がはっきりしていて、何度でも同じ結果が出る検査です。ここはAIと自動スクリプトに全部任せてかまいません。人間が目で確かめるより正確です。

B

伝わる層:作った本人以外の目に回す

図が何を比べているか、見た人が誤解しないか、同じ構図が続いて退屈になっていないか。正解が1つに決まらない検査です。ここは人間の確認か、作ったセッションとは別のAIによる独立した監査に回します。

ここが核心。技術QAのPASSは「壊れていない」の証明であって、「見せてよい」の承認ではない。この2つを同じ「PASS」という言葉でまとめないことが、いちばん効く対策でした。

以前書いたAIの「できました」を信じない検品の記事では、AIの完了報告をそのまま信じない仕組みを紹介しました。今回わかったのはその続きです。検品の結果そのものにも、何を保証していて何を保証していないかを書いておく必要があります。


04 — 実際にやったこと

作り直しで変えた4つの運用

差し戻しのあと、制作を担当していたAI(Codex)の作業記録には、最初に「技術PASSは編集品質の承認ではない」という一文が書かれました。そこから次の4つを変えています。

1
旧版を残し、新版は別フォルダで作る差し戻された版(R4)のファイルには手を付けず、新版(R5)を別の制作フォルダで始めました。比べ直せるようにするためです。
2
旧版のPASSを引き継がないR4で通った検査結果は、R5の証拠として使わないと決めました。画面が変われば、配置もタイミングも変わります。全編のレンダーと検査は最初からやり直しました。
3
図を「意味のある具体物」に置き換える色違いの線をやめ、入力画面と実際の仕事の場面の対比、支店ごとに制度が始まった時期の時間軸、測定できた部分と測定できていない部分の区別など、比べている中身が見える図にしました。
4
独立した視覚監査を挟む作ったセッションとは別のAIに、静止画を見せて「この図は何を伝えているか」を確かめさせました。同じ構図の繰り返しや、図と説明の食い違いなどの指摘が出て、それも直しました。

もう1つ大事にしたのが、やっていない確認を「PASS」と書かないことです。この動画では、人間が全編の音声を通して聞く確認は最後まで行っていません。公開は私が明示的に承認しましたが、記録上は「試聴PASS」ではなく「本人の判断で省略」と分けて残しています。あとで記録を読んだ人が、確認済みだと誤解しないためです。


05 — 今日やること

あなたの検品レポートを、2層に分けてみる

動画に限らず、AIに作らせたLP、スライド、グラフ、アプリの画面でも同じことが起きます。ビルドが通り、テストが通り、表示崩れチェックが通っても、見た人に伝わるかは別の問題です。

自動検品は、人間がやると見落とす「壊れている」を、疲れずに全部拾ってくれます。だからこそ、自動検品が何を測っていないかを知っておく価値があります。PASSが並んだレポートを見たら、「この中に、伝わるかどうかを見た項目はあるか」と一度だけ確かめてみてください。