広告の点検と自動改善、13回のうち12回が未確認のまま

期待していたのは「人が見なくても結果が分かる」状態

広告の点検と自動改善を行う処理は、起動から改善案の反映までを人の操作なしに走らせるつもりで組んだ。狙いは実行を速くすることではない。走ったあとに、その回が合格だったのか落ちたのかを、実行状態のログだけで判別できるようにすることだった。

判別の仕組みは単純で、処理が書き換えた内容をあとから読み戻し、読み戻した結果を証拠としてログに残す。証拠が意図どおりなら合格、食い違っていれば不合格。人間は不合格のときだけ見ればいい。そういう設計にしていた。

実際には、その「合格か不合格か」が、ほとんどの回で付いていない。

14日ぶんの実行記録を数えた

測り方を先に書く。実行状態を一行ずつ追記しているログを開き、この処理が書いた行だけを抜き出して、各行に入っている判定の値を「合格」「落ちた」「未確認」に振り分けて数えた。期間は2026-10-24から2026-11-06までの14日。管理画面の見た目や作業中の感触は混ぜていない。根拠にしたのは実行状態のログだけ。

見た期間 14日（2026-10-24〜2026-11-06）
この自動処理が動いた回数 13回
未確認だった回数 12回
合格だった回数 0回
落ちた回数 1回
未確認だった割合 92.3%
最後に未確認になった時刻 2026-11-05T09:40

ログに残っていた、確かめられない理由はひとつだけ書かれている。読み戻した証拠が出ていません。読み戻し処理そのものは呼ばれているのに、証拠として比較できる出力がログに現れない。だから判定が付けられず、未確認で置かれる。

問題は「落ちた」ことではなく、「落ちたかどうかが分からない」こと

13回のうち落ちたのは1回。この1回は、むしろ扱いやすい。落ちたと分かっているなら、何が落ちたのかを追いに行ける。

困るのは12回のほうだ。未確認は「うまくいった」でも「失敗した」でもない。処理は最後まで走り、エラーで止まってもいない。走ったという事実だけがあって、結果が検品されていない。

ここで一番やってはいけないのは、止まらなかったことを理由に正常とみなすことだと考えている。未確認を正常に数え替えれば、合格が0回ではなくなり、見かけ上の自動運転が成立してしまう。実際に確かめられたのは、その期間に合格と判定できた回が0回だった、という事実のほうだ。確かめていないものを、正常とは書かない。未確認は未確認のまま残す。

未確認だった割合は92.3%。言い換えれば、この処理は現時点で「動いた記録」は取れているが、「効いた記録」は取れていない。打った手と結果を突き合わせる材料が、ほぼ無いまま走り続けている状態になっている。

直っていない。証拠が出ない原因はまだ特定できていない

原因の候補はいくつか立てているが、どれも裏が取れていないので、ここでは「特定できていない」としか書けない。分かっているのは、読み戻し処理が呼ばれた形跡はあるのに、比較に使える出力がログへ到達していない、という範囲まで。

最後に未確認になったのは2026-11-05T09:40。この時刻の行を起点に、読み戻し処理が出すはずのログを詳細レベルまで追い、どこで出力が落ちているのかを突き止めるところから手を付ける。

直し方を先に決めない理由もはっきりしている。出力が途中で捨てられているのか、そもそも書き出していないのか、書き出しているが別の場所へ出ているのかで、直す場所が変わる。切り分けの前に手を入れると、未確認が減ったように見えて原因が残る可能性がある。それはいちばん避けたい形だ。

人間の仕事は減っていない

実行は人の操作なしに走っている。その意味では自動化はできている。ただし、走った結果が合格か落ちたかを判別できていない以上、誰かが広告の中身を見に行かないと、効いたのかどうかが分からない。判定を機械が肩代わりしていないので、確認の手間はそのまま人間に残っている。

13回動いて、人が結果を見なくて済んだ回は0回。これは自動運転ではなく、実行だけが自動になった状態だと整理している。人の手が要る箇所が残っているなら、残っていると書く。

次に測ること

次の区切りで見るのは、未確認の数そのものではなく、読み戻し処理が証拠を出せているかどうかにする。証拠が出れば、合格だろうと落ちただろうと判定は付く。判定が付いて初めて、改善が効いたかどうかの話に進める。

  1. 最後に未確認になった2026-11-05T09:40の行を起点に、読み戻し処理のログを詳細レベルまで追う
  2. 証拠が出力されない箇所を特定する（出していない／捨てている／別の場所へ出ている、のどれか）
  3. 特定できた時点で、原因と直し方を同じ形式で記録する

この記事の段階で言えるのは、ここまで。合格と言えるものは0回、落ちたと言えるものが1回、残りの12回は未確認。未確認のまま置いてある。