AIが書いた記事はなぜ読みにくいのか？3本を実測して分かったこと

AIが書いた記事はなぜ読みにくいのか｜3本を実測した結果

AIで記事が作れるようになりました。社内でも「これは早い」と盛り上がっていたところです。

ところが、社内のライターに読んでもらったら、返ってきた言葉は「読みにくいです」でした。正直、けっこう堪えます。

どこが読みにくいのかを聞くと、指摘は次々に出てきました。ただ、どれも感覚の言葉で、直ったかどうかを確かめる方法がありません。

そこで、感覚で話し合うのをやめてみることにしました。

自社の仕組みで作った記事を3本、機械で測って数字にするところから始めています。やってみると、AIの文章が崩れる理由と、こちらの検査そのものが間違っていたことまで見えてきたのです。

この記事のポイント

□ AIの文章の崩れ方は、記事ごとに極端に振れます
□ 指示を足すと、今度は逆の方向へ振り切れます
□ プロンプトの指示だけで文体を保つのは難しいようです
□ 検査を作ったところ、その検査自体が間違っていました
□ いちばん読みにくい記事が、いちばん良い数字に見えていたのです

「読みにくい」と言われて、まず数えてみました

指摘を受けたとき、最初にやったのは反論の準備ではありません。本当にそうなのかを確かめることでした。

感覚の指摘に感覚で答えると、話がぐるぐる回ってしまいますよね。

測ったのは4つです。文体が敬体でそろっているか、1文が長すぎないか、1段落に文を詰め込みすぎていないか、英単語が地の文に紛れていないか。

どれも「読みにくい理由」として、名前が挙がったものばかりでした。

この4つを選んだ理由は単純です。機械で数えられるからでした。

測ってみたら、指摘のとおりでした

結果はこちらです。ライターの指摘は、きれいに数字で裏づけられてしまいました。

測った項目	記事A	記事B	記事C
である調の混入	83%	1%	1%
45字を超える文	68%	64%	55%
3文以上の段落	61%	34%	53%
半角の英単語	0件	1件	0件

目を疑ったのが、いちばん上の行です。同じ指示で、同じ仕組みで作った3本のうち、1本だけが83%でした。

あとの2本は1%です。もちろん3本とも「敬体でそろえてください」と指示してあります。

それでも1本は、8割以上が「である調」になっていたのです。

なぜ、1本だけが崩れたのか

この極端な振れ方には、ちゃんと理由があります。AIの文章は確率で決まるからです。

ある語尾を選ぶ確率がほんの少し傾くと、次の文もそれに引きずられて、記事まるごとが一方へ流れていきます。

つまり崩れるときは、少しずつではなく、まるごと崩れるわけです。1%と83%の間に中間の記事が無かったのも、そのためでした。

ここから分かったことが1つあります。指示を強めても、確率がゼロになるわけではない、ということです。

プロンプトは平均点を上げてくれます。ただ、外れ値までは止めてくれません。

100本作れば、そのうち数本は同じように崩れるものと考えておいたほうが安全そうです。

直したつもりが、今度は逆に振り切れました

段落についても、同じことが起きました。

「1段落に3文以上を詰め込まないでほしい」。そう指摘されて、プロンプトに「1段落は1文または2文」と書き足しています。このときは、これで解決したつもりでした。

ところが、次にできあがった原稿を測って、目が点になります。133段落のすべてが、1文になっていたのです。

3文以上の段落は、たしかにゼロ件です。指示はきちんと守られています。

ところが読んでみると、文がぶつ切りで、前より読みにくくなっていました。

「1文または2文」と書くと、AIは短いほうへ寄っていきます。指示の範囲内で、いちばん安全な側を選び続けるからです。

そこで指示を書き換えました。「2文の段落を全体の3割以上にする」という下限を足しています。

上限だけを決めると、決めていない方向へ振り切れてしまうのですね。ここは勉強になりました。

「指示する」のを、やめました

2回続けて同じことが起きたので、方針を変えています。

プロンプトで文体を守らせるのはあきらめて、できあがったものを機械で検査し、基準を外れたら通さない形にしました。

検査の基準は、理想から決めていません。手元の原稿を測って、その分布から引いています。

たとえば1文の長さです。最初は「全部45字以内」にするつもりでした。

ところが、45字を超える文が26%（最長61字）ある原稿を読むと、こちらのほうが自然だったのです。全部を45字に収めた原稿は、かえって細切れで、機械が書いたように読めます。

そこで基準は、45字超が4割で警告、6割で不合格に落ち着きました。指摘を受けた時点の原稿は55〜68%でしたから、これならきちんと捕まります。

厳しくすればよい、というものでもないようです。ここは意外な発見でした。

ところが、その検査が間違っていました

検査ができて、ひと安心したところです。そこで、もう1つ問題が見つかりました。

検査の数字が良い記事ほど、読むと読みにくかったのです。

原因は、段落の中に残っていた改行でした。WordPressは段落内の改行を、自動的に改行タグに変えてしまいます。

そのせいで、1つの段落の途中で行が折れて表示されていたのです。

しかも、こちらの検査はその改行を文の区切りと勘違いして数えていました。実際は1文しかない段落が「2文の段落」として集計され、良い数字になっていたわけです。

結果として、いちばん読みにくい記事が、いちばん良い成績に見えていました。これには本当に肝を冷やしています。

対処は2つです。生成の段階で段落内の改行をつなぐようにして、検査側にも「改行が残っていたら不合格」という条件を足しました。

検査を作ると、その数字をつい信じてしまいます。作った本人がいちばん疑わなくなってしまうのですね。

仕組みを作るときは、ここに気をつけたほうがよさそうです。

これから始める方へ：先に測るとよい4つ

これからAIで記事を作るなら、次の4つは最初に測っておくと、ずいぶん楽になるはずです。どれも簡単な処理で数えられます。

□ 敬体と常体の混在（語尾を1文ずつ見る）
□ 1文の文字数の分布（平均ではなく、超えた文の割合を見る）
□ 1段落あたりの文数（多すぎと少なすぎの両方を見る）
□ 地の文に混ざった英単語の数

コツは、上限と下限の両方を決めておくことです。片側だけ決めると、決めていない方向へ必ず振り切れます。

それから、基準の数値は理想から決めないほうがうまくいくようです。手元の原稿を測って、その分布から引くほうが、現実に使える基準になってくれます。

よくある質問

Q. プロンプトを丁寧に書けば、文体の崩れは防げますか。

A. 平均は上がりますが、外れ値は残ります。3本のうち1本だけが83%になった例のように、同じ指示でもまるごと崩れる記事は出てくるのです。生成したあとの検査と組み合わせるのがおすすめです。

Q. まず何から測ればよいでしょうか。

A. 語尾の統一からがおすすめです。判定に迷いがなく、崩れたときの読みにくさもいちばん大きい項目だからでした。

Q. 検査は厳しくするほどよいのでしょうか。

A. 厳しくしすぎると、良い原稿まで落ちてしまいます。実際にこちらでも「まずは管理会社へ連絡し、費用負担を確認しましょう」という親切な一文を、検査が誤って差し戻したことがありました。基準は実際の原稿を測ってから決めるほうが安全です。

おわりに

AIに記事を書かせるとき、難しいのは書かせること自体ではありませんでした。品質をどう担保するか、そこが本番だったのです。

指示で守らせようとすると、指示していない方向へ振れます。検査で守らせようとすると、今度は検査そのものを疑う必要が出てきます。

正直なところ、今もまだ途中です。ただ、感覚で言い合っていた頃と比べると、直ったかどうかを確かめられるようになりました。

この違いは大きいと感じています。

同じところで手が止まっている方がいらっしゃいましたら、測り方や基準の決め方だけでもお話しできます。どうぞお気軽にご相談ください。