自分で書いた文章が「AI」と判定された。100人にAIと人間の文章を見分けてもらった

「この文章、AIが書いたでしょ」と言われたら、たぶんわたしは腹が立ちます。自分で書いたからです。

逆に、届いたメールを読んで「これはAIだな」と思うこともあります。根拠は説明できません。なんとなく、整いすぎている気がする。それだけです。

この「なんとなく」は、当たっているのか。気になったので、実験しました。わたしが自分の体験を4本書き、同じ題材をAIにも書かせて、2つ並べて100人に出題しました。「どちらがAIだと思いますか」と。

結果、わたしが自分の体験を書いた文章は、46人にAI認定されました。

結論から。4問中2.7問しか当たらなかった

出題は4組。それぞれ「わたしが書いた文章」と「AIが書いた文章」を、AとBに並べて出しました。2択なので、でたらめに選んでも平均は2問正解になります。

出題	正解	不正解	わからない	不明・無効
第1問　現場での呼び方（体験談）	49人	46人	0人	5人
第2問　仕事の連絡にLINE（レビュー）	77人	17人	1人	5人
第3問　はじめて会った人と何を話すか（説明文）	74人	21人	0人	5人
第4問　交流会の翌日のお礼メール（ビジネス文）	57人	31人	7人	5人

有効回答95人の平均正解数は2.71問。全問正解は31人、全問不正解は5人でした。

ざっくり言えば「まったく見分けられないわけではないが、たいして当たってもいない」。でも、平均を見ていても何もわかりません。おもしろいのは問題ごとの落差のほうでした。第2問と第3問は8割が当てているのに、第1問だけが52%。ほぼコイン投げです。

いちばん外れたのは、わたしが本気で書いた文章だった

その第1問を、実際に見てもらったほうが早いです。題材は「派遣で入った現場で、名前ではなく『派遣さん』と呼ばれた話」。わたし自身の体験です。

この2つを見て、46人が「文章AのほうがAIだ」と答えました。Aはわたしが自分の記憶をそのまま書いたものです。

理由は、回答を読んですぐわかりました。

全員、同じところを見ています。「文体が揃っていない」。

そのとおりです。わたしの文章は「勤務につきました」で始まって「つくことになった」に変わり、また「年下です」に戻ります。書いているときは気づいていません。思い出しながら打っただけです。

その雑さが、AIの証拠として読まれました。

同じ特徴を、ある人はAIの証拠に、ある人は人間の証拠にしていた

ここが今回いちばん驚いた部分です。自由記述で「文体の乱れ」に触れた人は14人いました。そのうち9人はそれを「AIの証拠」だと書き、5人は「人間の証拠」だと書いていました。

まったく同じ材料から、正反対の結論が出ています。しかも「乱れているほうが人間」と読んだ側が、きれいに全問正解している。

つまりこの実験で測れたのは「AIを見抜く力」ではありません。「乱れた文章を、どちらの証拠として読む癖があるか」です。癖が合っていた人が当たり、逆だった人が外れた。それだけの話でした。

残りの3問も、そのまま載せます

ここまで第1問だけを見てきました。せっかくなので、残りの3問も出題したままの形で載せます。答えはそれぞれの下に隠してあるので、よければ当ててみてください。

条件は100人のときと同じです。片方はわたしが自分で書いたもの、もう片方はAIが書いたもの。AI側には、わたしの文章に出てくる事実や固有名詞をそのまま渡してあります。

どうだったでしょうか。「これは当たった気がする」という感覚は、ありましたか。

実は、その感覚がいちばんあてになりませんでした。

自信がある人ほど当たる、わけではなかった

4問のあとに「自信を持って選べたのは何問でしたか」と聞いています。当然、自信がある人ほど当たっているはずだと思っていました。

自己申告の自信	人数	実際の平均正解数	全問正解した人
0問（自信なし）	25人	2.80問	9人
1問	16人	2.31問	4人
2問	23人	2.91問	7人
3問	18人	2.67問	6人
4問（全部自信あり）	13人	2.69問	5人

きれいに、何の関係もありませんでした。いちばん成績が良かったのは「1問も自信がなかった」と答えた25人です。

象徴的な2人がいました。

左の方は、4問すべてを逆に選んでいます。読むかぎり、いいかげんに答えたのではありません。一貫した基準を持っていて、その基準が丸ごと裏返っていた。だから自信もあった。基準がはっきりしている人ほど、外れるときは全部外れます。

AIを毎日使っている人も、当たらなかった

これも予想が外れました。AIを毎日触っている人なら、AIの書き癖は体に入っているはずだと思っていたからです。

毎日使う人が、月に数回の人に負けています。人数が少ないので断定はできませんが、少なくとも「使用頻度が高いほど見抜ける」という関係は出ませんでした。

むしろ、こういう回答がありました。

自分が普段見ているAIの出力を基準にしています。使い込んでいる人ほど、その基準は強くなるはずです。ただ、その人が普段どんな指示を出しているかで、基準は人ごとにばらばらになる。強い基準を持つことと、当たることは別でした。

それでも当てていた人は、何を見ていたのか

全体でいちばん多かった判断基準は「整いすぎているほうがAI」です。自由記述で「整っている・丁寧・きれい・テンプレっぽい」に触れた人は41人。この41人の平均正解数は2.93問で、全体平均の2.71問より上でした。おおまかには、この基準は効きます。

ただ、もっと具体的な人もいました。

どちらも、書いていることは正確です。第4問でわたしが書いたお礼メールには、たしかに「お話しできますと幸いです！」と感嘆符が入っています。AIはこれを出しませんでした。第2問の「なんで」も、わたしが素で打った言葉です。

ただ、正確に見抜いた2人目の方の成績は2問正解です。1か所を鋭く見抜いても、4問通しての正解にはつながらない。ここが、この調査でいちばん引っかかった点でした。

わたしたちが見ているのは、AIかどうかではなかった

ここからは、データではなくわたしの意見です。

今回、AI側の文章を作るときにひとつだけ工夫をしました。わたしの文章に出てくる事実や固有名詞を、AIへの指示にもそのまま渡したことです。「エンターテイメント施設」「10歳年下」「派遣さん」。これを渡さないと、具体的なことが書いてあるほうが人間、という当てっこになってしまい、文体の実験になりません。

その結果わかったのは、中身が同じなら、人が判定材料にできるのは「整っているかどうか」しか残らないということでした。そして整い方の判定は、その人の癖でまるごと裏返ります。

この結論には、居心地の悪い続きがあります。「AIっぽい」という指摘は、実質「文章が整っている」か「文章が雑だ」のどちらかを言っているだけだ、ということです。相手がAIを使ったかどうかを言い当てているつもりで、実際には文章の見た目の感想を言っている。

わたしはこれを、自分がやられる側になって初めて実感しました。10年以上前の、名前を呼んでもらえなくて不快だったという話を、自分の言葉で書きました。それが46人にAI認定された。悔しいというより、「じゃあ何を書けば人間だと思われるんだろう」と考え込みました。

今回のデータでいえば、答えは「雑に書けばいい」です。文体を揃えず、思いついた順に書く。実際そうすれば正解率は上がったでしょう。でもそれは、読みにくい文章を書くということでもあります。

だからわたしが決めたのは、逆のことです。

言い当てられると思っている人が多いから、この指摘は気軽に出ます。でも実際の的中率は、コイン投げと大差ない場面がある。そしてこの実験でいちばん外したのは、いちばん自信がある人たちでした。

調査の概要と、正直な限界

「不明・無効」の5人について書いておきます。自由記述が2問とも最短で、しかも設問への答えになっていなかった人、文章が途中で切れていた人などです。除いた5人を消して95人で割り直すと数字は実際より大きく見えるので、表の母数は100人のまま据え置き、5人は「不明・無効」として各表に残しました。

限界も書きます。まず、出題した文章はすべてわたし1人が書いたものです。「人間の文章」の代表ではありません。わたしの書き癖が、そのまま結果に効いています。文体が揃わないのはわたしの癖であって、人類の癖ではない。

それから、AI側は一発書きで推敲していません。本気で人間のふりをさせるなら、書かせたあとに崩す工程が入ります。今回の正解率は「AIの出力をそのまま出した場合」の数字で、手を入れたAI文章なら、もっと当たらないはずです。

そして、クラウドソーシングの登録者に聞いている時点で、在宅で働く人・フリーランスに寄っています。「日本全体の結果」ではなく「100人がこう答えた」として読んでください。

それでも、自信があると答えた13人の平均が2.69問で、自信がないと答えた25人の2.80問に負けているという数字は、わたしには十分でした。少なくとも、自分の「なんとなくAIっぽい」を信用するのはやめます。

---

ちなみに第1問の題材になった「派遣さん」という呼び方については、同じ100人に別で聞いています。呼ぶ側と呼ばれる側で、見えている景色がかなり違いました。

---

あなたはどうでしょうか。最近「これAIで書いたでしょ」と思った文章、本当にそうだったと確かめられましたか。