記事を書くのに「100人に聞きました」というデータが欲しいとき、私はクラウドソーシングを使っています。仕事を発注できるサイトのアンケート機能です。
これを人に話すと、必ず同じことを言われます。「そんなの、適当に答える人ばっかりでしょ」と。
私も最初はそう思っていました。ただ、直近で3回・合計300人に聞いて、回答を1件ずつ読みました。結果は、思っていたよりずっとまともでした。
この記事では、実際の数字と実際にかかった金額、そして「本当に困ったのは回答者ではなかった」という話を書きます。
結論から。300人のうち、使えなかったのは19人
3回とも100人ずつ、すべて自分で全件読んで判定しました。
| 調査 | 回収 | 使えなかった回答 | 中身 |
|---|---|---|---|
| 1回目 ビジネスマナーについて | 100人 | 13人 | 手を抜いた回答10人＋生成AIに書かせた回答3人 |
| 2回目 野生動物の目撃について | 100人 | 1人 | 全設問で最短の選択肢＋自由記述が2文字 |
| 3回目 AIが書いた文章の見分け | 100人 | 5人 | 設問に答えていない3人＋文章が途中で切れていた2人 |
| 合計 | 300人 | 19人（6.3%） |
300人中19人。9割以上はちゃんと答えています。
しかも19人の中身を見ると、明確に手を抜いたと言えるのはもっと少ないです。3回目に除外した5人のうち2人は、文章が途中で切れていました。「思いません。 この時代においてAIを支えることも能力の一つであり、」で終わっている、という感じです。これは手抜きというより、書きかけで送信してしまった事故でしょう。
2回目は100人中1人だけでした。全設問でいちばん短い選択肢を選び、自由記述が2文字。この1人を見つけるために100件読んだわけですが、逆に言えば99人はまじめに書いてくれていたということです。
いちばん多かったのは1回目。設問の作り方で減った
13人・1人・5人。並べると、1回目だけ突出しています。
1回目でいちばん驚いたのは、生成AIに書かせた回答が3人いたことです。文体で当たりをつけて、プロフィールと照らして判定しました。人の本音を聞きたい調査に、AIの平均的な答えが混ざる。これがいちばん困ります。
そこで2回目以降、依頼文と設問をこう変えました。
自由記述に「20文字以上」の必須設定をかけた。
これがいちばん効きました。3回目では「特にない」「わからない」だけの非回答が完全に消えています。いちばん短い回答でも21文字あり、しかも設問への答えになっていました。
依頼文に「生成AIで文章を作ったものは使えません」と明記した。
あわせて、承認しない条件も具体的に列挙しました。2回目・3回目では、AIに書かせたと判断した回答は出ていません。
「外しても報酬は変わりません」と先に書いた。
3回目は正解のあるクイズ形式だったので、当てにいかせないためです。「むしろ、どこを見てそう思ったかが知りたい」と書きました。結果、判断の理由がしっかり書かれた回答が集まりました。
やったことは、これだけです。特別な審査機能を使ったわけではありません。依頼文と設問の書き方を変えるだけで、13人が1〜5人になりました。
本当に困ったのは、回答者ではなく私の設問だった
ここが、3回やっていちばん強く思ったことです。
回収したデータが使えなかったとき、原因のほとんどは手抜き回答ではありませんでした。私の設問の作り方が悪かった。実際に起きたことを並べます。
「見たことがない」を選んだ人が21%出た。そのあとの自由記述が全部「見たことがない」になり、記事に1文字も使えなかった。
→ 未経験の人には別の質問を出すか、経験者だけに絞る。
動物について聞いたら、ヘビ・鳥・ツバメの話が返ってきた（5件）。私は哺乳類の話を聞きたかったのに、設問文に「哺乳類」と書いていなかった。
→ 対象は設問文に書く。「常識でわかる」は通じない。
「日本国内」と書かなかったので、海外での体験が返ってきた（2件）。
→ 範囲も設問文に書く。
「聞いたことがありますか」の直後に「その情報源は？」を置いた。すると聞いたことがない人が情報源を答えるという矛盾が4件出た。
→ 分岐にして、「ない」なら次を飛ばす。
3回目でも同じ失敗をした。「来た側として経験がある」と答えた人が9人、迎えた側についての設問に実体験で答えていた。「経験はない」という選択肢を用意したのに、選ばれなかった。
→ 分岐の作り方はまだ改善できていません。次の課題です。
年齢欄に「35歳」と書く人が出た。数字だけで集計しようとしていたので手作業になった。都道府県を「福岡」と県を落として書く人も出た。
→ 年齢は「半角数字のみ」と明記。都道府県はプルダウンにする。
「見たことがある動物」を聞いたのに、どこで見たかを聞き忘れた。その結果、都道府県別の分析が一切できなくなった。「ヒグマを見た」と答えた5人のうち3人が本州在住で、誤認に見えたけれど旅行先で見た可能性を消せず、記事から撤回するしかなかった。
→ 体験を聞くなら「どこで」を必ずセットで聞く。
7つ並べましたが、回答者が悪いものは1つもありません。全部、私が設問を書くときに潰しておけたことです。
「クラウドソーシングのアンケートは適当な回答が多い」という前提でいると、ここを見落とします。実際にデータを使えなくするのは、手を抜いた数人ではなく、まじめに答えた97人が全員同じ勘違いをするような設問のほうです。
費用は、100人で1,160円だった
お金の話をします。3回とも同じ条件で出しました。
1人あたりの報酬
設問数は18問。1人につき10円で、5〜8分ほどかかる分量です。
100人ぶんの合計
手数料を含めた実際の支払額です。1回の調査でこの金額。
この1回から書いた記事
設問を最初から複数の記事ぶん詰め込んでいるので、1回で何本か取れます。
ここが、私がクラウドソーシングを使い続けている理由です。記事1本の材料が、1,000円ちょっとで手に入る。しかも設問を詰め込めば、1回の支払いで2〜3本ぶんの材料になります。
ひとつ補足すると、単価は自分で決められます。1件5円から設定できるので、もっと安く出すこともできます。私が10円にしているのは、18問で5〜8分かかる分量だからです。
つまり「クラウドソーシングだからいくら」ではなく、聞く量に合わせて自分で決めるということです。設問が3つ4つなら5円でいいでしょうし、逆に考えて書いてもらう調査なら上げたほうがいい。ここは発注する側の裁量です。
料金を公開している調査ツールと、実額で比べてみる
ここは料金を公開している会社があるので、その数字を引かせてもらいます。
セルフ型のアンケートツール「Freeasy」の料金ページには、「1問×1人回収 10円」と明記されています。最低料金は500円。料金表も公開されていて、10問×100人で10,000円です。この「1サンプル×1設問×10円」という体系はセルフ型では一般的な水準で、別の解説記事でも同じ相場が挙げられています。
これを今回と同じ条件、18問を100人にあてはめると18,000円。並べるとこうなります。
クラウドソーシング（私の実額）
18問・100人・手数料込み。単価は自分で決める（今回は1件10円）。回答の判定と除外は自分でやる。
セルフ型の調査ツール（公開料金からの計算）
1問×1人10円 × 18問 × 100人。属性を指定して集められる。
およそ15倍です。ただ、これは「同じものが15倍」ではありません。払う金額には理由があります。
ひとつは属性を指定して集められること。もうひとつが、いいかげんな回答を無効にして、その人数ぶんを追加で集め直してくれることです。これは実際に手間のかかる作業です。
おもしろいことに、この作業にもちゃんと値札がついていました。同じ料金ページのオプションに「データクリーニング：1問1人15円」とあります。18問×100人なら27,000円。不良回答を外す作業のほうが、調査そのものより高いという値付けです。
そのうえで、私の正直な感覚を書きます。その作業を代わりにやってもらうために15倍を払おう、とはあまり思えませんでした。
理由は、上に書いた数字です。無効にする対象が、300人中19人しかいない。1回あたり1〜13人です。この人数を自分で見つけて外す作業は、CSVを落として全件読めば1時間かからずに終わります。
しかも、いまは1時間もかかりません。ClaudeやChatGPTにCSVを渡して「全設問で最短の選択肢を選び、自由記述が設問の答えになっていない人を挙げて」と頼めば、1分もかからずに候補が出てきます。今回の5人も、そうやって見つけました。最後に自分の目で確かめるだけです。
ここは3年前なら違う結論だったかもしれません。データクリーニングという作業の値段が、AIによって下がった。だから外注する理由も、その分だけ減りました。
それに、全件読む作業自体が無駄になりません。記事に引用する言葉は、この読む作業の中で見つかります。集計だけ受け取っていたら、絶対に拾えなかった一言がいくつもありました。
いちばんの弱点は、年齢・性別を指定できないこと
ここは正直に書きます。クラウドソーシングのアンケートには、はっきりした弱点があります。
誰に答えてもらうかを、こちらから選べません。「30代女性を50人」という集め方ができない。依頼文に「日本在住の方に」と書くことはできますが、それが守られているかを確かめる手立ては、こちらにはありません。品質管理の手段は「いいかげんな回答をした人をブロックして、次回以降を防ぐ」だけです。
私がやっている確認は、こうです。
これでも「本人が本当にその年齢・性別か」は分かりません。分かるのは「プロフィールに書いてある内容と矛盾していないか」までです。
年齢・性別を指定して集められるのは、調査会社の明確な強みだと思います。これは認めます。
そのうえで、ひとつ引っかかっていることがあります。ここからは推測です。
調査会社のパネルも、答えているのは登録した個人です。だとすれば「指定できること」と「指定どおりの人が答えていること」は、別のはずだと思っています。登録時に年齢や性別を偽っている人、家族が代わりに答えている人がいない、とは言い切れないのではないか。
私は調査会社の内部の仕組みを知らないので、これは確かめていません。ただ、属性が保証されているつもりでデータを読むのは、どちらの方法でも危ないと思っています。
だから私は、記事に書くときは必ず「日本全体の意見ではなく、100人がこう答えた」という書き方にしています。クラウドソーシングの登録者に聞いている時点で、在宅で働く人やフリーランスに寄っているのも分かっているので、それも毎回書きます。
この「限界を書く」という手間は、値段では省けません。数万円払っても、分母の性質は消えないからです。
これから使う人が、先に潰しておくこと
3回やって固まった手順を置いておきます。順番が大事です。
- 何本の記事を取るか、設問より先に決める。1回1,160円なので、1本のために出すのはもったいない。私は毎回2〜3本ぶんの設問を詰め込みます
- 自由記述は20文字以上を必須にする。これだけで非回答がほぼ消えます
- 対象と範囲を設問文に書く。「哺乳類」「日本国内」を書かないと、書かなかったぶんが返ってきます
- 経験を聞くなら「どこで・いつ」をセットで聞く。これを忘れると分析ができません
- 「ない」と答えた人が次の設問に答えられない形にする。分岐を使う
- 年齢は半角数字のみと明記。都道府県はプルダウン
- 依頼文に、生成AIで答えるのは不可と書く。あわせて承認しない条件を具体的に並べる
- 回収後は必ず全件読む。ここで除外対象を見つけ、同時に引用する言葉を拾います
- 除外した人数は、記事に書く。分母は100人のまま据え置いて、除外分は「不明・無効」として表に残します。87人で割り直すと、数字が実際より大きく見えてしまうからです
9番だけ補足します。除外した人を消して割り直したくなりますが、それをやると数字が盛られます。表に「不明・無効13人」と残しておけば、読む人がそこを差し引いて考えられます。これは自分のためでもあって、あとから見返したときに何をやったか分かります。
まとめ：デメリットは想像より小さく、メリットは桁で効く
最初の質問に戻ります。「クラウドソーシングでアンケートを取ると、適当な回答ばかりになるのか」。
答えは「いるけれど、300人中19人だった」です。そしてその19人は、設問の書き方でさらに減らせました。
私の結論はこうです。
クラウドソーシングが向いている場合
記事や発信の材料が欲しい。属性の厳密な代表性より、生の言葉が欲しい。全件読む時間が自分にある。この条件なら、1,160円は安すぎるくらいです。
調査ツール・調査会社に頼むべき場合
属性ごとの比較が結論の中心になる。社外に出す資料で、集め方の説明責任が必要。回収後の作業に人手を割けない。この条件なら、15倍払うぶんの理由があります。
私の場合は前者です。欲しいのは「30代女性の何％」ではなく、「じゃあ何を書けば人間だと思われるんだろう」と考え込むきっかけになる、誰かの一言のほうなので。
それが1,160円で100人ぶん届きます。3回やって、次もやると決めています。
この3回で実際に何が分かったのかは、それぞれ記事にしています。設問の作り方や除外の考え方も、記事の最後に全部書いてあります。
ケートエーアイの記事をGoogleで見つけやすくする
Googleの「優先する情報源」に登録すると、検索結果の上位ニュースやAIによる概要でケートエーアイの記事が出やすくなります。お使いのGoogleアカウントに保存され、いつでも解除できます。
当記事に対してのコメントをご記載くださいませ！