アンケートの回答時間と不正回答の関連性を検証～第二弾～

20代は60代に比べ不正回答率が2.6倍

生活者を中心にしたマーケティング支援事業を提供する株式会社ネオマーケティング（所在地：東京都渋谷区）は、「不正回答の自動排除を促進し、アンケートの精度を高める」取り組みを開始しました。
インターネットリサーチによる、自由回答とマトリクス設問（表形式の設問）で検証を行いました。



＜調査背景＞
ネオマーケティングでは、意味のある価値のあるデータを提供することがマーケティングリサーチ会社としての使命であると考えています。
そのため、ポイント目的による不正回答を可能な限り排除する取り組みを開始します。
今回はその第二弾として、不正回答の発生時間基準を年代で比較しました。

第三弾、第四弾も予定しており、ネオマーケティングは意味のある・本質的なデータのご提供に取り組んで参ります。


主な結果
年齢が下がる程、不正回答発生までの時間が短い

20代と60代の平均回答時間に10秒の差

20代と60代で不正回答の半数が発生するまでの時間に最大11秒差

20代と60代で不正回答の9割が発生するまでの時間に最大31秒差



※自由回答の不正回答定義：意味のなさない文字列、悪口、設問の回答になっていない文字列
※マトリクス形式の不正回答定義：ストレート回答

【調査概要】
調査の方法：株式会社ネオマーケティングが運営するアンケートシステムを利用したWEBアンケート方式で実施
調査の対象：全国の20歳以上69歳以下の男女
有効回答数：1,000名　
調査実施日：2024年1月30日（火）～2024年2月1日（木）

年代別不正回答発生率
設問タイプ別に、年代別の不正回答発生率を比較してみると、概ね、年齢が上がる程低くなり、年齢が下がる程高くなる傾向が確認できる。
特に5段階マトリクス（表形式）設問における年代差が顕著で60代に比べて20代の不正回答率は2.6倍にのぼる。
※年代が上がるほど不正回答率が低いのではないかという仮説から、60代の不正回答率を1として、各年代の値を算出。

[画像1: https://prtimes.jp/i/3149/467/resize/d3149-467-d4613930b1aaed3896cd-0.png ]

[画像2: https://prtimes.jp/i/3149/467/resize/d3149-467-dda4a511561c0399ec0a-1.png ]

[画像3: https://prtimes.jp/i/3149/467/resize/d3149-467-a328f55afc77062c23b8-2.png ]



複数回答のマトリクス

[画像4: https://prtimes.jp/i/3149/467/resize/d3149-467-c088dccea0e797a3eb8f-3.png ]

ストレートの回答を不正回答と定義。不正回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、20代の不正回答のうち90%が30秒以内、半数が9秒以内（20代の平均回答時間18.2秒に対して9.2秒速い）に、60代の不正回答のうち90%が53秒以内、半数が20秒以内（60代の平均回答時間31.1秒に対して11.1秒速い）に集中している。
20代と60代で不正回答の半数が発生する時間に11秒、不正回答の9割が発生する時間に23秒の差がみられるが、各年代の平均回答時間を考慮すると、20代60代ともに回答時間が速いほど不正回答も多いことが示唆される。
[画像5: https://prtimes.jp/i/3149/467/resize/d3149-467-2b72e35c76d118091193-4.png ]

[画像6: https://prtimes.jp/i/3149/467/resize/d3149-467-1b9654b92cb18b0d02d0-5.png ]




単一回答のマトリクス
[画像7: https://prtimes.jp/i/3149/467/resize/d3149-467-49e4727e7ebe636d11c7-6.png ]

ストレートの回答を不正回答と定義。不正回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、20代の不正回答のうち90%が12秒以内、半数が5秒以内（20代の平均回答時間16.0秒に対して11秒速い）に、60代の不正回答のうち90%が43秒以内、半数が12秒以内（60代の平均回答時間25.9秒に対して13.9秒速い）に集中している。
　20代と60代で不正回答の半数が発生する時間に7秒、不正回答の9割が発生する時間に31秒の差がみられるが、各年代の平均回答時間を考慮すると、20代60代ともに回答時間が速いほど不正回答も多いことが示唆される。

[画像8: https://prtimes.jp/i/3149/467/resize/d3149-467-bff8ae892b8acca86c8d-10.png ]




マトリクス形式の5段階単一回答
[画像9: https://prtimes.jp/i/3149/467/resize/d3149-467-36d69f59dc6f1f1f62f5-8.png ]

ストレートの回答を不正回答と定義。不正回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、20代の不正回答のうち90%が30秒以内、半数が14秒以内（20代の平均回答時間21.9秒に対して7.9秒速い）に、60代の不正回答のうち90%が30秒以内、半数が21秒以内（60代の平均回答時間33.0秒に対して12秒速い）に集中している。
20代と60代で不正回答の半数が発生する時間に7秒の差がみられるが、各年代の平均回答時間を考慮すると、20代60代ともに回答時間が速いほど不正回答も多いことが示唆される。
[画像10: https://prtimes.jp/i/3149/467/resize/d3149-467-0dd7b32e32a9f5a358b2-11.png ]



総括

今回の検証は結論を出すことを目的としているわけではないため、明確な基準値を定めることはしないが、回答時間が早すぎると、不正回答である可能性が高まることは分かった。
また、年代により不正回答が発生する回答時間に違いがみられることから、一律に回答時間で不正回答と判断することは難しいといえる。

設問形式にもよるが、不正回答発生が集中する時間に20代と60代で最大31秒もの差が、平均回答時間では最大12.9秒の差がみられる。

どの設問形式においても、20代は、回答時間が速いほど不正回答も多いことを示唆しているが、
20代は回答そのものの時間が速いため、時間をかけずに、視覚的に分かりやすく、直感で回答できるような設問設計が望ましいといえる。また、設問数のボリュームが大きいアンケートは、不正回答がでやすいことも予測できる。

今後、選択肢の数による検証、視線等の生態データによる検証も行い
不正と思われるデータを、恣意的ではなく根拠を持って一律に排除できる仕組みを構築していきます。



■この調査で使用した調査サービスはコチラ
ネットリサーチ：https://neo-m.jp/research-service/netresearch/

■引用・転載時のクレジット表記のお願い
※本リリースの引用・転載は、必ずクレジットを明記していただきますようお願い申し上げます。
＜例＞「生活者を中心にしたマーケティング支援事業を提供する株式会社ネオマーケティングが実施した調査結果によると……」

■「ネオマーケティング」
URL ：https://neo-m.jp/

PR TIMESプレスリリース詳細へ