リサーチフィールドサイエンス～「調査慣れしているアンケートモニター」はインターネット調査の結果に影響する？

いまや生活者向けのマーケティング立案に欠かせない手段となっているネットリサーチ。聞きたいことを手軽に聞くことができるというメリットがある一方、正しく実態を捉えて意思決定に用いるには、手法の特徴を理解した上で活用することが重要となってきます。インテージでは、「フィールドサイエンス＆品質プロジェクト」を2009年に立ち上げ、ネットリサーチの特徴理解、品質確保のために必要なコントロールの把握などを進め、サービスに反映してきました。

この記事では、フィールドサイエンスの意義を改めて解説した上で、その一例として、インターネットリサーチを行う上で気になる「”調査慣れ”が結果に与える影響」の検証結果を紹介します。

フィールドサイエンスはなぜ必要なのか？

ネットリサーチはインターネットの普及に伴って2000年代前半から浸透し始めました。現在の日本では、企業活動における定量調査の大半はネットリサーチでしょう。（※JMRAによると2018年の売り上げベースの構成比は65%）

急速な普及の要因は、それまで定量調査の主流だった郵送調査などと比較して圧倒的に低コストとなったこと、そして実査時間の大幅な短縮によって短期間で調査結果が得られるようになったことにあります。しかし、ネットリサーチが企業の意思決定にふさわしい品質を担保しているかどうかについて、当時は疑問の声も上がっていました。そこで、普及の過渡期には調査の品質についての多くの研究や議論が行われました。

さらに、時の流れに伴う環境変化とともに、ネットリサーチの品質課題は変化し続けています。※ネットリサーチの品質課題とその変化に関しては「インターネット調査における「品質」を考える」で詳しく解説しています。

最適な実査(フィールドワーク)を行うためには科学的なアプローチによって品質の維持向上に常に取り組んでいく必要があります。インテージではネットリサーチが広がり始めた2000年代初頭からこのような活動を「フィールドサイエンス」と名付けて取り組んできました。

この取り組みでは、ネットリサーチにおける調査内容、アンケート画面、実査管理、アンケートモニター管理など、多角なテーマで研究を行っています。今回の記事では、アンケートモニターに関するテーマとして、「アンケートモニターの調査慣れ」についての研究結果をご紹介します。

「調査慣れしているモニター」はインターネット調査の結果に影響する？

アンケートモニターがネットリサーチにたくさん協力してくれたことによって「調査慣れ」が生じたと仮定した場合、どんな影響が考えられるでしょうか。

アンケートモニターが獲得できる謝礼ポイントは、回答したアンケートの質問数に応じて多くなります。そこでまず考えられるのは、条件に当てはまるモニターを探すためのスクリーニング調査において、その後の本調査に進んでポイントを多く獲得するために、事実と異なる回答をする人が多いのではないか、ということです。

例えば、「ある商品カテゴリーの3ヶ月以内使用者」を本調査の対象者とするためのスクリーニング調査では、調査対象ではないダミーのカテゴリーを選択肢に複数混ぜて聴取し、対象条件となるカテゴリーの使用者を抽出します。このスクリーニング調査で全てのカテゴリーを「使用した」と回答すれば、どのカテゴリーの調査であっても本調査に進む可能性が高くなるために、実際には使用していなくても全てのカテゴリーを「使用した」と回答する『水増し回答』をすることが考えられます。

そして、もう一つ、調査慣れしているモニターは普段の生活行動や意識に特徴があって、”平均的な人”ではないのではないか、という仮説も考えられます。例えば、一般的ではない頻度で百貨店やドラッグストアに通っていたり、極端に情報感度が高く、様々ルートやメディアから情報を入手していたりといった、平均的以上に消費や情報に貪欲な人が多いといった傾向があるかもしれません。

そこで、これらの仮説を検証するために、インテージが保有するアンケートモニターを利用して検証調査を実施しました。

●検証調査の設計

「平均依頼本数を超える調査依頼があり、かつ回答率が高いモニター」を『調査慣れしているモニター』と定義し、ランダムに抽出したモニターを対照群として調査を行って結果の差異を比較しました。

調査慣れしているモニターの中には、他社のアンケートモニターに登録している人も存在します。そういった人はさらにアンケートの回答本数が多く、慣れが進んでいると考えられるため、「他社登録あり群」と「他社登録なし群」に分けてサンプル設計をしています。

 

●検証調査の内容

スクリーニング調査での『水増し回答』があるかどうかを確認するために、
・パターン①：スクリーニング調査として、購入した日用品のカテゴリーを聞く
・パターン②：初めから本調査として、購入した日用品のカテゴリーを聞く
の2種類の調査を実施し、それぞれの回答個数を比較することで、「水増し回答」の有無を確認します。

さらに、パターン①のスクリーニング調査を依頼した人全員に、後日、パターン②の本調査と同じ内容の調査を依頼しました。この対象者は、スクリーニングと本調査で「購入した日用品のカテゴリー」という同じ設問に2回答えることになるので、この結果を比較することでも『水増し回答』の有無を確認します。

もう一つの仮説である”平均的な人”かどうかを確認するためには、パターン②の本調査で「店舗の来店頻度」や「ふだんの購買に関する行動や情報収集」などを聴取して、回答結果に差がみられるかどうかを検証することにしました。

仮説検証結果

●仮説の検証結果①：本調査の対象になるために、スクリーニング調査において、本調査の対象になりやすい回答をしたのか？

一つ目の「本調査の依頼が来そうな回答を敢えてする人が多いのではないか」という仮説についての検証結果を見てみましょう。ランダム抽出したモニターと、「調査慣れしているモニター」を図表1のような点で比較して回答傾向の差を確認したところ、違いは見られませんでした。

 

図表1

 

●仮説の検証結果②：一般的な生活行動や意識で違いがあったのか？

二つ目の「平均的な人ではないのではないか」については、”調査慣れしていて、他社のモニターにも協力している人”が「ポイントをためるのが好き」という意識がやや強く、実際にポイント交換の頻度が高いといった傾向は見られましたが、その他の調査項目では回答結果にほぼ差はなく、複数回答（MA）形式の選択数が多かったり、自由回答項目（FA）の記入率が高い傾向が見え、まじめに回答している人が多いと考えられます。

図表2

●結論：モニターが「調査慣れ」しても悪い影響はなく、むしろ調査データの品質向上に寄与している

アンケートモニターがネットリサーチにたくさん協力してくれたことによってモニターに「調査慣れ」が生じても、いい加減な回答をしたり意図的に自身の事実と異なる回答をしたりするわけではなく、むしろ調査結果の質を上げていると言えそうです。また、一般的な行動や意識についても、調査慣れした人は、ポイントや値引きに関する意識・行動はやや高めには出ていましたが、それ以外では差はほとんど見られなかったことから、「調査慣れした人が多くても、回答結果に大きな影響が出ることはほとんどない」と考えられます。

このようにフィールドサイエンスは、調査のフィールド（基盤）において起きうる課題やそれによる調査結果への影響を明らかにすることで、より精度の高い調査結果を得ることを可能にします。知るGalleryでは、今後も検証結果を紹介し、調査の質を高めるための工夫を解説していきます。

転載・引用について

◆本レポートの著作権は、株式会社インテージが保有します。
下記の禁止事項・注意点を確認の上、転載・引用の際は出典を明記ください 。
「出典：「インテージ 知る Gallery」●年●月●日公開記事」

◆禁止事項： 
・内容の一部または全部の改変 
・内容の一部または全部の販売・出版 
・公序良俗に反する利用や違法行為につながる利用 
・企業・商品・サービスの宣伝・販促を目的としたパネルデータ（＊）の転載・引用
（＊パネルデータ：「SRI」「SCI」「SLI」「キッチンダイアリー」「Car-kit」「MAT-kit」「Media Gauge」「i-SSP」など）

◆その他注意点：
・本レポートを利用することにより生じたいかなるトラブル、損失、損害等について、当社は一切の責任を負いません
・この利用ルールは、著作権法上認められている引用などの利用について、制限するものではありません

◆転載・引用についてのお問い合わせはこちら