インターネット調査における「品質」を考える

インターネット調査における「品質」は、インターネット調査が始まった頃から常に課題とされてきました。ただし、その課題はインターネット調査を取り巻く環境の変化に伴い、年々変化しています。
インターネット調査を利用するときは、その時々に応じた品質の課題を理解して対処する必要があります。この記事では、インターネット調査が始まった頃からこれまでの品質の課題の変化と、それらを高める業界の取り組みを振り返りつつ、これからのインターネット調査における品質について考えてみます。

調査における「品質」とは

調査における「品質」は、以下の3つの観点で捉えられます。
①調査票（アンケート画面）の品質
②回答内容の品質
③調査対象者の品質

①調査票（アンケート画面）の品質

調査対象者が答える調査票（アンケート画面）は回答しやすく、整合性が取れた回答が得やすい状態になっていることが求められます。この要素が調査票（アンケート画面）の品質にあたります。

インターネット調査では調査票をHTMLで作成するため、アンケート画面上の表示を様々に設定することができます。質問や選択肢の表示・非表示の設定、回答の必須設定、質問や選択肢の並び順のランダマイズ、商品画像の掲載など、郵送調査などの紙の調査票では実現できなかったことが、容易にできるようになりました。インターネット調査が生まれたことで調査票（アンケート画面）の品質は、格段に向上しました。

■インターネット調査で実現できた調査票の品質向上の例

	紙の調査票	インターネット調査	品質向上の効果
質問や選択肢の表示・非表示	質問文に「前の質問で〇〇と答えた人のみ回答ください」と記載するが、指示に従わない場合がある。	前の質問で〇〇と答えた人のみに、質問や選択肢が表示される	・回答矛盾が抑止できる ・回答者の負荷が軽減できる
回答必須の設定	質問文に必須の指示を記載しても、記入漏れは発生する	回答必須の設定をして、回答しないと次の質問に進めないようにできる	回答の欠損を防ぐことができる
質問・選択肢の並び順のランダマイズ	パターン作成に限界があり、正順・逆順を組み合わせた数パターンが限度	対象者によって表示順を変えることができる	選択肢の並び順によるバイアスが軽減できる
回答する選択肢数の制限	質問文に「回答は〇つまで」と記載するが、指示に従わない場合がある	選択できる数を設定して、それ以上の数を選べないようにできる	指示に合わない回答を防止できる
商品画像の掲載	調査票は通常予算の関係で、モノクロで印刷されるため商品画像の掲載は難しい	商品画像の掲載が容易にできる	商品認知や購入などの質問で回答精度が向上する

このように、インターネット調査のアンケート画面は様々な設定ができるようになりましたが、かえって複雑なものになってしまったり、質問数のボリュームも増えたり、調査対象者の回答負荷が大きい調査票（アンケート画面）になる傾向も現れてきました。このことが近年のインターネット調査の品質の課題に繋がることになりますが、詳しくは後述します。

②回答内容の品質

調査票（アンケート画面）の品質が向上しても、調査対象者が正しい回答をしてくれないと意味がありません。回答の途中で疲弊してしまったり、選択肢を見落としてしまったりすると回答内容の品質が低下してしまいます。
このことは、調査票の内容に大きく影響を受けます。前述したようにインターネット調査では、調査票（アンケート画面）に様々な設定ができるため、つい質問や選択肢の数を多くなったり、複雑な設計になったりしてしまいがちですが、それが却って、回答者に負荷を与えることとなり、回答内容の品質低下に繋がります。

■回答内容の品質が低下する例

	回答内容の品質影響
質問数が多い	回答者が疲弊してしまい、途中で回答をやめたり、いい加減な回答をしてしまう
選択肢が多い	見落としがあったり、後半の選択肢を選ばなくなったりしてしまう
巨大マトリクスがある	回答者が疲弊してしまい、途中で回答をやめたり、同じ選択肢ばかり選んだりするようになる
質問文や掲示文が長い	読み飛ばしをしたり、意図を正しく理解できなくなったりすることで、正しい回答が得られなくなる

③調査対象者の品質

上述した「②回答内容の品質」は、調査票の内容によってコントロールできますが、調査票の内容に関係なく、意図的に不正な回答をする人が存在します。このような人が調査対象者の品質を左右します。

インターネット調査は、インターネットで募集したアンケートモニターに対して調査を行うことが主流になっています。アンケートモニターは比較的容易に登録ができ、アンケートに回答することで謝礼ポイントが獲得できるため、ポイント欲しさに同じ人が他の人に成りすましてモニターに複数登録したり、適当な回答を繰り返したりするような不正なモニターが少なからず存在します。そういったモニターをいかに排除できるかで、品質の高いアンケートモニターを維持することができます。

インターネット調査に求める「品質」の変化

～インターネット調査が登場した頃は「③調査対象者の品質」が課題～

インターネット調査が始まった1990年代後半の頃は、「③調査対象者の品質」に懸念を持つ人が多くいました。ただし、前述した調査対象者の品質の内容とは異なり、調査対象者そのものに対する懸念でした。

当時のパソコン普及率は3～4割程度であり（図表１）、スマートフォンもまだ登場していなかったことから、アンケートモニターは、さほど普及していないパソコンを持っている人で、こういった人を対象にして行うインターネット調査は回答結果に偏りがある、と言われていました。

図表１

そのため、インターネット調査と他の調査手法との比較検証調査が盛んに行われました。

住民基本台帳からサンプリングした郵送調査との比較や、住宅地図を用いたエリアサンプリングで実施した訪問調査との比較などが行われ、インターネット調査の回答結果を見る際に注意すべきことが明確になっていきました。
また、インターネット調査を利用する側も、パソコンを保有するアンケートモニターを対象にした調査であることを前提として調査結果を見るようになっていったことで、調査対象者に対する懸念は徐々に薄れていきました。
また、この懸念が薄れていったことは、パソコンの普及が急速に増加して、アンケートモニターが一般の生活者に近づいていったことも大きく影響しています。

～調査対象者そのものの懸念から、不正回答者への懸念へ～

インターネット調査が普及し始めると、インターネット調査を行う会社はアンケートモニターの数の多さを競うようになり、色々な方法を使ってアンケートモニターを急速に増やしていきました。それに伴い、他の人に成りすまして複数登録したり、適当な回答を繰り返したりするような不正なモニターも目立つようになっていきました。

そこで、アンケートモニターを保有する会社は、いかにして不正なモニターを排除するかに注力するようになりました。モニター登録時の複数登録や不正回答をチェックする作業をシステム化し、並行して人的な目視チェックを行うなどしてモニター管理を厳重に行い続けたことで、アンケートモニターの品質は向上していきました。
とはいえ、この不正回答者は、時代に関係なく定期的に発生し続けています。複数登録や不正回答を自動で行うプログラムを作る人がいたり、一見では不正と分からないように登録内容や回答内容を変えたりするなど、不正の方法もより高度なものなってきています。アンケートモニターを保有する会社は、そういった不正を発見・蓄積して、それに対処する新しいチェック方法を取り入れたり、システムを改善したりするなどして、継続して品質の向上に取り組んでいます。

現在のインターネット調査が求める「品質」

スマートフォンの普及は急速に進みました。今やアンケートモニターの半数以上がスマートフォンで回答しており、10代では90%を超えています。一方で、50～60代はまだ半数以上がパソコンで回答しています（図表２）。このように調査対象者にスマートフォン回答者とパソコン回答者が混在していることで、考えるべき品質の課題があります。

図表２

2019年　日本マーケティング・リサーチ協会協会（JMRA）調べ

まずは「調査対象者の品質」です。調査対象者にスマートフォンで回答する人とパソコンで回答する人が混在している中で、アンケートに回答できるデバイスを「スマートフォン限定」もしくは「パソコン限定」としてしまうと、集まった回答者に偏りが発生します。
年齢だけでみてもスマートフォン限定では若年層が、パソコン限定では高年齢層が多くなり、年齢による偏りが生じます。また同じ年齢層であっても、スマートフォンをメインに利用する人と、パソコンをメインに利用する人では、生活行動や意識も異なる場合もあります。

図表3

2017年1月　インテージ調べ

そのため、デバイスを限定せずに調査を行うことが重要になり、調査対象者に対し、どのデバイスでも回答できて、かつ回答しやすい環境を提供することが必要になります。
とりわけ、パソコン回答者に対しては、インターネット調査が始まった頃から品質向上に向けた取り組みを行ってきたため、比較的回答しやすい環境は整っていますが、スマートフォンは、パソコンよりも画面が小さく、パソコンよりも操作性が悪くなる人もいるため、パソコンでの回答環境をそのままスマートフォンに適用できるものではありません。このようなことから、次に考えるべき現在のインターネット調査における課題は、スマートフォンでの「調査票（アンケート画面）の品質」「回答内容の品質」となります。

パソコンでアンケートに回答するときは負荷なく回答できていたものが、スマートフォンになると、質問文や選択肢の文字が長かったり、表形式の大きなマトリクスがあって回答しづらかったり、そもそもの質問数が多かったりすると、回答者の負荷は増大して、正しい回答ができなくなる可能性があります。

前述したような意図的に不正回答をするモニターと違って、負荷により正しい回答ができなくなった場合、回答が不正か否かの判別も難しくなります。そのような回答が混ざることで回答結果の品質が低下してしまいます。
また、負荷が高いアンケートが続くと、アンケートモニターの協力率も下がってしまいます。その結果、必要な回答者数を集めることが困難な状況になり、インターネット調査を行うこと自体にも大きく影響してきます。このようなことにならないためにもスマートフォンでの回答者に配慮した対策が必要となってきます。

この対策の例として、スマートフォンでの回答に適したアンケート画面の開発があります。
図表３はインテージが開発した「i-タイル®」の調査画面です。選択肢全体がボタンとなっており、回答者の負担を軽減することで、正確な調査データが得られます。

図表４

インターネット調査の品質向上への取り組み

～インターネット調査業界の取り組み～

インターネット調査業界では、品質への取り組みを行っています。日本マーケティング・リサーチ協会協会（JMRA）では、2016年8月にインターネット調査を運用している調査会社が中心となり、インターネット調査品質委員会を立ち上げました。
http://www.jmra-net.or.jp/committee/internetresearch.html
この委員会では、今の時代にあわせたインターネット調査の品質基準を見直すとともに、インターネット調査という手法を今後も持続可能なものしていくために必要なことをあらためて考え、その啓蒙活動を行っています。

2017年11月に発刊した「インターネット調査品質ガイドライン」（http://www.jmra-net.or.jp/rule/guideline/）では、今の時代のインターネット調査の品質を維持するために必要なことを3つ（「調査協力者を大切にする」「調査協力しやすい調査票を設計する」「時代に応じたインターネット調査を実施する」）掲げて、それぞれにおいて何をすべきかを具体的に提示するなどして、インターネット調査の品質向上の働きかけを行っています。

また、インターネット調査についてのグループインタビューを実施してレポートを作成したり（http://www.jmra-net.or.jp/committee/internetresearch/20191016r.html）、ボリュームが大きい調査票対策の検証調査を行ったりするなど、多岐にわたって活動を行っており、この委員会の活動は2020年も続いています。

～インテージの取り組み～

弊社、株式会社インテージでも、独自に品質向上に取り組んでいます。研究会やプロジェクトを立ち上げて、インターネット調査の特徴や品質向上を考える研究を10年以上続けています。
とくにスマートフォン回答者の研究にはいち早く取り組んでおり、前述の「i-タイル®」の開発においても、スマートフォンでも答えやすいアンケート画面の研究や、パソコン回答者とスマートフォン回答者の回答内容の比較検証を行いました。
アンケートモニターの特性や時系列の変化の研究、不正モニターや不正回答への対策など、その時代に必要とされるテーマや、今後課題になるようなテーマの研究を数多く実施し、調査の品質向上につなげています。

最近の主な研究テーマ

テーマ	実施年	主な研究内容
回答謝礼の効果	2018年	謝礼ポイントを増やせば、回収率やモニターの満足度は上がるのかを研究
ネットモニターの回答傾向の時系列比較	2017年	アンケートモニターの回答傾向が、以前と比べてどう変化しているか、属性や様々な切り口でのモニターの回答傾向や品質の変化などを研究
マルチデバイス時代のリサーチのあり方	2015年	調査票の文言の長さ、選択肢の数・レイアウトなど、マルチデバイスで回答することをベースに「やるべきこと」「やってはいけないこと」を研究
モニターのプロ化、ポイントゲッターの回答検証	2014年	たくさんアンケートに答える人や長年アンケートモニターを続けている人の回答の特徴を研究

最後に

アドホック調査市場において、インターネット調査は約半分のシェアを占めており、日本のマーケティング・リサーチ手法の主流になっていますが、そこには常に「品質」という大きな課題があります。

インターネット調査は、アンケートモニターの協力を得ないと成立しない手法であり、今後もこの状況は続くと考えられます。そのためにインターネット調査を利用する場合は、調査協力者の協力意欲を損ねる調査を行わないことが重要です。
対策としては、以下のようなことが考えられます。

• あまり必要のない質問や選択肢は入れずに、できるかぎり調査ボリュームを軽減する
• 調査する前に実際にスマートフォンで回答してみて、回答しやすい調査になっているかを確認する
• プライバシーに踏み込んだ内容の質問をしないようにする

こういった工夫をすることは、アンケートモニターの協力率を維持することができるだけでなく、回答結果の品質向上にも繋がるため、インターネット調査を運用する側だけでなく、利用する側も理解し実施する必要があることとなります。

インターネット調査の「品質」の課題は時代を追うごとに変化しています。インターネット調査を利用するときは、今どんな品質課題に注視すべきかを把握し、その時々に応じた最良の対策を積極的に行っていくことが、インターネット調査の品質を得る上で重要なことだと言えます。

---

転載・引用について

◆本レポートの著作権は、株式会社インテージが保有します。
　下記の禁止事項・注意点を確認の上、転載・引用の際は出典を明記ください 。
「出典：インテージ 「知るギャラリー」●年●月●日公開記事」

◆禁止事項：
・内容の一部または全部の改変
・内容の一部または全部の販売・出版
・公序良俗に反する利用や違法行為につながる利用
・企業・商品・サービスの宣伝・販促を目的としたパネルデータ（＊）の転載・引用
（＊パネルデータ：「SRI＋」「SCI」「SLI」「キッチンダイアリー」「Car-kit」「MAT-kit」「Media Gauge」「i-SSP」など）

◆その他注意点：
・本レポートを利用することにより生じたいかなるトラブル、損失、損害等について、当社は一切の責任を負いません
・この利用ルールは、著作権法上認められている引用などの利用について、制限するものではありません

◆転載・引用についてのお問い合わせはこちら