マーケ人材不足を救うか 深層学習の最前線～データサイエンスを知るコラム⑥

人による判断を深層学習で置き換える

デジタルを活用した様々なツールが普及した今もなお、ビジネスパーソンが抱える仕事の多くは、人による“判断” を必要としている。それはマーケターの業務にもあてはまるだろう。しかし人材不足が叫ばれる昨今では、人による判断をいかに削減できるかは重要な課題だ。そこで注目されている技術の一つが、深層学習である。

深層学習とは、端的に言うと“特定の領域における規則性や関係性などの法則を見出すことに優れた要素技術” のことだ。実はマーケティング業務においても、既に一部の領域で深層学習の利活用が進んでいる。本稿では“人による判断を深層学習で置き換える” ことをテーマに、マーケティング調査領域下で深層学習を用いた研究例を紹介する。深層学習を使ってできること・メリットを中心に、導入に際して必要な事柄についても述べていきたい。

今回紹介する研究例は2つある。一つはマーケティング調査における人の思考パターンを深層学習モデルで仮想現実化させた研究例であり、もう一つは人の視覚情報に基づく判断を、深層学習で代替した研究例である。

1．パッケージ評価調査への活用

マーケティング調査には数多くの種類が存在するが、今回はパッケージ評価調査を取り上げる。パッケージ評価調査とは、パッケージの見た目に依存する情報をなんらかの評価として収集するものであり、人による“判断” が介在している。人はパッケージを評価する際、それぞれが持っているなんらかの認識回路を通して評価しているが、視覚的な情報は画素という256 種類の数値で表現できる。一度、数値の世界に変換できれば深層学習で取り扱えるため、人による“判断” を深層学習の世界へ連れ出すことができるようになるのだ。

具体的には図表1の通りである。

図表1

過去のパッケージ評価調査における評価スコアと、それに対するパッケージ画像を用いて深層学習で学習していくと、人による“判断” を推測できるモデルを構築できる。新たに評価したいパッケージ画像があれば、トレーニングした（＝学習させた）モデルに評価させることで、人による評価を代替することができる。いわば、仮想現実世界でパッケージ評価調査ができるようになるのだ。

続いて、使用データとモデル精度を図表2に示した。

図表2

10種類のイメージ項目について、5段階の尺度評価におけるTOP2スコアの割合を目的変数として深層学習で学習させた。作成したモデルを評価したところ、イメージ項目によって精度は異なり、見た目だけでは判断がつきにくいイメージ項目の評価スコアは精度が低い傾向にあった。たとえば、“食事に合う” は見た目よりも個々人の過去の経験（CMからのコミュニケーションなど）の影響を受けている可能性が考えられる。

　また、学習に使用するパッケージの種類数について、一般的な深層学習で必要とされる数万規模ではなく、合計396種類で完結できている点が興味深い。おそらく、学習させた商品群の見た目が似ており、各評価スコアの大小に影響する情報に共通点が多く存在したことが要因であろう。たとえば、“果汁感がある” という評価スコアが高いパッケージには、果物のイラストが描かれており、果物を表す数値の羅列をモデルが学習できたのではないだろうか。評価スコアはパッケージの見た目だけで判断されているわけではなく、個人の経験やメディアからのコミュニケーションによる影響も含まれるはずだが、見た目だけでもある程度高い精度を保持できていることは注目に値する。

これらのモデルを用いたビジネスへの展開イメージは図表3のとおりである。

図表3

従来では、一度に評価できるパッケージ試作品は数種類に限られ、日数も約1ヵ月かかり、仕様を決定したらデザインの差し替えは難しい。これに対して深層学習を用いた仮想現実調査では、パッケージ画像数に制限はなく、1画像あたり数秒で評価することができる。そのため、調査サイクルを短縮化して試作品を改良するチャンスを増やすことができ、仮想現実調査の優位性は高いと言える。

ただし、このモデルの評価は、過去の調査に参加した人々の“判断” を根拠としており、直近のトレンドは考慮できていない。そのため、定期的にパッケージ評価調査を実施し、再度トレーニングする必要がある。人による“判断” が変化する期間の選定は難しいものの、少なくとも数日や数ヵ月で変化するものではない。そのため、深層学習を用いた仮想現実調査は有意義な方法として浸透していくのではないか。なおインテージで行った、飲料と袋麺パッケージの最適デザインを導出した実験調査の結果は「生活者の好む「組み合わせ」をAI・最適化技術と人間の評価で見つける」で紹介している。

2．人の視覚情報に基づく“判断”の代替にも

人による“判断” の中でも多く工数がかかるものとして、視覚で何かをカウントする作業が挙げられる。たとえば、街頭調査では経時的にカウントするため、計測時間もかかる。しかし、そういった時系列で変化する動画情報は画像の連続でしかないため、この情報も画素という数値に置き換えることで、人による“判断” を深層学習で代替することができる。

インテージでは直近の研究例として、テレビ番組やCMなどに映っている企業ロゴやブランドといったマーケティング活動に必要な情報が、何が、どこに、どれくらいの大きさで、どれだけの時間映っていたのかを収集する試みを進めている。メディアへの露出を正しく知ることができれば、広告投資効果も明確に理解できるはずだ。
カウント対象がどこにあるのかを調べるには、まず物体検出が必要なため、似たような物体を識別するタスクを自己学習型の深層学習（※1）で学習させていく。具体的には図表4に示すとおりだが、初期段階では、物体の位置や矩形は定まっておらず、どこに物体があるかはわからない。

図表4

しかし、学習回数を増やしていくと、物体の位置や矩形の共通性を見出すことができるようになり、似たような物体を同じ認識対象として検出できるようになる。従来であれば、どこに何があるかを人が判断した学習データが必要だったが、深層学習のアーキテクチャ内に自己学習機構を導入することで、そういった作業を省略可能だ。一度、物体検出ができれば、新たな動画データが入力されたときにも、どこに物体があるか検出できるようになっているため、あとはその物体を特定するだけである。

今回であれば広告の特定が目的のため、data augmentation（※2）を活用して、広告の画像データ（ブランドやロゴ）を水増しさせることで、特定の広告を識別できるようになり、検出と特定の両軸が揃うことになる。その上でカウントしたい広告が映っている動画データをモデルへ投入することで、どれだけ広告が露出したのかをカウントできるようになり、正しい理解で広告の価値を判断することができるようになるのだ。

またこの他にも、人の視聴反応データとして表情解析等の手法で視聴者の感情データと動画データとの関連性についても研究を進めている。仮に動画から人の感情を推定できるようになれば、番組やCM制作時に視聴者の反応を推測でき、より生活者の理解を得やすい価値を提供できるようになる。

活用の注意点と発展可能性

本稿では主に「人による判断」の時間を削減する目的で、2つの研究例を紹介した。深層学習は視覚情報のような数値化できるデータであれば、人による判断を代替できる可能性を秘めているが、100%の精度で判断することはできず、適用できる業務には限りがある。たとえば、10種類の物体から1種類を当てる場合、深層学習では「他の9種類の物体に対して相対的に予測確率が高い」という理由で判断が下される。そのためビジネス展開の際には、要求される品質レベルを考慮に入れながら、開発・活用していく必要がある。

また、本稿で紹介した研究例は、いずれも過去データを対象としてモデル構築を進めたものであり、過去データがない場合は深層学習を適用できない。しかし、将来的に自らデータ収集を行う仕組みと組み合わせることができれば、人の判断根拠を学習していくことも叶うだろう。たとえば、テレビ番組やWeb動画、SNS等のデータを基に人は判断根拠を醸成するはずであり、その根拠をどのように確保していけるかは重要なテーマになりそうだ。これらのデータも電子化されており、深層学習が理解できる数値の世界に浸すことができるため、人と同じような学習プロセスを持つ革新的な深層学習の進化は、すぐそこまで来ているのかもしれない。

※1 自己学習型の深層学習：深層学習モデル内の要素間の類似度、重要度を計算する仕組み。
※2 data augmentation：学習データを水増しすること。画像では、角度を変えたり、左右を反転させたり、輝度を変えたりする手法がよくとられる。

※この記事はMarkeZine57号に掲載された寄稿記事（「マーケ人材不足を救うか　深層学習の最前線」）を再構成したものです。

転載・引用について

◆本レポートの著作権は、株式会社インテージが保有します。
　下記の禁止事項・注意点を確認の上、転載・引用の際は出典を明記ください 。
「出典：インテージ 「知るギャラリー」●年●月●日公開記事」

◆禁止事項：
・内容の一部または全部の改変
・内容の一部または全部の販売・出版
・公序良俗に反する利用や違法行為につながる利用
・企業・商品・サービスの宣伝・販促を目的としたパネルデータ（＊）の転載・引用
（＊パネルデータ：「SRI＋」「SCI」「SLI」「キッチンダイアリー」「Car-kit」「MAT-kit」「Media Gauge」「i-SSP」など）

◆その他注意点：
・本レポートを利用することにより生じたいかなるトラブル、損失、損害等について、当社は一切の責任を負いません
・この利用ルールは、著作権法上認められている引用などの利用について、制限するものではありません

◆転載・引用についてのお問い合わせはこちら