2021.06.17

施策の効果検証のための3つの切り口【Marketo Tips】

プログラムの実装をしたものの、施策の効果検証をしたいがどのように検証したら良いのか、具体的に何と何を比べたらよいのか、などが分からないというお声を伺いますので、今回はMarketoの機能を使って、効果検証をする際の3つの切り口をご紹介いたします。それぞれの特徴やメリット・デメリットを理解し、より適切な切り口を選択しましょう。

1.実装前後での比較

プログラムの実施によってプログラム実装前と比べてどの程度効果を発揮したかという考え方で、比較対象としては、実装前のKPI/KGI実装後のKPI/KGIを比較する方法です。新規プログラム稼働後一定期間経過後に、ぜひ検証をしましょう。
※比較に用いる実装前の値を事前に整理する必要があります。

メリット

  • 効果検証のために新たにプログラムを実装する必要がない
  • 現在実施施策で、一定のサンプルサイズが確保されていれば、すぐに検証自体は可能

デメリット

  • 配信時期や対象者条件、外部環境の変化等の様々な変数が影響を与えるため、実装前と実装後でスコアの変化があった場合に、
    Marketoでの施策の効果の影響なのか、他の変数の影響なのか、正確に測定することが困難となる

 

2.実装したプログラムの施策実施層と非実施層での比較

実装したプログラムの施策実施層と実装しない層(非実施層)に分け、施策実施の有無による効果の違いを測定する考え方です。後者は、効果検証のために設けます。

実装前後の比較と異なり比較する対象間で外的要因の差が生じにくいため、サンプルサイズさえ足りていれば(非実施層が発生することを許容するのであれば)お勧めの切り口になります。
非実施層を設けている場合は、プログラム稼働後一定期間経過後に必ず効果検証をしましょう。

施策実施層と非実施層間で、対象者の属性情報やステータスに差が生じてはプログラム実装の効果を正確に測定できませんので、基本的には無作為抽出でランダムに非実施層を選定しましょう。

Marketoには、ランダムサンプル(※)機能が用意されており、非実施層の抽出にお勧めです。
なお、非実施層は無作為抽出するのが基本になります。
同じ無作為抽出でも、顧客ID等のフィールドがあれば、下2桁を指定する等して、ランダムサンプル機能を代替して選定することも可能です。

※ランダムサンプル:スマートリストや、キャンペーンのフローにあるフィルター条件のひとつで、配信対象者や非対象者を無作為に一定の割合を指定することができるものです。

メリット

  • 外部要因の影響を最小限に抑えられ、比較検証がしやすい

デメリット

  • Marketoでのプログラム/スマートキャンペーンの設定が必要
  • 一定のリードを非実施層に割く必要があり、施策の実施可能対象数が減る
  • 非実施層で一定のサンプルサイズを確保するまでは、有益な検証が難しい

 

非実施層のサンプルサイズについては、統計的に有意(あるグループ同士の平均値等のスコアの差が誤差で生じたとは考えにくい)となるサンプルサイズが必要です。

施策を動かし始めた当初は、サンプルサイズが限られるケースが多いので、効果検証するまでに一定の時間が必要になることも多いです。統計的に有意になる数が集まったら、レポートを出力し効果検証をしてみましょう。

 

3.既存の他施策との比較

既に実装・運用している他施策との比較による効果検証です。
両施策の対象者条件が同じで、設定条件や配信時間等の一部の条件のみ異なっている場合に有効です。
他施策でかつ類似の条件でメール配信を行っている場合、参考になるケースもあります。

特に他施策を別部署や別の担当者が担当している場合は、他施策の効果と当該施策の効果の傾向の違いがあれば、何が要因なのか仮説を立てるとともに、ナレッジの共有を図ることで、当該施策の改善に繋がる可能性もあります。可能な範囲で、検証を行いましょう。

メリット

  • 効果検証のために新たにプログラムを実装する必要がない
  • 現在実施施策での比較のため、一定のサンプルサイズが確保されていれば、すぐに検証自体可能
  • 比較の対象時期を揃えれば、実装前との比較に比べ、外的要因による影響を抑えられる

デメリット

  • 対象者条件やリードの状態が異なるケースが多く、検証結果の解釈が難しい
  • 別施策となるため、検証の観点が、施策の効果というより、メール/メールリンクの効果等に限定される

 

効果検証の留意点

メール配信にあたっては、ユーザーからメールパーミッションを取得する必要があります。Marketoでメール配信の対象者はパーミッションを取得した層(ある意味、ポジティブな層)になります。そのため、Marketoでの効果検証は、あくまでMarketoでの施策の効果を測定するものと考えた方がよく、Marketo外での分析結果と併せた総合的な視点も重要です。

また、可能な限りパーソナライズ化されたコンテンツを届けることが重要です。自分と関係のないメールやプロモーションメールばかり届くと、オプトアウトが増えてしまう懸念があります。

だからこそ、メールの開封率やクリック率、配信停止数などの指標を定期的に測定(特に新施策の起動後は重点的に測定)し、施策の効果を検証するとともに、必要に応じて施策やコンテンツ等を見直すことが重要です。

記事を書いた人

板倉 和司