2017.04.21

知っておきたい!効果測定の目的に応じたMarketoのA/Bテスト

Marketo(マルケト)を有効に活用してメルマガ配信を行うには、プログラムの選び方が肝心です。

例えば、どのようなメールの開封率が高いかを検証するために、件名や内容の異なるメールを出し分けて反応を見たいけど、どのプログラムを選べばよいのだろう…と悩んだことはありませんか?
今回は、メールの効果測定に使える機能と、それに応じたプログラムの選定方法を、パターン別にご紹介したいと思います。

(マルケトのティップスを発信するこのコラム、前回は開封・クリックなどメールのログについてまとめています。メールシナリオ結果を分析中のマーケターの皆様、ぜひご覧ください!)

 

パターン1: A/Bテストでメールに変化をつけて効果の違いを検証したい。

例えば、展示会の案内メールを送る時に、タイトルに展示する製品名を入れる場合と入れない場合でどちらの反応がいいかを見てみたい、といった場合ですね。
このような場合はA/Bテストを使用しましょう!

A/Bテストは、あるパターンでどちらの(どの)メールの効果が高いかを少数のメンバーでテストを行い、効果(勝者の条件より設定)の高かった勝者を残りのメンバーに適用する機能です。

A/Bテストで出し分けできるものは、

  • 件名ライン
  • メール全体
  • 差出人メール
  • 日時

の4つです。

このうち、件名ライン、差出人メール、日時は、1つのメールで該当の項目だけを変更すれば出し分けが可能です。
(※メール全体を出し分ける際は、パターン分のメールを用意してください。)

プログラム選定はどうすればよい

プログラム選定はどうすればよいのかですが、メールプログラムを選ぶとA/Bテストの追加を簡単に行えます。
(※その他のプログラム配下でも、メールを作成し、メールアクションの新規テストよりA/Bテストを追加することができます。)

Marketo(マルケト)A/Bテスト設定ポップアップ

ご存知の方も多いかと思いますが、メールプログラムは1度実行すると再利用ができません。
メールプログラムを使用する時は、1回きりのメール配信に限られることも念頭に置いておきましょう。

マルケトA/Bテストの課題

便利そうに見えるA/Bテストですが、一方で課題があります。
A/Bテストを追加すると、選択されたメールはそれ以降、他のプログラムで利用できなくなります。

また、開封率等を見たい場合「メールの効果レポート」を作成しますが、A/Bテストの場合、プログラム1つにつき1パターンとして表示されるため、複数パターンのメールを送ってもそれぞれの結果を見ることができません。

Marketo(マルケト)A/Bテストレポート

ですから、過去も含めた複数メールの比較には向いていません。
複数メールの効果を比較したい場合は、ランダムサンプルが適しています。

次のパターン2では、その方法をご紹介します。

 

パターン2: 過去のA/Bテスト結果もまとめてレポートで確認できるように配信を行いたい。

例えば、毎週のメルマガ配信で、先週は画像あり・なしのA/Bテストを行い、今週は差出人名でA/Bテストを行ったが、結局どのメールの開封率が一番高かったかを一覧で見てみたい、という場合はありませんか?

Marketoランダムサンプルとは

そのような場合はランダムサンプルです。
ランダムサンプルは、配信対象者を無作為に指定の割合人数だけ選出する機能です。スマートリストや、キャンペーンのフローにあるフィルター条件のひとつです。
この機能を、メールの配信対象者設定に利用することで、A/Bテストと同等なテストが可能になります。

注意しておくべき点としては、A/Bテストといっても、1機能として提供されている通常のA/Bテストとは異なり、あるメールの配信対象者を無作為抽出するという機能を流用したもの、という点です。
そのため、ランダムサンプルを用いたA/Bテストを行う場合は、パターン分のメールの準備と、メールごとに配信対象者数の割合の指定が必要です。

例えば、本文内容は共通で差出人名だけを変えたいという場合、A/Bテストなら差出人名の項目を変更しさえすればよいのですが、ランダムサンプルでは差出人名の異なる別のメールをご用意いただく必要があります。

マルケトランダムサンプルが適したプログラムとは

さて、このランダムサンプルはどのプログラムが適しているでしょうか。

正解は…デフォルトプログラムです!

基本的にどのプログラムでも、プログラム配下にキャンペーンを作成すればランダムサンプルを使用することは可能ですが、メールプログラム、エンゲージメントプログラム、イベントプログラムそのものに設定することはできないので注意しましょう。
ランダムサンプルの設定方法ですが、キャンペーンのフローで「メールの送信」を選択し、「選択肢の追加」タブをクリックしましょう。
そして、「指定の場合」にランダムサンプルを指定してください。

次に、メールを指定します。

選択肢1で送信したいメールとその割合を指定します。デフォルトは、残りの割合で指定したメールが送信されます。
(※選択肢1に指定したメールの優先度のほうが高いことを覚えておきましょう)

Marketo(マルケト)A/Bテストフローアクション

ランダムサンプルで送ったメールをレポートに表示させるには、メールの効果レポートを作成して、送信日の期間指定をすると、その期間に送られたメールの開封率等が一覧で表示されます。

どのメールの効果が最も高かったかを確認するのに役立ちますね!

Marketo(マルケト)A/Bテスト送信日:過去7日間

以上、ぜひ参考にしていただけば幸いです。

 

参考docsはこちらから☟
http://docs.marketo.com/pages/viewpage.action?pageId=7507606

 

記事を書いた人

伊藤 千奈美