メールキャンペーンのテストは、判断に役立つものであるべきです。「サイズガイドが買い物客の選択に役立つか」は、「どちらのメールがよく見えるか」より具体的な問いです。配信前に、変える内容、対象となる読者、比較する結果を決めます。手作業で比較する場合でも利用できるテスト機能を使う場合でも、一度に複数のものを変えて、結果を一つの要素の成果と決めつけないようにしましょう。
変更する要素を絞る
読者の条件、オファー、リンク先、配信条件をできるだけそろえます。見出しの切り口やサイズ説明の有無など、意味のある要素を一つ変えましょう。すべてを同時に変えると、よりよい組み合わせは見つかっても、何が結果に影響したかはわかりません。
Sendvioアカウントで利用できるキャンペーンや読者管理機能を使って比較を整理します。グループを手動で準備する場合は、割り当て方法を記録し、重複しないようにします。実際に確認していない自動テスト機能や勝者の自動選定があると思い込まないでください。
後から確認できるテスト計画を作る
役立つ計画の例：「同じカバーコレクションを検討中の対象者に、簡潔なサイズ説明を加えると、事前に決めた観測期間内に割り当て済み受信者あたりの条件を満たす購入が増えるか」。変更、対象者、期待する結果、期間を明記します。オファーと商品の在庫条件もそろえましょう。
利用できる手順が対応していれば、対象となる受信者を重複しないグループにランダムに割り当てます。アルファベット順に分けたり、最近登録した人だけに一方を送ったりすると、体系的な違いが混ざる場合があります。重要な顧客層の偏りを避ける必要があれば、結果が出た後に説明を直すのではなく、事前に割り当てを計画します。
一つの要素を試すのか、要素を組み合わせた全体を比べるのかを決めましょう。どちらも役立ちますが、答える問いが違います。件名、レイアウト、割引、リンク先を一度に変えると、一方のパッケージが勝っても、個別のどの変更が影響したかはわかりません。テストの目的を正確に記述します。
成功の定義を配信前に決める
割り当て済み受信者あたりの注文数など、問いに直接関係する主な成果を選びます。配信停止、苦情、関連費用は守るべき補助指標として確認します。開封率だけが上がっても、人が読んだ割合や商業的な成果が向上したとは限りません。
配信前に観測期間を定め、一般的な購入サイクルを考慮します。一方の版が一時的にリードした時点ですぐテストを止めると、誤った結論になりかねません。サンプルが少ない場合、割合に差が見えても結論を出せないことがあります。
判断に必要な証拠の量を考える
購入が2件から3件に増えると相対的には50%増ですが、実際の差は1件です。これだけで恒久的なルールを決めるには根拠が弱いでしょう。見せ方が差を誇張しないよう、絶対件数とパーセントポイントの差も相対的な増加と一緒に記録します。
重要な判断では、基準となる率と対応に値する最小効果から必要なサンプル数を見積もります。適切な統計手法を使い、必要なら専門家に相談しましょう。どんなメールのテストにも通用する唯一のサンプル数はありません。まれな成果や予測差が小さい場合は、よく起こる成果や大きな違いを調べる場合より多くの証拠が必要です。
観測期間と終了方法を配信前に決めます。計画された分析方法がなければ、途中経過を何度も確認し、最初に有利な結果が出たところで止めると、結論が歪む可能性があります。商業上の理由で途中終了する必要があれば、部分的な結果を確定的なものとして扱わず、その制約を記録します。
件数、率、事業への影響から結果を読む
比較可能な対象者をそれぞれ5,000人ずつランダムに割り当てた例を考えます。事前に決めた期間に、Aではユニーク購入者が100人、Bでは115人でした。購入率はそれぞれ2%と2.3%です。差は0.3パーセントポイントで、2%を基準にすると相対的な増加は15%です。これは説明用の例であり、Sendvioの実際のキャンペーン結果ではありません。
割合が高いだけでは判断は決まりません。適切な統計分析で不確実性を確認し、事業にとって意味のある改善か考える必要があります。割引、在庫、配送、トラッキングに予期しない差がなかったか確認し、開封やクリックがなかった人を後から除外せず、当初割り当てたグループで分析します。
次に補助指標を確認します。2つ目の版で購入が増えても、同梱内容に関する誤解が増え費用もかかるなら、単純な成功とはいえません。決めた期間内の限界利益や、関連する否定的な反応も見ます。結果を見てから、好みの版が最もよく見える主指標へ切り替えないでください。
証拠に見合う表現で結論を書きます。何を変え、何が観察され、どれほど不確かで、次にどうするのかをまとめましょう。結果がはっきりしない場合、運用しやすさから簡単な版を選ぶのは構いませんが、コンバージョン率が高いことの証明とは分けて記述します。
不確実さを含めて学びを記録する
各バージョン、読者の条件、サンプル数、配信時期、結果を保存します。根拠が弱い場合はそのことを書き、暫定的な差を恒久的なルールにしないようにしましょう。
結果を次の実用的な改善につなげます。差がほとんどなかったテストも、別の箇所に注力すべきだとわかれば時間を節約できます。目的は実験で予定表を埋めることではなく、よりよい判断をすることです。
統計的な証拠だけでなく、実務上の重要性も確認します。制作費が高くなるのに改善がごくわずかなら、維持する価値がないかもしれません。注文が増えても、誤解を招く期待や返品コストも増えれば、より広い判断では成果とはいえません。
結果を「証拠を示して採用する」「不確かなので引き続き調べる」「費用や不利益に見合わないため採用しない」のいずれかとして正直にまとめます。計画と件数も保管しましょう。そうすれば次の実験に学びが積み重なり、毎回ノイズの中から「勝者」を探すことを防げます。