メールのホールドアウトテストでは、キャンペーンを受け取る対象グループと、受け取らない比較可能なグループを比べます。どの注文にレポート上の成果が割り当てられたかではなく、メッセージが購入行動を変えたかを調べます。考え方はシンプルですが、信頼できる比較にはグループの慎重な割り当て、一貫した計測、同じ顧客が受け取る他のメッセージへの配慮が必要です。
配信前にグループを計画する
まず対象となる顧客を決め、販促を受け取るグループと、その特定のマーケティングメッセージを受け取らないグループに、比較できるよう割り当てます。通常必要なサービス連絡は、どちらにも適切に送ります。実験のために注文に必要な情報まで止めてはいけません。
グループを作るときは利用できる対象者管理機能を使い、割り当て方法を記録します。比較可能なグループを作れない、または結果を一貫して計測できない場合は、信頼できる因果テストではなく探索的な試みとして扱いましょう。
テストする施策を明確に定義する
一通のメールを試すのか、メールの一連の配信を試すのか、既存のメール計画にSMSを追加する効果を試すのかを決めます。ホールドアウトでは、必要なサービス連絡を保ちながら、定義したマーケティング施策だけに違いを持たせます。他のこともいくつも変えると、一通のメールの効果というより、より広い問いに答えることになります。
手順とデータが対応できるなら、対象顧客をランダムに割り当て、観測期間中は割り当てを維持します。反応の少ない人をホールドアウトに、優良顧客を施策グループに入れるのは避けましょう。その比較で主に測るのはキャンペーンの影響ではなく、グループの選び方です。
配信前に割り当て方法、グループの人数、除外条件、予定する接触、主な成果を記録します。両グループの購入を計測できるデータを使いましょう。メッセージを受け取らないグループには同じ計測機会がないため、メッセージに割り当てられた売上だけでは適切に比較できません。
結果に影響する他の要因も把握する
他のキャンペーン、自動化、公に表示しているオファーがグループごとに異なる形で届いていないか確認します。一通のメールを受け取らなかった顧客も、別の場所で同じセールを見ているかもしれません。それでテストが無意味になるとは限りませんが、結果からわかることは変わります。
両方のグループに同じ観測期間と成果の定義を使います。メッセージを受け取らないグループには同等のアトリビューション経路がないため、割り当て済み売上だけでなく、購入率や対象顧客あたりの限界利益を比較しましょう。
差を計算しても過剰な主張をしない
各グループに顧客が2,000人いるとします。同じ観測期間に施策グループの60人、ホールドアウトの50人が購入しました。観測上の率はそれぞれ3%と2.5%で、差は0.5パーセントポイントです。2,000人に当てはめたときに見られた購入者の差は10人です。施策グループの60件すべてがメッセージによって生じたという意味ではありません。
この例でも不確実性の評価が必要です。購入が比較的まれな場合、ランダムな変動で差が生まれることがあります。適切な統計分析を用い、事業上意味のある差かも考慮してください。推定値がプラスだからといって、信頼できる結論とは限りません。
差を慎重に解釈する
グループが小さく購入が少ないと、結果はばらつきやすくなります。小さな差では結論が出ないこともあります。事業上の主張をする前に、サンプル数、対象者の重複、計測時期、計画からの変更点を記録しましょう。
Sendvioのキャンペーンレポートは分析に役立ちますが、ホールドアウトとは計測設計であり、ダッシュボードに組み込まれた成果の保証ではありません。準備に見合う重要な判断に使いましょう。配信を減らしても商業的な成果が変わらない場合を含め、追加価値を理解することが目標です。
テスト対象以外からの接触も調べます。ホールドアウトの顧客が公開セールを見たり、許可された別の自動化メールを受け取ったりするかもしれません。それだけで実験が無効になるわけではありませんが、マーケティング全体の有無ではなく、他の施策がある状況で定義した接触を追加した効果を測ることになります。
判断に必要な場合は、定義を統一し、返品を考慮できるだけの期間を設けたうえで、限界利益や否定的な反応も比べます。計画からの変更は隠さず示しましょう。グループを比較できなかった、または接触を十分に追跡できなかった場合は、探索的なテストとして報告します。適切なホールドアウトからは、キャンペーンに価値がある、ほとんどない、費用に見合わないといういずれの結果も得られます。実際の判断を変える情報なら、どの結果にも意味があります。