ABテストプロ 使い方ガイド

初期設定

1. プランを選択する

「設定」→「プラン」からプランを選択できます。開発ストアは制限が無効になります。

• Free: 同時実行 1件
• Starter: 同時実行 5件
• Pro: 同時実行 15件

有料プランの場合はShopifyの確認画面で課金を承認してください。

App Embedの有効化と最初のテスト作成がチェックリストで表示されます。

画像: onboarding.png

2. App Embedを有効化する

テストの割当と計測は、App Embed（ABテスト埋め込み）が有効なテーマでのみ動作します。

1. オンボーディング、または「設定」から「テーマ設定を開く」をクリック
2. Shopifyテーマエディタの「App embeds」を開く
3. 「ABテスト埋め込み」をオンにして保存

テーマエディタでABテスト埋め込みをオンにします。

画像: app-embed-enable.png

チェックポイント

• 「設定」画面で「状態: 有効」「同期: 同期済み」になっているか確認
• テーマを切り替えた場合は、App Embedがオフになっていないか再確認
• App Embedが無効だとテストを開始できません

App Embedの状態とプランを確認できます。

画像: settings.png

3. 同意・法規への配慮

A/Bテストは地域によってユーザーの同意が必要です。必要に応じて同意バナーやプライバシーポリシーを見直してください。

テスト作成

管理画面でテストを作成し、開始するまでの流れをまとめます。テストはコントロール + バリアント1の2パターンで運用します。

ステップ1. テストタイプを選ぶ

ページ単体/テンプレート/テーマ/URLスプリットの4種類から選択します。

• ページ単体テスト: 特定ページの変更検証
• テンプレートテスト: 同一テンプレート全体の変更検証
• テーマテスト: サイト全体の比較
• URLスプリットテスト: 異なるURLの比較

テーマテストは同時に1件のみ実行できます。

目的に合わせてテストタイプを選択します。

画像: select-test-type.png

ステップ2. 基本設定

• テストのタイトル: 目的が分かる名前を設定
• 実験キー: 半角英数字とハイフン、最大32文字（タイトルから自動生成）
• 説明: 仮説やメモ（任意）

実験キーはURLスプリットの束ねURLにも使用されます。

タイトル・実験キー・説明を入力します。

画像: basic-settings.png

ステップ3. コントロールとバリアント設定

テストタイプに応じて設定方法が変わります。

ページ単体 / テンプレートテスト

1. コントロール: テスト対象ページを選択
2. バリアント: テーマエディタで作成したテンプレートを選択

アプリからテンプレート複製はできません。テーマエディタでテンプレートを複製し、サフィックス付きで保存してください。

• 例: product.ab-test / collection.ab-test
• サフィックスなしのデフォルトテンプレートはバリアントに使えません

テーマエディタでテンプレートを複製して保存します。

画像: template-duplicate.png

テーマテスト

1. コントロール: 公開中のテーマを選択
2. バリアント: 複製または新規テーマを選択

比較するテーマをコントロール/バリアントで選択します。

画像: theme-select.png

URLスプリットテスト

• コントロールURLとバリアントURLを入力
• 許可されるドメイン: ストアのmyshopify.comドメイン、または登録済みのカスタムドメイン

コントロールURLとバリアントURLを入力します。

画像: url-split-input.png

ステップ4. トラフィック配分

• スライダーで10%〜90%の範囲で調整
• 合計は必ず100%
• 迷った場合は「均等に戻す」で50% / 50%

コントロールとバリアントの配分を調整します。

画像: traffic-split.png

ステップ5. スケジュール設定

• 今すぐ開始 または 日時指定を選択
• 日時指定の場合は開始日時/終了日時を入力
• 最短1日、最長90日
• 今すぐ開始の場合は90日後に自動停止

開始・終了日時を設定します。

画像: schedule.png

ステップ6. 下書き保存 / テスト開始

画面下部のバーから「下書き保存」または「テストを開始」を選択します。

• App Embedが有効か
• プランの同時実行上限（実行中 + スケジュール待機中）を超えていないか
• 同じ対象で別のテストが実行中でないか（スコープロック）
• バリアント設定が不足していないか
• URLスプリットの場合、ドメインが許可されているか

プレビュー

「プレビュー」ボタンでコントロールとバリアントの表示を事前確認できます。必ず見え方を確認してから開始してください。

計測と優先ルール

ABテストの結果がどのように計測されるか、複数テストが同時に走った場合の優先・コンフリクトの考え方をまとめます。

割当 → イベント送信 → 集計の流れを示す図を配置してください。

画像: measurement-flow.png

計測の流れ

1. App Embedが来訪者ID（ab_sid）を確定し、App Proxyでテスト割当を取得
2. 割当完了後にページビューイベントを自動送信
3. Web Pixelがカート追加・購入などのイベントを送信
4. イベントと割当を紐付けて集計し、指標を更新

計測はab_sid（90日クッキー）単位で行われます。異なるデバイスやブラウザは別の訪問者として扱われます。

自動で送信されるイベント

• view: 割当後にApp Embedが送信（同一URLの重複送信は短時間で自動除外）
• add_to_cart: Web Pixelのカート追加イベント
• purchase: Web Pixelの購入完了イベント（注文金額を計測）

テーマエディタや管理画面のプレビューでは割当とイベント送信を行いません。

任意で送信できるイベント

クリックやフォーム送信などの独自イベントは、ストア側でwindow.abTrackExperimentEventを使って送信できます。イベントはログに記録されますが、標準の指標はCVR/ATC/AOV/RPVのみです。

指標の計算方法

• 購入率（CVR）= purchaseのユニーク人数 / 割当人数
• カート追加率（ATC）= add_to_cartのユニーク人数 / 割当人数
• 平均注文額（AOV）= purchase金額合計 / purchase件数
• 訪問者あたり売上（RPV）= purchase金額合計 / 割当人数（未購入は0円で計算）

割当人数はab_sid単位のユニーク数で集計します。集計対象は保持期間内のイベントと割当のみです。

商品単体テストの計測

商品ページを対象にしたテストでは、購入・カート追加イベントに含まれる商品ID/ハンドルが ターゲット商品と一致する場合のみ計測されます。商品情報がイベントに含まれない場合は計測対象外になります。

セグメント計測のルール

• デバイス: モバイル（sp）/ PC（pc）
• ログイン状態: ログイン / ゲスト
• 顧客タイプ: 初回購入 / リピーター（ログイン顧客のみ判定）

セグメントは割当時点のスナップショットで判定されます。ログイン顧客は過去の購入履歴を参照して分類します。

テーマ/ページ/テンプレ/URLの優先関係を図解してください。

画像: priority-conflict.png

複数テストの優先ルール

• URLスプリット経由の訪問は、そのURLスプリットテストのみ計測（他テストは除外）
• テーマテストは最優先で割当され、参加者は他テストを同時に実行しません（デフォルト設定）
• ページ > テンプレート > URL の順で優先し、競合する場合は上位スコープが採用
• 同一訪問者では既存の割当が優先されます（粘着割当）

テーマテストの参加率は単独実行時は100%、他テストがある場合はデフォルトで50%です。

競合判定の考え方

• ページ vs テンプレ: テンプレ種別/ハンドルが一致すると競合（ページが優先）
• テンプレ vs テンプレ: 同一テンプレ種別かつ同一ハンドル、またはハンドル未指定の場合に競合
• URL vs ページ/テンプレ: URLパスから推定されるテンプレ種別やハンドルが一致すると競合
• URL vs URL: 同じパスへのテストは競合

開始時にはスコープロックで競合チェックが行われ、同一対象のテストは開始できません。

計測が行われない主なケース

• App Embedが無効なテーマで閲覧した場合
• 同意が必要な設定で、顧客が計測を拒否している場合
• URLスプリットで束ねURLを経由していない場合
• 商品単体テストでイベントに商品情報が含まれていない場合
• 管理画面のプレビューやテーマエディタ内での閲覧

結果確認と運用

テスト開始後の管理、分析、ヘルスチェックの流れを解説します。

稼働中/下書きなどをフィルタし、操作をまとめて実行できます。

画像: experiment-list.png

1. テスト一覧での管理

• ステータスでフィルタ（下書き / スケジュール / 実行中 / 一時停止 / 停止済み）
• スコープでフィルタ（ページ / テンプレート / テーマ / URL）
• 一括操作（開始/一時停止/停止/削除）

削除できるのは「下書き / 停止済み / 勝者適用済み」のみです。

2. テスト詳細での確認

詳細画面では対象・指標・スケジュールを確認できます。

• 購入率（CVR）
• カート追加率（ATC）
• 平均注文額（AOV）
• 訪問者あたり売上（RPV）

実行中・一時停止中は直近90日ローリング、停止済みは終了時点の集計を保持します。

指標と対象情報を確認します。

画像: experiment-detail.png

3. セグメントで絞り込む

• デバイス: モバイル / PC
• 顧客タイプ: 初回購入 / リピーター
• ログイン状態: ログイン / ゲスト

顧客タイプはログイン顧客のみを対象に計測します（未ログインは含まれません）。

必要な切り口でデータを絞り込みます。

画像: segment-filter.png

4. URLスプリット情報

URLスプリットテストでは、詳細画面に束ねURLが表示されます。広告やメールのリンクは必ず束ねURLを使用してください。

例: https://{shop}.myshopify.com/apps/ab/split/{experimentKey}

束ねURLと各バリアントURLを確認できます。

画像: url-split-info.png

5. ステータス操作

• 実行中: 一時停止 / 停止
• 一時停止: 再開 / 停止
• 下書き: 開始 / 削除
• スケジュール待機中: 開始（開始時刻前は無効）/ 削除
• 停止済み: 削除

6. ヘルスチェック

テストが正しく動いているかを確認できます。

• App Embed: テーマに埋め込みが有効か
• イベント計測: 直近24時間のイベント受信状況
• 統計ジョブ: 集計処理の実行状況

App Embedと計測の状態を確認します。

画像: health-check.png

よくある質問

Q. テストが開始できません

• App Embedが有効か（設定画面で確認）
• プランの同時実行上限（実行中 + スケジュール待機中）を超えていないか
• 同じ対象に別のテストが実行中でないか（スコープロック）
• バリアントのテンプレート/テーマ/URLが未設定ではないか
• URLスプリットの場合、ドメインが許可されているか

Q. データが更新されません

• テストが「実行中」になっているか
• ヘルスチェックで「イベント計測」「統計ジョブ」が警告になっていないか
• セグメントの絞り込み条件が厳しすぎないか

Q. URLスプリットの結果が見えません

• 広告やリンクが束ねURLになっているか
• 直接アクセスが多いと正確な比較ができません