Blogブログ

ブログ
一覧へ戻る

ABテストは意味がない? 知っておくべき失敗パターンと成功のコツ

無料相談会はこちらから

「既存のWebサイトで思うように成果が出ていないけど、リニューアルや新しいコンテンツを追加するほどの予算やリソースはない」――これは多くのWeb担当者が持つ悩みではないでしょうか。そんな時に試してみたいのが「ABテスト」です。

ABテストは、限られた予算とリソースでもWebサイトを改善できるマーケティング手法のひとつですが、時には「ABテストには意味がない」という意見も見かけます。ただしそれは、やり方が間違っていたり、事前の準備が不足しているからなのです。そこで今回は、ABテストを成功させるためのコツを紹介していきます。

そもそもABテストとは

ABテストとは、サイト内の一部の要素を複数パターン用意し、どちらのパターンが効果的か検証するという手法です。例えば下の図表のように、コンバージョンボタンの色を変えてそれぞれのパターンで一定期間掲載を続け、どちらの方がクリックされるかを見ていくというものです。AパターンとBパターンのどちらがいいかをテストし、比較することから、ABテストと呼ばれています。

ABテストの対象となる項目は、主に以下のようなものです。

・キャッチコピーや言い回しなど文字部分
・ボタンの形、ページの色などのデザイン部分
・バナーの設置個所、要素の配置場所、リンクの設置個所
・その他、写真の挿入の有無、フォーム項目の数など

次に、ABテストのメリットを見ていきましょう。

ABテストを行うメリット

・根拠のある改善ができる

Webサイトの制作を行っていると、「直感的にこちらのデザインがいい」「過去の経験則から見るとこういったレイアウトにすべき」というように、明確な根拠がないまま進めてしまうことはありませんか?このように“なんとなく”進めていると、成果を導き出す確率が低くなってしまいます。

しかしABテストを行えば、ユーザーを惹きつけるパターンを数字と共に導き出すことができるため、明確な根拠に基づいてデザインやレイアウトを改善していけるようになります。結果につなげるにはもちろんのこと、社内外のステークホルダーの同意を取る上でも効果的だと言えるでしょう。

・機会損失を防げる

よりユーザーを惹きつけるパターンを明確にできれば、ひとつのページだけではなくサイト全体にそのパターンを展開していくことができます。つまりサイト全体のパフォーマンスをアップさせることへとつながり、従来であれば逃していたかもしれない顧客を獲得することができ、機会損失を防ぐ上でも有効な手法なのです。

・リニューアルより低コストで実行できる

Webサイトの効果が上がらない際、リニューアルを実行するのはひとつの手段ではありますが、本格的に行うとなると数ヶ月以上、場合によっては年単位の時間が掛かりますし、費用も膨大になります。しかしABテストは、ボタンの色や形、バナーの写真やキャッチコピーなど、サイトの中の一部のパーツをテストしていくものであるため、時間的・費用的コストを低く抑えることができます。ABテストを通じてユーザーの行動などを明確化でき、そのデータは自社にとっての重要な資産となります。リニューアルを行う前に、まずはABテストを実施して知見を貯めるという方法も有効です。

一方で、ABテストには注意点があることも知っておきましょう。

ABテストを行う上での注意点

・ある程度の母数が必要

ABテストにおいて、それぞれのパターンの優劣を明確にするには、ある程度の母数を集めた上で「偶然であるとは考えにくい」だけの差(これを統計学的に「有意差」と言います)を導き出さなければなりません。

統計学においては、標本誤差(母集団の一部を無作為的に抽出して調査した結果に伴う誤差)を1%以下にしたい場合は約1万の母数が必要となります。ただ、一般的には5%以下(400人ほどのサンプル)ならば十分成立すると考えられています。したがって、ABテストを実施する場合、400以上の母数は集める必要があります。そのため、ABテストを実施する前には、自社サイトがこれだけのアクセス数を集めるにはどれくらいの期間がかかるかを把握しておく必要があります。

・同時に複数箇所をテストすると正確な分析ができない

上述のように、ABテストはバナーやボタン、あるいはキャッチコピーなど、一部のパーツを複数パターン用意して行うものですが、同時に複数箇所のパターンを変えて検証してしまうと、何が原因で数字に変化が生じたのか分析しづらくなってしまいます。

例えばキャッチコピーの文言とボタンの色という2箇所を変えてABテストを行った場合、結果に左右したのがキャッチコピーだったのか、ボタンの色だったのか、わかりません。こうした事態を招かないためにも、ABテストは必ず1箇所ずつ行うようにしましょう。

・事前の準備が必要

ABテストは、ただ単にバナーやボタンのデザイン等のパターンを用意すればいいわけではありません。大切なのは事前の準備なのです。上述したように対象サイトのアクセス数の調査の他に、欠かせないのは「目的」と「仮説」の用意です。

目的については、例えば「ページの離脱率を下げたい」といったものや、「資料請求ページへの遷移率を高めたい」といったものが上げられます。離脱率低下であれば、キャッチコピーや見出しの文言変更をしたり、遷移率の向上であればボタンの色や大きさを変えてテストをしてみる・・・など、目的に応じてテストをする箇所や仕方は異なります。

目的を定め、テストする箇所を決めたら、次に行うのが仮説を立てることです。「なんとなく」で説を立てるのではなく、「こういうパターンの場合、ユーザーはこう考え、こう行動するのではないか」というように、ユーザー心理に立って仮説を構築していくことが、より効果的なテストにつながるのです。

アリウープのWebサイトにおけるABテストの成功事例

アリウープの自社サイトでも常に良い改善や成果に繋げていくために、色々なABテストを実施しています。今回はその中の1つをご紹介いたします。
当社のサイトには、Web制作やマーケティングに役立つ資料をダウンロードいただけるページがあります。当時ここのラベリングは、「お役立ち資料」としていましたが、やはり定番で、わかりやすい「資料ダウンロード」の方が良いのでは?という意見もあり「資料ダウンロード派」「お役立ち資料派」でわかれたため、よりクリックされるのはどちらか確認すべく、ABテストを実施することにしました。

このテストの目的は「ページへの遷移率を上げること」で、「よりユーザーが欲しいと思うようなラベリングの方がクリックされるのではないか?」という仮説を設定。「資料ダウンロード」と「お役立ち資料」という2つのラベリングでテストを実施しました。

その結果、下図のように「お役立ち資料(下記図表では“オリジナル”)」が圧勝し、以降もこのラベリングで掲載を続けています。

このように、エリア的には小さな箇所であってもユーザーの行動は大きく変わります。ABテストは、それを実証する絶好の手法なのです。この数値をみると「資料ダウンロード派」の人も納得ですよね。

ABテストの“よくある失敗パターン”

過去にABテストを実施しながらも、「明確な違いが見られなかった」「うまく改善につながらない」といったように、“本当にABテストは意味があるのか”その効果を疑問視する声を聞くこともあります。もちろん、ユーザーの行動という不確定なものを相手にしたテストである以上、必ずしも明確な差が出ないケースもあります。しかし往々にしてこうした意見はなすべきことをなさずにテストを実施してしまい、“よくある失敗パターン”に陥っているケースが多いのです。では、前述の<ABテストを行う上での注意点>を思い出しながら見ていきましょう。

(1)サンプル数が少ない・適切なテスト期間を設定できていない

(2)仮説を立てずに臨んでしまった

(3)一度に複数箇所のテストを行ってしまった

(4)取得したデータに対して主観だけで接してしまった

(1)「ABテストの期間はどのくらいが良いのですか?」という質問をいただくのですが、ABテストを実施する期間は、一概に「〇日間です」とは断定できません。注意点にも書いた通り、ABテストで信頼できる結果を出すには一定のアクセス数が必要なので、アクセス数の少ないWebサイトではテストに時間がかかります。

有意差がつくかは、「サンプル数」と「結果の差」で決まるといわれていますが、そもそもあまり多くの人が閲覧しておらず、ABテストの期間も1週間など短い場合ですと、サンプル数が少なすぎて、正しい判断ができないのです。

また、思ったような差がでないからといって、だらだらとテスト期間を長くしてしまうのもNGです。その間に外部環境も変わってしまい、データの質も信頼できなくなってしまう場合もあるため、ある程度の期間テストを行って結果が出なくても “テストを終了し、また別箇所の仮説検証からスタートする”など切り替えて改善を進めていく必要があります。

(2)の仮説を立てるフェーズは特に重要なポイントです。初めてテストするときには「どこから手をつけたらよいか分からない…」と悩まれる方も多くいますが、しっかりGAを確認し、まずは課題の洗い出しからスタートしましょう。

無料でGoogleアナリティクスのレポートを簡単自動作成!:Googleデータポータルの使い方 記事はこちら

Google Analyticsアドバイザーパックのご案内はこちら(PDF)

<例>

・課題=トップページの直帰率が高い

・仮説=ファーストビューにあるビジュアルがユーザーのニーズにあっていないのでは?

など、どのページを改善するべきか、改善するとしたらどのような方法があるのか、ユーザー視点に立って仮説を立て、改善のためのさまざまなアイディアを出していきましょう。

(3)も、よくあるのですが、結果は、“A”の方がCVRがよいというものであったが、「画像」「キャッチコピー」「レイアウト」すべての要素を一気に変えてしまい結局、何が結果に影響を与えたのかがわからない…となってしまわないよう、欲張らずに1要素ずつ変えてテストしていきましょう。

また、1つテストをしている間は新しいABテストを試すことができないため、やみくもにテストを行わず、優先順位をつけて、改善効果が高そうな箇所からABテストを行う必要があります。

(1)〜(3)の失敗パターンを回避しても、得られた結果に対して主観を優先して判断すると、せっかくのテストが台無しになってしまいます。例えばサイトのメインビジュアルのABテストを行うとして、“オシャレな案”と“野暮ったい案”を比較し、野暮ったい案の方が離脱率は低かったとします。データだけを見るのであれば、当然野暮ったい案を採用すべきですが、「自社サイトをカッコよく見せたい」という主観が邪魔をして“オシャレな案”を採用してしまう、ということがあるのです。人間なら誰しも主観を優先してしまいがちですが、出てきた数字を真摯に受け止めることが必要だと、肝に銘じておくべきでしょう。

ここで紹介した点を押さえておけば、有意差があると言えるだけのデータを得られる可能性が高くなり、「ABテストに意味がない」といった意見が出ることも少なくなるはずです。

比較的導入しやすいおすすめのABテストツール

ABテストは手動でも実施できますが、より効率的に実施していくのであればツールn活用をおすすめします。ここでは幾つかのおすすめツールを紹介していきます。

Google オプティマイズ(Google Optimize

Googleが無料で提供しているABテストツール「Googleオプティマイズ」。Google Chromeの拡張機能としても使えるので、HTMLに関する知識がなくてもABテストを実施することができます。Googleアナリティクスなど、Googleが提供する各種サービスとの連携もできるので、Googleのタグを利用しているサイトに特におすすめです。

なお、先に紹介した当社の事例においても、このGoogleオプティマイズを使用してテストを実施しました。

URL:https://marketingplatform.google.com/about/optimize/

Juicer(ジューサー)

Juicerは、ログリー株式会社が運営するユーザー分析ツールです。基本プランは無料で使えることに加え、ABテストだけではなく、ペルソナ分析やBtoB分析、アクセスログ分析など豊富な機能を有していることが特徴です。

JuicerもHTMLに関する知識がなくても使用できるので、気軽に使うことができるでしょう。

URL:https://juicer.cc/

SiTest(サイテスト)

SiTestは、ABテストに加え、ヒートマップ解析、EFO(入力フォーム最適化)機能も搭載したLPO(ランディングページ最適化)ツールです。本利用は有償となりますが、複数の機能が使える上、サポートやトレーニングプランなども充実しています。

SiTestもHTMLの知識がなくても使えますが、逆にjavascriptやリダイレクトと組み合わせ、高度な形でABテストを行うことも可能です。

URL:https://sitest.jp/

Adobe Target(アドビターゲット)

Adobeが提供するAdobe Targetは、ABテストだけではなく、パーソナライゼーションやAIによる自動化などを兼ね備えたサイト改善ツールです。Adobe Targetが他のツールより抜きん出ているのは、ユーザーを非常に細かくターゲティングできることです。検索キーワードやOSだけではなく、ブラウザタイプや言語設定、検索エンジンなど、様々な条件付けが可能になっており、より自社の顧客に近いユーザーを対象にABテストを行うことができるでしょう。

URL:https://www.adobe.com/jp/marketing/target.html

ABテストを行う際はプロの知見を活用しよう

ここまで見てきたように、ABテストはシンプルかつミニマムに行うことができるもので、さらに多数のツールがあることから、HTMLの知識などなくても比較的簡単に実施できます。ただし、課題の洗い出し等の事前準備やデータの分析などに関しては、豊富な経験とWebマーケティングに対する知識が要求されます。したがって、しっかりと成果を出したいのであればプロの手を借りるのも1つです。

事例でも紹介したように、アリウープはお客様のWebサイトはもちろん、自社サイトも含め定期的にABテストを実施し、最新トレンドも把握しています。大規模リニューアルは難しいがまずはABテストをやってみたい、興味があるから話を聞いてみたいという方は、ぜひ一度お問い合わせください!

相談カウンターはこちら