「A/Bテストがうまくいかないのは、それがA/Aテストだからだ」という記事を見かけた。

Why most A/B tests give you bullshit results (Blog)
20160211_ABTest
http://venturebeat.com/2016/02/08/why-most-ab-tests-give-you-bullshit-results/

まさに正解、である。
コピーをAにするのかBにするのか、配色をAにするのかBにするのか、ボタンの配置をAにするのかBにするのか、といったことに迷った時に当てになるのはA/Bテストである。

A/Bテストが話題になったのは、2012年のオバマの選挙キャンペーンにグーグル出身のPete Koomen氏が参加し、オバマのウェブサイトをA/Bテストによって画期的に改善し、この経験を元にA/Bテスト・ツール「Optimizely」を発表した時である。
https://www.optimizely.com/jp/ 

しかし、その後A/Bテストが上手くいったという例はあまり報告されていない。なぜなら、多くのA/BテストがA/Bテストではなく、ほとんど変わりのない二つを比較するA/Aテストだからだというのが、今日紹介するこの記事の著者の主張である。

そうなんである。
A/Bテストは、大変な効果を発揮する。しかし、比較する二つがあまりにも差がなく、「Aだとクリック・レート0.2%、Bだと0.3%で、クリックは50%も改善しました」と言われても、「しょせん0.2が0.3になっただけじゃないか」と思われてしまう。

A/Bテストを実施するのなら大胆に異なるAとBを用意しなければ比較にならない。しかも、A/Aではこの二つに違いが出るのに大きな母数を必要とするので、信頼できる差がでるまでに時間を要する。また、A/Bテストを実施するときには、テスト内容以外は変更してしまってはいけない。もしテキストも配色も配置も同時に変えてしまったら、物事が改善したとしても、本当は何が良くて改善したのかがわからなくなる。

A/Bテストは時間がかかるけれど、問題は確実に改善する。
似通ったAとAじゃなく、AとBを用意して臨みたいものである。