astamuse Lab

astamuse Labとは、アスタミューゼのエンジニアとデザイナーのブログです。アスタミューゼの事業・サービスを支えている知識と舞台裏の今を発信しています。

A/Bテストを繰り返してわかったこと

f:id:astamuse:20180808113111j:plain デザイン部でフロントエンドエンジニアをしているkitoです。 今回は、A/Bテストについて書きたいと思います。
A/Bテストとは、例えば、AパターンとBパターンでそれぞれ色の違うボタンを用意し、どちらか一方のボタンを50%の確率でWebサイトに表示させることで、どちらの色のボタンがユーザーによりクリックされたか、よりコンバージョンに繋がったかを調べることができるテストです。

A/Bテストは多くのWebサイトで行われています。あなたがNetflixを訪れたとき、動画のサムネイル画像が前回の見たときと違っていることに気がつくことがあると思います。それらは進行中のA/Bテストか、もしくはテストの結果として表示されている画像なのです。 また、最近発売された『2万回のA/Bテストからわかった 支持されるWebデザイン事例集』という本には、日本の有名サイトがいかなる課題をもとにA/Bテストを実施して、どのようにサイトを改善してきたのか多数の事例が掲載されています。A/Bテストの効果が一読してわかるのでお薦めします。

弊社でも、自社で運営しているサイトで、NetflixほどではないですがA/Bテストや多変量テストを繰り返し実施し、サイト改善に日々努めています。

A/Bテストの利点と問題点

A/Bテストの利点は、サイトを構成するパーツを改善していくうえで、どちらのパーツがより良いのかを人間の主観で判断するのではなく、実際のユーザの行動データからエビデンスが得られる点です。有無を言わさぬデータなので、サイト改善サイクルのなかで主要な指標になっています。 弊社が運営している転職ナビで、A/Bテストを用いたサイト改善施策が何度も行われた結果、ボタンやフォーム、文言などのパーツが幾度となく修正されてCVRの向上に貢献してきました。

ただ、私がこの改善プロセスを通じて感じたのは、A/Bテストの効果がテストを繰り返すほど低下していくことでした。

A/Bテストの効果が低下していくと、AタイプとBタイプの結果に誤差を超えるほどの差異がでなくなり、より母数を得ようとしてテストが長期化していく傾向にありました。すると改善サイクルが遅延するようになり、他の施策を圧迫することさえありました。しかも、各パーツの改善の積み重ねが、サイト全体の改善を必ずしも約束するわけではありませんでした。どういうことでしょうか?

あえて極端な例えをしますが、A/Bテストを始める前のサイト全体のCVRが2.0%であったとしましょう、そしてあるパーツのA/BテストでCVRが0.5%改善しました。次に違うパーツのA/BテストでさらにCVRが0.3%改善し、また次のA/BテストでCVRが0.2%改善しました。良かった良かったと喜んでA/Bテストをやめ、翌週、サイト全体のCVRを計測してみるとCVRが1.8%に悪化して青くなるということがありえるのです。こうなると何を信じて改善サイクルを回していけばよいのかわからなくなります。A/Bテストの粒度の問題だと考えるむきもあるかもしれませんが、それは問題の本質ではありません。粒度を変えてテストを繰り返していると、同じような不一致が起こりえるからです。

部分最適化と全体最適化

私見では、この問題は、部分をどれほど最適化したとしても、全体の最適化にはならないということを意味していると思います。A/Bテストは部分最適化のための手法であり、全体を最適化するための手法ではありません。全体とは部分の総和を超えていると言っても良いと思います。とはいえ、A/Bテストのような部分最適化が無意味と言いたいのではありません。そうではなくて、それには自ずと限界があるということです。それを理解した上でA/Bテストを行うのであれば、A/Bテストを絶対視することなく、Wbサイトやアプリの改善に取り組めるのではないでしょうか。

デザインの「全体」

さて話はここで終わりません。私は、Webサイトやアプリの「全体」を最適化するとはいかなることなのか、ということに興味をもちました。というのも、「全体」を考察することで、AIや自動化で代替できないデザインの領域がはっきりしてくると思うからです。

さらに、部分最適化に拘泥せず、もっと自由な観点からサイト改善を考えるには、「全体」について理解しておく必要があるように思います。 ただ、全体といっても、それはあくまで「Webサイトやアプリ」のという留保がつくのであって、全体最適化を考えるあまり抽象度を上げ、会社の社長が事業間のリソース最適化を計るような観点で全体を考えていくと、そもそもなぜ全体最適化について考えているのかを見失います。そういう意味では、「」つきの全体です。

私が言わんとしている「全体」とは、マーケティングで言うところのグロースハックに近いのではないかと思いますが、グロースハックはマーケティングの文脈上で考えられており、サイトを成長させるダイナミズムの中から「全体」を捉えようとしています。デザイン部のフロントエンドエンジニアとしては、全体最適化をデザインの文脈で考えたいと思います。

「全体」とAIとデザイナー

Webサイトやアプリの部分とは、ボタンとかバナーなどの各パーツであることは自明ではありますが、「全体」となるとそれほど自明ではないと思います。なぜなら、あるサイトのビジュアルの総計をデザインの「全体」だと考えるのは、早合点だと思うからです。

車のデザインで例えるなら、マツダ車のデザインを理解しようと思うなら、デミオの各パーツを熱心に眺めるだけでは不十分で、他のマツダ車にも一貫して流れているデザインフィロソフィーを掴まなければならないでしょう。

しかもそのデザインフィロソフィーは、「ヨーロッパで車を売りたい」とか「ブランド価値を上げたい」などの経営戦略を鑑みて、デザイナーが磨き上げたものです。これらは車のビジュアルだけからは導けない、より抽象度の高い視点でしょう。車のビジュアルをデザインのすべてだと思うのは、完成したプロダクトにしか目がいかない消費者の視点ですが、デザインの「全体」はこれに還元できません。 Webサイトもこれと同じで、そのビジュアル的な側面から伺えるのは、限定的な部分です。

つまり、ビジュアル全体がデザインの「全体」というわけではないのです。 「全体」はビジュアルではないので、当たり前ですがA/Bテスト出来るようなものではありません。AIや自動化がデザイナーの仕事を奪うのではないかと懸念される時代には、こんな当たり前を再確認しておいた方が良いように思います。

A/Bテストは、あるパーツの良し悪しの判断を自動化することでデザイナーの判断を奪うので、脅威に感じるのは無理からぬことではあるのですが、ただ、それはデザインの価値を矮小化しているのであって、今のところAIや自動化技術は、部分を最適化しているだけでしょう。この先、AIが「全体」を思考できるほどの抽象的思考を身に着ける可能性がないとは言えませんが、かなりのブレイクスルーと時間が必要だと思います。  

また、AIがデザイナーに容易にとって代わることができない理由は、実際のプロダクトを作成する段階において顕著だと思います。

デザインが生成される過程において、Webデザイナーは、プロジェクトマネージャー、ディレクターといった関係者たちと、泥臭い調整や対話が必要になります。ときには喧嘩になることもあるでしょう。しかし、そういった調整や対話のなかでこそ新しいデザインが生まれてきます。デザインの「全体」には、こういった現場の泥臭い生成プロセスも含まれていると考えなければなりません。そうでなければ定義上、デザインの「全体」とは呼べません。

A/Bテストは厄介な調整をキャンセルできることもあるでしょうが、それは部分最適化においてのみであり、新しいサイトのデザインを丸ごと決定することはできないです。 AIとデザインの関係について、『東大准教授に教わる「人工知能って、そんなことまでできるんですか?』という本で、人工知能研究者の松尾豊教授と実業家の塩野誠氏がこう述べています。少し引用してみます。

SHIONO: 気づきや仮説を設定する行為は、人間の大きな能力だと思っています。そしてその先には、クリエイティビティ、広告の分野ならデザインとかキャッチコピーを作るような話につながると思うのですが、人工知能はいつかキャッチコピーを作れるようになるのでしょうか?

MATSUO: 作れると思います。あるキャッチコピーがどれくらいの人に受けそうかは、いまはいろいろな形でテストできます。ウェブの場合、「A/Bテスト」とか「タイムライン解析」などの手法がありますが、あるバージョンを置いて反応を見ていくやり方ですね。キャッチコピーくらいでしたら、それほど深い知識はなくとも言葉の組合せで作っていけますから、それをいったん提示し、反応を見て手直ししていくような処理は、人工知能にもできるようになるでしょう。ただ、広告の全体デザインを決めるとか、映画の宣伝文、短編小説など長めのコンテンツにどこまでこの手法が使えるかは、これからの研究次第ですね。ここはいまから面白くなっていく分野だと思います。

現在のAIの実力からすれば、より限定された部分ならばA/Bテストで最適化することはできるが、より大きな部分の最適化は現状難しいようです。人間のデザイナーのように、デザインの「全体」に関与するのはまだまだほど遠いでしょう。 逆に考えるなら、これからのデザイナーは、A/Bテストで最適化できないより大きな部分や全体性を志向することが求められるのではないでしょうか。先に上げた 『2万回のA/Bテストからわかった 支持されるWebデザイン事例集』で、A/Bテストの役割を再確認してみるのも良いかと思います。

最後に

実は、デザインの「全体」がなんであるのか今でも明確に言うことができません。しかし、少なくともデザインが生成されるプロセスを抜きにして、成果物の外観だけをデザインの「全体」であるという見方では、AIや自動化技術がデザインに介入してくる時代に、定義として賢くはないだろうと思います。

アスタミューゼでは、エンジニア・デザイナーを募集中です。ご興味のある方は遠慮なく採用サイトからご応募ください。お待ちしています。

Copyright © astamuse company, ltd. all rights reserved.