モバイルアプリのA/Bテスト 実施のポイントとおすすめツールは?A/Bテストには落とし穴も

モバイルアプリのA/Bテストは、アプリ更新時のバグを防ぎ、より良いユーザー体験を提供するのに最適な方法だ。しかし着手にはコツがいる。本稿では、A/Bテストのコツとおすすめのテスト用ツールを紹介する。

2019年02月26日 05時00分 公開
[Vasiliy ZukanovTechTarget]
photo

 優秀なモバイル開発者は、アプリケーションをあらゆる観点からテストして監視する重要性を理解している。このプロセスを容易にする可能性があるのが、モバイルアプリのA/Bテストだ。

 アプリ開発のA/Bテストでは、まずアプリをページ、ユーザーインタフェース、機能などの構成要素ごとに分類する。それらの組み合わせ同士を比較して、どちらのアプローチが最適かを判断する。

 開発者はモバイルアプリのA/Bテストによって、ユーザーが使う機能を運用環境で実験できる。A/Bテストにより、開発者は統一した方法で新機能の追加や既存機能の改善ができ、アプリの主要業績評価指標(KPI)を基にその機能の効果を測定できる。開発者は、1つの機能を幾つかの異なる実装で組み込み、最適な実装を特定することも可能だ。

 A/Bテストは、最も安全にアプリのKPIに基づいた新機能をリリースできる方法といえる。開発者は2つの要素を組み合わせて、アプリの健全性やパフォーマンスを完全に視認できるようになり、不満足な機能はほぼ瞬時にロールバックできる。

 新機能の実装に関連するリスクも抑えられる。開発者がバグを含む機能を誤って実装した場合、モバイルアプリのA/Bテストで得られたデータで不備が判明するため、その機能を迅速にロールバックできる。そのため企業はより迅速なリリースサイクルを実現可能だ。

企業内のモバイルアプリでのA/Bテストのメリット

 コンシューマーアプリの場合、企業はA/Bテストにより、ユーザーのサインアップ率などの測定が簡単にできる。しかし業務用アプリの場合、こうした測定基準の多くはあまり意味がない。例えば企業の従業員が利用する業務用アプリは、どんな場合でもサインアップ率がほぼ100%になる。また全ての企業内ユーザーは週単位でアクティブになるはずだ。

 開発者が業務用アプリのA/BテストにKPIを使用できないわけでは決してない。QRコード読み取りアプリを例に挙げると、1日当たりの平均スキャン数や、アプリ起動から最初のスキャンまでの平均時間を追跡できる。

 業務用アプリにバグを含む機能を追加すると、利益の損失やコスト増につながる恐れがある。QRコード読み取りアプリであれば、機能の追加で1回のスキャン手順にかかる時間が2秒増加したとする。たった2秒と思うかもしれない。しかしその企業の社員がスキャンを1日10万回行うとすると、1日当たり55時間を無駄にすることになる。大企業なら致命的にはならないかもしれないが、不適切な機能の追加は大きなコストの損失をもたらす恐れがある。しかしこのような事態は、A/Bテストと正しいKPIの設定で容易に回避できる。

 ただしオフラインのアプリケーションには、モバイルアプリのA/Bテストのメリットがもたらされない。A/Bテストには、継続的な測定とリモートでのアプリケーション管理が必要なので、インターネット接続がなければ機能しない。

モバイルアプリのA/Bテスト向けツール

 A/Bテストのプロセスは、Googleの「Firebase」やMixpanelの同名サービスなど、成熟したSaaSによって容易になる可能性がある。ただしIT部門のポリシーでA/Bテストへのサードパーティー製SaaSプラットフォームの使用が禁止されている場合もあり、注意しなければならない。

[図表]

開発者がさまざまなモバイルアプリ機能を試すことができるA/Bテスト

 社内A/Bテストは、理論上、比較的シンプルだが、実践しようとすると難しくなる。ただしアプリとバックエンドにリモート管理機能を導入するのは難しくない。

 リモート管理機能により、開発者はアプリの機能をリモートで制御できる。アプリのリモート制御には、MixpanelやFirebaseなどのサードパーティーSaaSプラットフォームのダッシュボードが利用できる。開発者がダッシュボードでパラメーターを幾つか変えると、プラットフォームがアプリの個別のインストールごとに異なる構成を適用する。これにより、アプリが既にエンドユーザーのデバイスにインストールされている場合でも、そのアプリを更新する必要なく、アプリ機能の動作を変更できる。

 A/Bテストの核となるのは、機能管理ではなく、データ処理にある。分析情報を収集し、テストを制御し、結果を解釈するアルゴリズムが非常に重要になる。

 開発者なら、「Matomo」やIntuitが開発した「Wasabi」など、オープンソースの分析ツールやA/Bテストプラットフォームを調査するといいだろう。このようなツールはA/Bテストに必要なさまざまな機能を搭載し、開発者が自社のサーバでテストをホストできるようになっている。

ITmedia マーケティング新着記事

news112.jpg

「インクルーシブマーケティング」実践のポイントは? ネオマーケティングが支援サービスを提供
ネオマーケティングは、インクルーシブマーケティングの実践に向けたサービスを開始した...

news135.jpg

Xが新規アカウントに課金するとユーザーはどれほど影響を受ける? そしてそれは本当にbot対策になるのか?
Xが新規利用者を対象に、課金制を導入する方針を表明した。botの排除が目的だというが、...

news095.jpg

Googleの次世代AIモデル「Gemini 1.5」を統合 コカ・コーラやロレアルにも信頼される「WPP Open」とは?
世界最大級の広告会社であるWPPはGoogle Cloudと協業を開始した。キャンペーンの最適化、...