モバイルアプリのA／Bテスト 実施のポイントとおすすめツールは？：A／Bテストには落とし穴も

モバイルアプリのA／Bテストは、アプリ更新時のバグを防ぎ、より良いユーザー体験を提供するのに最適な方法だ。しかし着手にはコツがいる。本稿では、A／Bテストのコツとおすすめのテスト用ツールを紹介する。

[Vasiliy Zukanov，TechTarget]

　優秀なモバイル開発者は、アプリケーションをあらゆる観点からテストして監視する重要性を理解している。このプロセスを容易にする可能性があるのが、モバイルアプリのA／Bテストだ。

　アプリ開発のA／Bテストでは、まずアプリをページ、ユーザーインタフェース、機能などの構成要素ごとに分類する。それらの組み合わせ同士を比較して、どちらのアプローチが最適かを判断する。

　開発者はモバイルアプリのA／Bテストによって、ユーザーが使う機能を運用環境で実験できる。A／Bテストにより、開発者は統一した方法で新機能の追加や既存機能の改善ができ、アプリの主要業績評価指標（KPI）を基にその機能の効果を測定できる。開発者は、1つの機能を幾つかの異なる実装で組み込み、最適な実装を特定することも可能だ。

併せて読みたいお勧め記事

アプリケーション開発、先行企業に学ぶ成功の鍵は

• 「iPhone、Androidアプリ」で仕事が4倍速くなった会社は何をしたのか？
• クラウドアプリ開発成功の鍵は？　ソニー銀行、ローソンなどの事例で考える

モバイルアプリの開発＆テストツールをどう選ぶ

• モバイルアプリの実装方法と開発＆テストツール選び
• モバイルアプリの3大トレンド「PWA」「Androidプレビューアプリ」「Swift」とは？
• モバイルアプリ開発言語をどう選ぶ？　ビジネスユーザーも知るべきその違い

　A／Bテストは、最も安全にアプリのKPIに基づいた新機能をリリースできる方法といえる。開発者は2つの要素を組み合わせて、アプリの健全性やパフォーマンスを完全に視認できるようになり、不満足な機能はほぼ瞬時にロールバックできる。

　新機能の実装に関連するリスクも抑えられる。開発者がバグを含む機能を誤って実装した場合、モバイルアプリのA／Bテストで得られたデータで不備が判明するため、その機能を迅速にロールバックできる。そのため企業はより迅速なリリースサイクルを実現可能だ。

企業内のモバイルアプリでのA／Bテストのメリット

　コンシューマーアプリの場合、企業はA／Bテストにより、ユーザーのサインアップ率などの測定が簡単にできる。しかし業務用アプリの場合、こうした測定基準の多くはあまり意味がない。例えば企業の従業員が利用する業務用アプリは、どんな場合でもサインアップ率がほぼ100％になる。また全ての企業内ユーザーは週単位でアクティブになるはずだ。

　開発者が業務用アプリのA／BテストにKPIを使用できないわけでは決してない。QRコード読み取りアプリを例に挙げると、1日当たりの平均スキャン数や、アプリ起動から最初のスキャンまでの平均時間を追跡できる。

　業務用アプリにバグを含む機能を追加すると、利益の損失やコスト増につながる恐れがある。QRコード読み取りアプリであれば、機能の追加で1回のスキャン手順にかかる時間が2秒増加したとする。たった2秒と思うかもしれない。しかしその企業の社員がスキャンを1日10万回行うとすると、1日当たり55時間を無駄にすることになる。大企業なら致命的にはならないかもしれないが、不適切な機能の追加は大きなコストの損失をもたらす恐れがある。しかしこのような事態は、A／Bテストと正しいKPIの設定で容易に回避できる。

　ただしオフラインのアプリケーションには、モバイルアプリのA／Bテストのメリットがもたらされない。A／Bテストには、継続的な測定とリモートでのアプリケーション管理が必要なので、インターネット接続がなければ機能しない。

モバイルアプリのA／Bテスト向けツール

　A／Bテストのプロセスは、Googleの「Firebase」やMixpanelの同名サービスなど、成熟したSaaSによって容易になる可能性がある。ただしIT部門のポリシーでA／Bテストへのサードパーティー製SaaSプラットフォームの使用が禁止されている場合もあり、注意しなければならない。

[図表]

開発者がさまざまなモバイルアプリ機能を試すことができるA／Bテスト

　社内A／Bテストは、理論上、比較的シンプルだが、実践しようとすると難しくなる。ただしアプリとバックエンドにリモート管理機能を導入するのは難しくない。

　リモート管理機能により、開発者はアプリの機能をリモートで制御できる。アプリのリモート制御には、MixpanelやFirebaseなどのサードパーティーSaaSプラットフォームのダッシュボードが利用できる。開発者がダッシュボードでパラメーターを幾つか変えると、プラットフォームがアプリの個別のインストールごとに異なる構成を適用する。これにより、アプリが既にエンドユーザーのデバイスにインストールされている場合でも、そのアプリを更新する必要なく、アプリ機能の動作を変更できる。

　A／Bテストの核となるのは、機能管理ではなく、データ処理にある。分析情報を収集し、テストを制御し、結果を解釈するアルゴリズムが非常に重要になる。

　開発者なら、「Matomo」やIntuitが開発した「Wasabi」など、オープンソースの分析ツールやA／Bテストプラットフォームを調査するといいだろう。このようなツールはA／Bテストに必要なさまざまな機能を搭載し、開発者が自社のサーバでテストをホストできるようになっている。