解約防止チャットボットの適切な効果測定方法

2021-05-25

普段私たちは、カスタマージャーニーにおける解約というタッチポイントに設置したチャットボットからユーザーの解約理由などを取得することで、本来は解約する必要のないはずのユーザーに適切な情報をお伝えしたり、顧客企業に解約以外のブランディングや獲得、ロイヤリティ向上などの目的に合わせた施策に役立つ示唆をフィードバックしたりしており、これらをリテンションマーケティングと呼んでいます。

今回はこのリテンションマーケティングを行う上で私たちが重要だと考えている指標と、そこから導かれる適切なチャットボットの効果検証方法についてお伝えし、解約時にどのようなデータが重要になるのかを知っていただければと思います。

解約防止チャットボットにおける重要指標

チャットボット利用後の解約防止者数

まず思い浮かぶのが、顧客サービスの利用者が解約ページでチャットボットを利用し解約を踏み留まった人数、すなわち解約防止者数です。弊社プロダクトの導入顧客にもよるのですが、基本的に「チャットボットの利用」とは、チャットボットを開封し、選択式の質問または記述式の質問に1問以上回答することと定義しています(画像を参照)。さらに、チャットボットを利用した日から起算して次の決済日の時点でサービスへの登録が継続されているユーザーを「解約を踏み留まった」ユーザーとして認めており、月ごとに解約防止者数を算出しています。

この解約防止者数のボリュームがどのくらいあるのかを見ていくことで、チャットボットが如何ほどの効果を発揮したのかを理解できます。

しかし、ただ解約防止者数を追いかけることには落とし穴が潜んでいます。

チャットボット利用者全体に対する解約防止率

ここ1年のサブスクリプション型の動画配信サービスを例にとって考えてみると、新型コロナウイルスの緊急事態宣言が発令されている時期はおうち時間によるサービス需要が高まり、発令されていない期間よりも新規入会のユーザー数は非常に多くなっていました。それに伴い解約ページ訪問ユーザーも月ごとに変動するため、解約防止者数にも毎月ばらつきが出てしまいます。こうした社会情勢や季節といった外部要因は常に存在し、それらを完全に排除することは不可能です。このことを踏まえて考えると、残存したユーザー数そのものを追いかけてチャットボットの施策が効果的だったかどうかを検証するのは、決して合理的とはいえません。

そこで新たに候補として挙げられるのが解約防止率になります。私たちが解約防止率と呼ぶ指標は、解約ページのチャットボットを利用したユーザー全体に占める、解約防止者数の割合のことを指します。割合のため、解約ページ利用者の多寡に依らない比較的安定した指標といえ、解約防止者数よりも適切な指標に思えます。

しかし、この解約防止率という指標を取り入れても、チャットボットの効果を評価する上で月間の数値比較をしてしまうと完全に外部要因を排除することはできません。

比較の対象は前月のデータでも前年同月のものでもない

実は、チャットボット全体のリテンション効果を検証するために当該月の解約防止率を前月や前年同月のものと比較するのはいい手法ではありません。
もちろん、解約を踏み留まったユーザーによる売上推移を知る上では前月と比較することは参考になりますし、年度の変わり目や長期休暇など、季節性の傾向を知る上では前年同月のデータがある程度参考になります。ただ、何度も繰り返すようにチャットボット自体の効果を知る上ではそれだと不十分なのです。
では、どのような比較が適切なのでしょうか。
まず適切な比較方法をお伝えする前に、有名な比較手法であるABテストについて述べたいと思います。

ABテストの鉄則は「比較したい変数を1つにすること」

デジタルマーケティングでは、ABテストという効果検証手法が頻繁に用いられます。ABテストとは、広告文やLP(ランディングページ)などのCVR(コンバージョン率)を最適化するために、2つの比較したいパターンを用意して効果の高いパターンを検証するマーケティング手法のことです。
そのABテストの鉄則として、「変数を1つだけにして条件をそろえること」が挙げられますが、その理由は、変数を複数にしてしまうと、CVRの高かった方のパターンがどの変数による影響かを判断できなくなるためです。
例えば、AとBの広告バナーのうちどちらが最適かを知りたいとします。もしそれぞれの広告バナーが異なるURLに掲出されていた場合、例えAのバナーのCVRが高かったとしても、それはバナーだけでなく、掲出先URLの影響も受けた結果となってしまいます。

必ず変数を1つにし、条件を揃えることが正しいABテストを行う上で不可欠なのです。

チャットボットの効果検証は「チャットボット非利用者」との比較がキー

さて、話をチャットボットの効果検証に戻しましょう。

チャットボットのリテンション効果を検証するために、解約防止者数や解約防止率を前月や前年同月のものと比較するのが適切でないことは先ほどお伝えした通りですが、その理由はABテストの例に挙げたものと全く同じで「変数が1つだけでなく比較対象と条件が揃っていないこと」にあります。
もしその比較を実施して、前月よりも解約防止率が高かったとしても、前月のチャットボットの内容だけでなく、それ以外の先ほど挙げたような外部要因が変数として影響を与えてしまっているのです。もっと言えば、これらをひっくるめて比較対象月の違いそのものが余計な変数となってしまっているのです。

したがって、厳密にチャットによる効果を知るには、同月内で比較できる対象を選ばなければなりません。
その対象となるのが、解約ページを訪れたものの、チャットボットを利用しなかったユーザー、すなわちチャットボット非利用者です。
チャットボットを利用することで、利用しなかった場合よりもどれだけの効果があったかが本質的に知りたいので、同月内の非利用者と比較することではじめてチャットボットの効果がわかります。チャットボットにより実質的に解約防止に成功した人数は次の式で算出できます。

チャットボットによる実質の解約防止者数

チャットボット利用者×(チャットボット利用者の残存率チャットボット非利用者の残存率


括弧の中身にはチャットボット非利用者の残存率が含まれますが、この割合がチャットボットの利用有無にかかわらず残存する割合であり、前提条件となります。この割合を超えて残存した分がチャットボット利用者の実質的な残存率というわけです。

実際にこの式に数字を当てはめてみましょう。
チャットボット非利用者40,000人のうち5%の2,000人が残存し、利用者10,000人のうち15%の1,500人が残存したとすると、実質の解約防止者数は上の式を用いて10,000×(0.15-0.05)=1,000人と計算されます。
さらに、解約ページ訪問者全体に対しての実質の解約防止者のシェアは1,000/50,000=2%となり、決して小さくない効果といえるでしょう。

チャットボットの効果検証において推奨される非利用者のデータ

以上、チャットボットの実質的な効果検証に必要な考え方として、非利用者の残存率との差分を見る重要性について紹介しました。

万が一非利用者のデータが取得できない場合には、過去のデータなどアクセスできるデータを用いて非利用者の残存率を推測する方法がありますが、より厳密に効果を検証するには実際の非利用者の残存データを用いることが推奨されます。