FLOW Entertainment

※本記事はFlowEntertaimentのオペレーションチームによるモバイルゲーム『フィギュアストーリー』が爆発的人気を得た秘訣と、プロジェクトにおいてThinkingDataの分析プラットフォームを運用し、プロダクトの長期運営とチームの素早い成長を実現した成功体験のシェア会より内容を抜粋しています。

01 FlowEntertainmentについて

みなさん、こんにちは。まず最初に、本日はお招きいただきましてありがとうございます。FlowEntertainmentは2016年6月に成立し、質の高いモバイルゲームの自社開発・リリースと運営及びIPの形成に注力してまいりました。我々のビジョンはプレイヤーに対してエレガントで面白く、良い口コミのある良質なゲームを常に提供し、芸術性に対する高い評価と商業的成功を得ることです。

『フィギュアストーリー』は昨年2020年の9月にリリースし、現在に至るまでの約半年間の運営で、非常に良い成績を残して来ました。事前予約数はベータテスト前にはネット全体で300万に達し、リリース3週間で売り上げが約20億円を越え、複数回にわたってApp Storeのおすすめアプリとなり、その他複数のチャネルでの好評を得、同時に複数のゲーム業界内の賞を獲得しました。
『モデルガールAwake』は2021年4月15日にリリースされ、あっという間にiphoneとandroidの双方のプラットフォームでランキング1位を獲得し、ベストセラーランキングTOPへとのしあがりました。

02 ThinkingDataとの出会い

現段階でFlowEntertaimentは2つの方向に主に注力しており、ひとつはオンラインプロダクトの長期運用であり、もうひとつがどのようにしてチームの開発効率を引き上げ急速な成長をサポートするかということです。

長期運用とは、ユーザーのリテンションと収益の面において長期的に安定した状態が続くことを期待していることを指します。

もう一方で、我々はまだ成立したての新しいチームなので、成長性を重視しています。研究開発チームの成長は多方面から考える必要があります。例えば、革新的なプレイ方法の設計、アルゴリズムチームにおける経験の蓄積、そして更に機械学習のオンラインオペレーションへの応用などの新しい技術・新しいアプローチの試みなど、どれも迅速な結果のフィードバックを行うことで検証をしていく必要があります。

チームの効率に関しても、同じことが言えます。適切な目標を設定するためには、データによる迅速なフィードバックが必要となります。
プロダクトの長期運用とチームの迅速な成長という目標のために、我々は専門的で迅速かつ効果的なデータの分析ツールを必要としていました。綿密で高い成果に対する要求基準に基づき、我々はThinkingDataとの協業をスタートしました。
管理パネルのカスタマイズは我々のThinkingDataの専門的な機能に対する信頼を深め、その後の実際の操作と使用においても想定外の収穫を得ることができ、少ない労力で大きな成果をもたらしてくれました。

“Thinking Dataの分析プラットフォームは即時性が非常に高い”

迅速なデータのフィードバックにより、データ自体の使用方法が根本的に変化し、以前は考えるだけで実現できなかったプロセスをも現実にしました。

ThinkingDataのおかげで、我々は真に週単位のバージョンリリースとアップデートを可能にすることができるようになりました。週ごとのデータフィードバックと要件の検証が迅速に行われることで、プロダクトチームは効果的なデータに基づいて次の週のバージョンに対してパラメーターとアプローチの調整を行うことができます。

そしてこのような週を単位とする有効なアップデートのモデルは、我々のプロダクトの成果に対して大きな向上をもたらしてくれました。結局、オンラインにおける問題にとってはスピードが命なので、これは我々にとって最大の収穫であると私は感じています。

“使いやすく、大量の人件費を節約できた”

ThinkingDataの利用を始めて以来、全てのデータに対する要求は基本的にTAプラットフォームで実現できるようになりました。最も直接的に体現されているのがデータのスクレイピングにおいてであり、リアルタイムの計算を用いたユーザーのグループ化とタグづけはチーム全体のアウトプットの質を飛躍的に高める結果となりました。

03 ThinkingDataの分析プラットフォームの実践的な事例

実践的な分析事例に重きを置き、主に我々が直面した問題とその解決の道筋についてシェアしようと思います。

プロダクトに対する我々の立場はCP（コンテンツプロバイダ）側であるため、これからシェアする内容の多くはCPのプロダクトの調整及びコミュニケーションの観点から展開され、さらにデータ利用における我々の経験と方法論をまとめています。

// 01 チュートリアルと初期のユーザーエクスペリエンスチューニング

ご存知のとおり、ゲームのチュートリアルの良し悪しは翌日の継続率に大きな影響を与え、プロダクトの短期的なリテンションもチュートリアルの出来次第でほぼ決定します。そのため、多くのゲームの研究開発チームはチュートリアルの設計とユーザーエクスペリエンスのチューニングを重要視し、大量のリソースを投入します。

我々が今回チュートリアルの調整を行なっている時に遭遇した問題は、その他のプロダクトと少し違うものでした。

初期、内部テスト及びパブリックテストの際、短期リテンションは非常に良い数値を出していました。ところが、プロダクトの展開範囲が拡大し、大量のライトユーザーが入ってくると、全体の短期リテンション数値は我々の期待していた水準には届きませんでした。これは我々のプロダクトに対する長期運用の要求に合致しません。大量の心血を注いだプロダクトですので、やはり長く安定した結果を出したいと思うものです。

もうひとつのきっかけは現在準備中の海外バージョンです。海外バーションのユーザー属性の不確実性は更に大きく、そのため我々はライトユーザーに対して更に有効的なチュートリアルバージョンを必要としていました。これが私たちが当時ある決定をした背景になります。

リスクとタスク量のバランス

当時の時点で既にオンライン運用をはじめて３から４ヶ月経った完全版であり、こうした既に成熟したバージョンに対して直接的な修正を加えるのは、リスクが測りきれない状況にありました。例えば、主観的な問題に対して変更を加えることで、既存の化学反応を壊すことにならないか、一部の修正が本来だったら継続利用していたであろうユーザーに影響を与えたりしないだろうかなどです。これらはどれも試行錯誤とフィードバックが必要なのです。

同時に我々は海外バージョンの開発も進めており、タスク量が厳しい状態だったため、チューニングは大きな挑戦でした。

主観的思考と経験的方法論のトレードオフ

問題の判断及び修正の考え方には特に問題はありませんでした。流出ユーザーに対して、深いレベルでの分析を行い、プレイヤーのリテンション・線形プロセス及びオンライン滞在時間等複数の方向からクロス分析を行うことで、明らかに多くの問題点に気づくことができました。
しかし、ひとつの問題には複数の可能な解決策があります。新しいプレイヤーの参加初期の限られた時間において、プレイヤーにどのような情報とエクスペリエンスを届けるかに関しては取捨選択をする必要があります。言葉を変えれば、原則的な問題は皆分かっているけれども、どのように落とし込んで行くかは非常に難しいとも言えるでしょう。

多くの困難と課題に直面したものの、ThinkingDataのデータフィードバックとポジショニング分析メカニズムに信用を置いていたため、我々はチュートリアルのチューニングに着手することを決めました。

我々は全体の線形プロセスを細かいブロックに切り分け、バッチごとに優先度を分けて迅速な修正を繰り返し、同時にフィードバックされたデータによって方向性の検証を行いました。

例えば、いくつかの非常にシンプルなユーザー体験のプロセスのディテールを、週1回の小規模なリリースを通じて修正し、その後データを確認して検証することも可能です。フィードバックが良ければそのまま採用し、そうでなければ前のバージョンにフォールバックします。プロットの繰り返しやCGの差し替えなど、表現に大きく影響するモジュールなどは、メジャーリリースを通じて更新されるものもあります。

３ヶ月以上の調整サイクル全体を通し、2つのメジャーリリースと10以上のマイナーリリースを経て、ゲームの初期のプロセスのイテレーション全体を非常に高い効率で完了しました。同時にいくつかの主観的な試みの検証も行い、大量の経験を蓄積することができました。

前期のチュートリアルのチューニングが完了した後、国内バージョンの短期リテンションは我々の期待するレベルまで引き上がり、安定するようになりました。繁体字バージョンがリリースされたのちには、異なる属性を持つユーザー群においても同じく非常に良い実績を得ることができました。

// 02 イベントの投入と商業化チューニング

前述する通り、我々はThinkingDataのデータフィードバックシステムにおいて、週ごとのリリースを実現しました。毎週の更新では、新しいイベントウィークに合わせた様々なアクティビティを展開するほか、数値や投下のチューニングも行います。

こうしたモデルにおいて、プロダクトの投入と商業化におけるチューニングの考え方としては、プレイヤーのニーズや心理を理解し、それに対してピンポイントで調整を行うことで、できる限り全ての課金プレイヤーのエクスペリエンスを保証し、プレイヤーに対してより適切なサービスとガイダンスを提供します。

ここで我々のよく使用する課金の分析視点をいくつかシェアいたします。

1.課金ユーザーの構造の変化：アクティブ度・アクティブユーザー・貢献値の比率等を含む

2.課金内容の変化

3.アクティブユーザーの属性の変化の監視：主力ラインナップの成長度、各種コアリソースの在庫等を含む

かつてのイベント企画を再度起用すると、高い確率で効果が悪くなったり場合によっては完全に効果がなくなってしまうといったことに遭遇します。同じようなプロモーションも、どんどん魅力がなくなってしまいます。

この問題の根本はプレイヤーの成長と求めるものに変化が生じ、プロダクト提供者側とユーザー側双方のプロダクトに対する認知が対等でなくなることによって生じます。つまり、プロダクトの研究開発チームは、迅速なデータのフィードバックを通し、オンラインゲームの生態に対する認知をアップデートし、のちに続くリソースの投入に対して有効な調整を行うことができます。

// 03 スタジオアカウントへの対抗（有効なデータのフィルタリング）

モバイルゲームに関わるにあたって、スタジオアカウントの問題は避けては通れません。

我々のプロダクトがリリースされたばかりの頃、初期アカウントひとつの取引額は30元まで達しました。現在スタジオはますます氾濫し、監視を回避するための数々の手段など全体の運用はますます本格的でプロフェッショナルになってきています。我々のプロダクトのリリース以来、オペレーションチームはスタジオ対抗に大量の精力をつぎ込みました。最近の海外、繁体字バージョンのデータから見ても、多くのスタジオアカウントが存在しています。

スタジオアカウントは多くの問題をもたらします。プロダクトそのものから見た時、スタジオアカウントは長期のリテンションを引き上げ、課金データを希薄化し、プロダクトの調整をする際の重要な決定に影響することとなります。

スタジオアカウントに対して選別と除外を行わなければ、スタジオアカウントの影響によって、プロダクトデータによって呈されるのは全く違う景色となるかもしれません。例えば、リテンションとアクティブ率が一見良さそうに見えるけど、課金率とARPUが低いことがデータから読み取れた場合、課金に対する調整をする決定を下すかもしれませんが、スタジオアカウントを排除して真のデータを目の当たりにした際、課金率とARPUがどちらも受け入れられるレベルにあり、実は問題は短期のリテンションにあるということに気づくかもしれません。

その上、もしプロモーション期に大量のスタジオアカウントが紛れ込み、すぐに排除できなかった場合はマーケットにおける広告の投下施策に対する決定に影響が出るかもしれません。

さらに、スタジオアカウントのような同時ログインログアウトの操作は、サーバーに小さくない負荷をかけ、そのほかのアラート判断の難易度を引き上げます。

ここでいくつかよく見るスタジオアカウントの特徴を紹介しましょう。

1.オンライン曲線のパルスパターン変化

通常のプレイヤーの行動では、どんなに膨大なDAUがあっても直線的に上下するパルスパターンの変化状況は起きえません。

2.ネーミングの規則性

スタジオアカウントは基本的にシナリオに基づいて登録しており、シナリオにおいて最も恐れるのはプロセスでひっかかることです。現在全てのプロダクトの前期のユーザーエクスペリエンスのプロセスは直線型であり、引っかかる可能性があるのはアカウント名の登録の際に重複もしくは文字種エラーとなります。

そのため、スタジオのシナリオではそれぞれの命名規則でアカウント名登録の問題を忌避しています。例えば、「数字＋アルファベット」の組み合わせや「ランダム名＋アルファベット」などの組み合わせがあります。実際に疑惑のあるプレイヤーの範囲を絞り込んだ後に見ると、こういった規則性のあるアカウント名が明らかに目立って来ます。

3.リテンションとステージの滞留が明らかに異常

仔細にデータを観察するとある日のday4・day5リテンションがday3リテンションが高くなるなどの現象に気づくかもしれません。また、毎日もしくは一部のプレイヤーの滞留がなんの根拠もなく集中しているのに気づくかもしれません。

スタジオアカウント問題対策における経験をいくつか紹介しましょう。

まず、我々はアルゴリズムを通して全てのデバイス情報を整理し、デバイスに対してユニークな値を生成し、同じデバイスからどのくらいのアカウントがログインしているかの判断の根拠にします。同一デバイスからのアカウントログイン数から、アカウントに対してデバイスレベルにおいて疑惑レベルを設定します。例えば、1台で3つのアカウントは低リスクであり、5つ以上は高リスクとなります。

次に、アカウントのゲーム内の行動に基づいて、プレイヤーをグループ分けします。例えば、Sカードが獲得できるステージに逗留している、毎日ログインするがボーナス目的の操作しかしないアカウント、アクティブな日は多いがメインストーリーの進行具合が遅いアカウントなど、初期アカウントやアカウント育成などのそれぞれ違う目的によって異なるレベルやフィルタリング規則を設けます。

最後にこの二つのグループ分けの規則をThikingData上に登録し、ほかのパネルにも応用することで、より細かい分析と判断ができるようになります。

一部の明らかにスタジオ的な規則を示すアカウントに関してアカウント凍結とデータクリアの処理をしたとしても、一部の疑惑のあるユーザに対しては全て定性的に判断できず、疑惑度の判断をするのみにとどまってしまいます。なぜなら、ひとりで10個のアカウントを作り毎日プレイするなど、確かにスタジオアカウントと同じような行動をする一部のリアルユーザが実際に存在するのです。

古い疑惑ユーザーは引き続き観察が必要でありながら、新しい疑惑プレイヤーが入ってくる状況が続き、我々のフィルタリングルールも絶え間なくアップデートを繰り返さねばなりません。こうした状況において、ThinkingDataの管理画面カスタムルールによるユーザーグループ分けは非常に強い助けとなります。

// 04 オンライン問題の監視と問題の特定

我々はオンラインにおける問題を迅速に特定できるツールと手法を必要としています。

現在我々はThinkingDataの分析プラットフォームにおいて監視パネルを作成し、オンラインの問題の監視と問題特定を行なっております。全体的に実用性が高いと感じており、皆さんに我々が主に注目している監視モジュールを紹介したいと思います。

1.メインストーリーのステージとメインプレイ方法の進捗度に対する監視。
我々はプレイヤーのアクティブ状況及び課金状況に基づいてカスタム定義によるグループ分けを行い、グループごとにプレイヤーに対して進捗度の閾値を設けます。

一部のチートをしているプレイヤー、またはゲームのバグを利用するプレイヤーなどはフィルタリングされて明らかになってきます。

2.コアアイテムのアウトプット及び一部道具の発行窓口の状況

3.課金プレイヤーグループの成長状態

現在これらの状況は全て管理パネルで確認できる様になっており、定期的に監視をしております。同時にアラートも設定されています。プロジェクトのリリース以来、問題のフィードバックが早く、問題の特定も明確で、プロセス上非常に大きな助けとなっています。

// 05 カスタマーサポートツールの補助として利用

ThinkingDataのプラットフォームの効率的な検索機能と便利なカスタム定義機能により、カスタマーサポートツールとして応用することもできます。

我々はお客様からのクレームで多く使用するトラックポイントに対して最適化を行い、照会作業を容易にし、かつデリケートな情報を分割して表示するよう工夫しました。

また、外部からのクレームを多く扱うオペレーションやカスタマーサービスのメンバーにもトレーニングを行ったところ、カスタマーサポートツールの使用過程において非常に良い効果が得られました。

カスタマーサポートチームもThinkingDataのプラットフォームをカスタマーサポートの照会ツールとして使用しており、自分達のプラットフォームより使いやすいとのフィードバックを得ております。

トラックポイントに対してピンポイントで最適化を行うにあたり、我々はよく使用する照会モジュールのデータを単独で表にしました。例えば、カードドローの記録、アイテムとゲーム内通貨の変化の記録などです。

同時にSDK内のアカウントIDと紐づけることで、全てのログはプレイヤーの各種IDの変換データが含まれ、各種チャネルから報告されたカスタマークレーム情報の照会が非常に便利となります。

以前我々の研究開発チームはカスタマーサポートの問題に関しても多くの労力を投入してきましたが、ThinkingDataのプラットフォームをカスタマーサポートツールとして提供するようにして以降、カスタマーサポートにおける仕事量が大々的に減少しました。

// 06 海外バージョンの使用

海外バージョンにおいて、ThinkingDataのプラットフォームは我々の海外版における唯一のデータアウトプットとなっており、データのフィードバック、帳簿、監視、カスタマーサポートツールを一体化したものとなっております。

同時にThinkingDataが導入時に多くの運用上のサポートと法務的なサポートを提供してくださったことに関しても感謝したいと思います。

海外バージョンの使用において、最も大きい収穫は２点あります。

1.複数バージョンのデータ分析の統一

我々のプロダクトの基本メカニズムは共通しており、データのトラックポイントも同じです。そのため、同じ環境は我々のデータフィードバックに対する理解を容易にします。同様のデータアルゴリズムとルールも再利用可能であり、複数バージョンのデータ間で互いに比較することも可能です。慣れ親しんだデータ環境は仕事の効率を大いに引き上げます。

もしリリース先のデータプラットフォームだけを使用するとすると、そのデータフィードバックの記録粒度、カウント方法などさらには一部のパラメータールールの定義さえも異なることさえもあり、差異が生まれます。こうした差異はどんなに小さくとも、いくつかの差異は充分に我々の問題に対する判断の正確さに影響するのです。

同時に、十分に頼れる対比の参照がなければ、多くのデータ関連の分析が全て最初からやり直しになってしまいます。

2.パブリッシャーの訴求についての理解を迅速にする

海外で運営しているゲームは、パブリッシャーと密に協力することでWin-Winの状態を実現することができます。そのため、我々はパブリッシャーの訴求を迅速に理解し、調整する必要があります。

海外のパブリッシャーが何かのポジションがおかしいなどのニーズを提示した際、もしかしたらそれらは我々が知らない環境において行なった判断かもしれません。そのため、我々はThinkingDataを利用してこれらの問題を慣れ親しんだ環境に着地させることで、こうしたニーズの迅速な理解を行います。

例を挙げると、一部のパブリッシャーは「有効ユーザー」の概念を自己定義することがあり、彼らのフィードバックと判断は全てこの「有効ユーザー」のデータに基づいたものになります。このデータはパブリッシャー内部では複数のプロダクトを横断して比較するものとできますが、この概念は我々がCPとして理解している「有効ユーザー」の概念とは異なり、我々がパブリッシャーのルールの中で問題を理解しようとすると非常に難しいものがあります。

そのため、ThinkingDataを使用してパブリッシャーの定義に基づいてその規則をシミュレーションしてユーザーの分類を行うことで、慣れ親しんだルールの中で全面的な分析を行うことが可能になります。その後パブリッシャーの反映する問題を理解すると、もっとスムーズになり、ニーズの理解、プランの制定・調整の効率が大きく引き上がります。

「顧客志向」は、創業以来一貫してThinkingDataが追求してきたことです。真に顧客のために問題を解決し、価値を創造したときに初めて、我々ThinkingDataのやっていることは価値と意味を持つことになるのです。
今後、ThinkingDataは引き続き最も専門的なデータ分析ツールを構築し、業界のデータ分析手法を先取りし、ゲーム会社がデータを有効活用してより多くの高品質なゲームを作成できるよう支援していきます。