『Bears vs. Art』は主人公のクマを操作して、美術館の絵画を一定ターン以内に破壊して回るという内容です。美術館はマス目で区切られており、熊は縦・横・斜めの一直線にしか進めません。フレンドと攻略度合いを競えるマップ画面や、最大8回までしか連続でプレイ出来ないスタミナ制、クマの衣装のカスタマイズといったソーシャル要素も盛り込まれています。変わったところでは、クマの能力値を上げられるRPG的な要素も存在します。
ところが恐ろしいことに2014年3月にオーストラリアとカナダで行なわれたソフトローンチでは、翌日のリテンションが38%、7日後のリテンションはわずか7%という結果になりました。何度もプレイしてもらうのが前提のF2Pゲームで、この数値は低すぎると言わざるを得ません。応急措置としてパズルの難易度調整を施したものの、結果は変わらず。ここに至って抜本的な改革が施されることになりました。下記が主な変更点とその結果です。
(1)クマの移動速度を速くする
ソフトローンチ版ではクマの移動速度がゆっくりしていましたが、これを瞬間移動に近いほどに高速化しました。これだけで4日後のリテンションが24.0%に上昇しました。
(2)3スターシステムを導入
パズルゲームで良く見られる3スターシステム(クリアの度合いに応じてゲットできるスターの数を変える)を導入しました。また、それに伴ってパズルの難易度を大幅に下げました。しかし結果はさんざんで、5日後のリテンションがマイナス18.4%に落ち込みました。
(3)RPGシステムの導入
クマにスピード・知識・狡猾さ・理解力の能力値を加えると共に、衣装をカスタマイズできるようにしました。これはゲームの寿命を延ばす意味合いもありました。効果は絶大で5日後のリテンションが23.8%に上昇しました。
(4)スタミナの回復を止める
ソフトローンチ版ではステージをクリアするたびにスタミナを全回復してましたが、これを止めました(つまり課金しなければ強制的に中断させられることになります)。ところが効果は絶大で、7日後のリテンションでは25%を記録。逆にスタミナの全回復を復活させたところ、5日後のリテンションがマイナス23.9%に落ち込みました。
これ以外にも変更箇所はあわせて30カ所以上に及び、ABテストでその都度リテンションがチェックされました。各々の変更は2週間程度の改変で行われ、最終的に効果のあった部分が採用されました。その結果、翌日のリテンションが36%から50%に上昇。7日後のリテンションも7%から20%に上昇させることができました。その結果、ワールドワイドでリリースにこぎつけることができたのです。
Hawkes氏はこれらの経験から、「イテレーションは臆病になってはいけない、しっかりとリスクをとって改変し、その結果を科学的に検証して進めなければいけない」とまとめました。ちなみに本作は最大7人のプロジェクトで、ソフトローンチまでに5ヶ月、イテレーションに6ヶ月を費やしたとのことです。ポリッシュ(=調整)の重要性を改めて知らしめる講演でした。