Чому QA Engineer важливо знати ігрові KPI

Оригінал статті опубліковано на DOU.

Мене звати Григорій Батурін, я QA Engineer у харківській студії Plarium. Наразі працюю над проєктом Mech Arena – мобільним багатокористувацьким екшн-шутером від третьої особи в режимі реального часу. Нещодавно гра вийшла в глобальний реліз.

Ще готуючись до співбесіди, я помітив, що інформації з тестування ігор дуже мало. Тому я хочу спростити завдання для початківців Game QA Engineer і розповісти про навичку, яка вирізнить вас серед кандидатів. Це розуміння KPI – ключових показників ефективності. Знання базових метрик дозволить вам ефективніше пріоритезувати завдання й аналізувати результати тестування. А володіючи термінологією, ви зможете побудувати більш ефективний діалог з іншими командами. Якщо на співбесіді вас попросять розставити пріоритети (одне з класичних завдань), ви зможете обґрунтувати рішення, застосовуючи метрики.

На прикладі однієї з функціональностей Mech Arena я також описав, на які метрики варто звернути увагу Game QA Engineer.

Особливості роботи Game QA Engineer

Робота QA Engineer в ігровій індустрії має певні особливості, які слід ураховувати не тільки під час підготовки до співбесіди, а й під час планування свого професійного розвитку.

Нижче перелічено специфічні навички, які виділяють найчастіше. Вони зорієнтовані на розробку й виконання тест-кейсів для ігрових проєктів.

1. Досвід роботи з ігровим рушієм. Це одна з основних технічних навичок QA Engineer, яка відрізняє професіонала від новачка. Вправний фахівець розуміє принципи роботи застосовуваного рушія та може скласти специфічні тестові сценарії.

2. Великий ігровий досвід. Чи можна сказати, що у вас великий ігровий досвід, якщо ви відіграли 8000 годин у Dota 2? Або грали в World of Warcraft від моменту релізу? Для QA Engineer у геймдев-індустрії цінніша не кількість годин, а різноманітність ігрового досвіду, який не обмежується одним жанром чи грою.

3. Знання цільової платформи й операційної системи на рівні досвідченого користувача. Зараз більшість проєктів створюється під декілька платформ. Це означає, що QA Engineer має розуміти специфіку операційної системи, з якою працює: чи то Android, iOS, Windows, чи то власна операційна система, як-от у Nintendo Switch. Ці знання допоможуть ефективно використовувати доступну функціональність.

4. Розуміння специфіки тестування ігор. Цей пункт є сполучною ланкою для перелічених вище. До нього можна віднести вміння організовувати роботу з командами, розставляти пріоритети перевірок, розподіляти завдання, оцінювати час тестування.

Знаючи ігрові метрики, QA Engineer на початкових і завершальних етапах розробки зможе точніше оцінити вплив нововведень. А також запропонувати зміни, які спростять процеси розробки та тестування, але при цьому не вплинуть на цільові показники.

Базові ігрові метрики

Систематизувати знання базових метрик можна за допомогою розподілу їх у моделі AERM – Acquisition (Приваблення), Engagement (Залучення), Retention (Повернення), Monetization (Монетизація). Модель ілюструє шлях користувача в грі.

Існують й інші моделі, за допомогою яких можна систематизувати ігрові метрики, наприклад AARRR – Acquisition, Activation (Активація), Retention, Referral (Рекомендації), Revenue (Дохід).

У статті ми розглянемо модель AERM – вона більш зрозуміла початківцям.

Діаграма воронки AERM

Acquisition

На цьому етапі ми не будемо особливо зупинятися, позаяк основний вплив тут мають відділи маркетингу та гейм-дизайну. Але про нього варто знати, оскільки термін застосовується у формулах далі.

Опис етапу в різних аспектах гри

На цьому етапі можна виділити 3 основні визначення.

1. New Users (нові користувачі) – користувачі, які вперше запустили гру. Важливо розрізняти поняття облікового запису та особи. Одна людина може мати кілька акаунтів, і кожен створений нею обліковий запис вважатиметься як New Users. Залежно від типу та цілей проєкту можуть застосовуватися поняття Downloads або Install.
2. Total Users (загальна кількість гравців) – це загальна кількість користувачів вашої гри. До цього показника входять як активні облікові записи, так і неактивні до моменту їх видалення.
3. Cost Per Install (вартість за установлення) – витрати маркетингу на залучення одного користувача. Іноді застосовується суміжне поняття Customer Acquisition Cost (вартість залучення клієнта).

Engagement

Engagement і Retention часто об'єднують, оскільки їхні показники безпосередньо пов'язані із зацікавленістю гравця. Це найоб'ємніші етапи – вони відображають поведінку гравців у вашій грі. Якість тестування має значний вплив на показники цих етапів. Якщо гра містить баги або до неї складно призвичаїтись на початкових сесіях, користувачі не захочуть до неї повертатися. Тому QA Engineer повинен організувати регресійне тестування і запропонувати рішення, які покращать ігровий досвід.

Опис етапу в різних аспектах гри

Загальним показником залучення вважається Average Session Length (середня тривалість сесій). Іноді для цього показника застосовують позначення Session Duration, Visit Duration або Average Session Time. Цей показник розраховується за формулою:

Щоб оцінити вплив нововведень, застосовують Participation rate – це частка гравців, які брали участь в ігровій активності або події. Метрика дозволяє відстежувати залученість гравців у ті чи інші ігрові функціональності.

Retention

Етап, показники якого відображають зацікавленість користувача в поверненні у гру. Більшість оновлень покликані підвищити цей KPI, а отже, його можна застосовувати під час аналізу результатів тестування.

Опис етапу в різних аспектах гри

Основним показником повернення гравців можна вважати Retention Rate – це відсоток користувачів, які зайшли у гру на N-й день після реєстрації.

Найчастіше Retention Rate поділяють на:

• короткостроковий Retention – Day 1, Day 3, Day 7;
• довгостроковий Retention – Day 14, Day 28/30, Day 60, Day 90.

Для зручності презентації Retention Rate застосовуються скорочення:

• DAU (Daily Active Users) – кількість користувачів, які виконали хоча б 1 вхід у гру протягом дня;
• WAU (Weekly Active Users) – кількість користувачів, які виконали хоча б 1 вхід у гру протягом тижня;
• MAU (Monthly Active Users) – кількість користувачів, які виконали хоча б 1 вхід у гру протягом місяця.

У контексті обговорення Retention варто згадати Churn Rate (відтік користувачів). Цей показник застосовують для оцінювання кількості користувачів, які залишили застосунок за певний період (зазвичай за 14 днів). Для QA Engineer цей показник є ключовим у блоці Retention, оскільки його різке підвищення сигналізує про помилки, допущені під час релізу.

Monetization

Етап, який є ключовим чинником для розвитку проєкту. Монетизація допомагає поліпшити ігровий досвід, створити нові функціональності й урізноманітнити геймплей. Вона демонструє, які аспекти гри цікавлять користувачів найдужче, наприклад, який режим або персонаж найжаданіший. Зважаючи на ці дані, команда розробки розставляє пріоритети для подальшого розвитку. Якщо більшість людей купує певного меха, команда розробки додає на нього скіни, квести або спрощує його отримання, скажімо, додаючи меха до нагород, щоб підвищити інтерес до івенту.

Опис етапу в різних аспектах гри

Коли говоримо про монетизацію проєктів, варто враховувати співвідношення CPI (Cost Per Install) і LTV (Lifetime Value). Останній також називають CLV (Customer Lifetime Value) – це дохід з одного користувача за все його «життя» в проєкті. Щоб монетизація була успішною, важливо підтримувати співвідношення в такому вигляді: LTV > CPI. Таке співвідношення не універсальне, оскільки не враховує витрат на розробку й тестування. Воно ключове для загального оцінювання проєкту, але, щоб оцінити окремі функціональності, пов'язані з монетизацією, потрібно застосовувати метрики, описані нижче.

Paying Users Share (частка користувачів, що платять) – відсоток користувачів від усієї аудиторії, які зробили хоча б один платіж.

Conversion Rate (конверсія унікальних гравців у тих, що платять) – метрика показує, яка частина вашого DAU перейшла в тих, що платять. Цей параметр також застосовується в оцінюванні результативності маркетингу.

Average Revenue Per User (ARPU, середній дохід на користувача) – дохід, який у середньому дає один активний користувач за певний період. Він розраховується за формулою:

Average Revenue Per Paying User (ARPPU, середній дохід на користувача, що платить) – середній дохід із користувача, який здійснив хоча б один платіж за певний період.

Застосування ігрових метрик на прикладі функціональності в Mech Arena

Розглянемо застосування ігрових метрик на прикладі тестування функціональності Influencer Link. Вона створює для інфлюенсерів унікальні посилання. Гравець, який перейшов за ним і встановив гру, отримує нагороду.

На стадії планування й аналізу вимог важливо розуміти, на які етапи в моделі AERM впливає функціональність і чому.

Acquisition. Функціональність Influencer Link спрямована на залучення нових гравців, тому впливає на метрики New Users, Total Users, Cost Per Install.

Retention. Оскільки гравці отримують бонуси відразу після проходження туторіалу, помилки у відображенні попапу з нагородою можуть істотно впливати на зацікавленість користувача. На цьому етапі функціональність впливає на метрики DAU, Churn Rate.

Monetization. Функціональність не спрямована на монетизацію. Але розмір нагороди може вплинути на кількість людей, які продовжать грати й перейдуть до категорії користувачів, що платять. Influencer Link впливає на метрику New Paying Users.

Будь-яку функціональність, яку вам доведеться тестувати, рекомендую обговорювати з відповідальним за її реалізацію гейм-дизайнером. Не бійтеся щось уточнювати та пропонувати зміни ще на етапі планування. Так ви краще розумітимете цільові метрики.

Важливим етапом планування є оцінювання часу тестування. Influencer Link – маркетинговий інструмент, тому під час визначення термінів важливо отримувати зворотний зв'язок від команди маркетингу.

До тестування слід братися тільки після того, як ви вже визначили, скільки часу знадобиться на реалізацію функціональності, а також вказали метрики, на які вона впливає. Метрики допоможуть аргументовано відстояти свою точку зору в разі виявлення недоліків в ігровому балансі або елементах UI.

Після релізу функціональності необхідно запитувати про зміни метрик. Так ви зможете запропонувати подальший розвиток нововведень і проєкту в цілому. Прикладом поліпшень для функціональності Influencer Link можуть бути особливі нагороди, що базуються на побажаннях гравців.

Більше інформації про метрики

Рекомендую регулярно переглядати матеріали про метрики, щоб структурувати знання, дізнаватися про нові підходи. Нижче я зібрав кілька корисних посилань, які допоможуть розширити знання про KPI проєктів в ігровій індустрії.

Відео:

Основні метрики мобільних додатків (devtodev)

Mobile Game Development Explained [2020]

Статті:

12 Key Mobile Game Metrics That Developers MUST Track

KPI-підхід: метрики і стадії ігрового проєкту

Словник ігрових метрик devtodev

Знання ігрових метрик важливе для всіх, хто залучений до створення і розвитку гри. Без розуміння ключових показників QA Engineer буде складно виявити закономірності в зміні KPI. А відповідно, й аргументувати свою точку зору, коли виникне потреба запропонувати поліпшення функціональності.