Итак, ваша компания решила увеличить прибыль? Им нужно больше конверсий, кликов, и пользователей. Что нужно сделать в первую очередь? Правильно — провести A/B тестирование. Сравните две версии страницы, определите ключевую цель, и посмотрите, получите ли вы больше кликов. Но работает ли такой подход на самом деле? Стоит ли его использовать? Давайте взглянем на данные.
Для приложений с миллионами пользователей, небольшие косметические изменения, например, в цвете, разметке и языке, могут привести к заметному увеличению ключевых показателей (увеличению количества кликов и усилению уровня вовлеченности пользователей). Главный вопрос заключается в следующем: должны ли компании с небольшой пользовательской базой концентрироваться на создании другой кнопки «Зарегистрироваться!», или на общем улучшении своего продукта?
Для многих компаний, A/B тестирование превращается в заплатку для некачественных ценностных предложений. Если вашим контентом не делятся, то возможно, люди просто не считают, что им стоит делиться, и тут не поможет никакая, даже самая красивая кнопка «Поделиться!».
Данные тестов
Это данные, полученные из качественного и количественного A/B тестирования, которое проводилось с 26 исследователями с 1 по 30 мая 2016 года. И хотя это не истина в последней инстанции, эта информация может о многом рассказать.
Ключевые моменты:
- 45% респондентов ответили, что их компания проводит A/B тестирование раз в три месяца, при этом, компании 40% респондентов проводят их еженедельно или ежемесячно;
- 60% респондентов ответили, что продолжительность проводимого ими A/B тестирования составляет 1-4 недели;
- 38% респондентов ответили, что менее 10% результатов тестирования внедряется в продукт в виде изменений;
- 45% респондентов ответили, что изменения, введенные по результатам тестирований, сохраняют свою актуальность на протяжении 1-6 месяцев.
Данные интервью
Кроме того, исследователям были заданы открытые вопросы, касательно эффективности A/B тестирования. Вот некоторые, из основных выводов:
- 10 из 12 опрошенных отметили, что основным недостатком A/B тестирования был провал 90%+ экспериментов;
- 6 из 12 опрошенных отметили, что на основе результатов тестирования было сложно принимать решения, поскольку большинство результатов были либо неубедительными, либо неудачными. Это означает, что статус-кво сохранялся примерно в 90% случаев;
- 10 из 12 опрошенных отметили, что основным преимуществом A/B тестирования было «увеличение доходов».
Создание полезного A/B тестирования
О чем эти данные говорят нам в целом? Компании слишком часто проводят слишком короткие A/B тесты, результаты которых оказываются незначительными, либо неудачными. Вот несколько советов, которые помогут увеличить пользу A/B тестирования для вашего приложения.
1. Не отвлекайтесь
Изменение цветов, текста СТА, и разметки, немного повлияют на ключевые показатели. Однако, такие результаты недолговечны. Устойчивый рост не является результатом изменения цвета кнопки с красного на синий, он приходит только тогда, когда люди действительно хотят использовать ваш продукт.
2. Не нужно пытаться подсластить пилюлю
Если ваш продукт плох, то нет смысла пытаться изменить дизайн кнопок. Сфокусируйтесь на создании хорошего пользовательского опыта, и ценностного предложения.
3. Используйте реальную статистику
Чтобы понять, что работает, а что нет, не нужно полагаться на простое сравнение метрик. «Вариант А увеличивает коэффициент конверсий на 20%, а вариант Б — на 22%. Следовательно, нам нужно использовать вариант Б!» Не нужно так делать. Используйте доверительные интервалы, z-баллы, и статистически значимые данные.
4. Чем дольше, тем лучше
Чем дольше вы проводите тест, тем лучше ваши данные будут объяснять колебания и посторонние переменные.
5. Неудача — это нормально, но неудачи дорого обходятся
Если вы упорно выпускаете версии приложения, которые не нравятся пользователям, то какое влияние это оказывает на показатели? Сколько времени вы уделяете на создание A/B тестов? Пробы и ошибки — это естественный процесс создания компании. Но если что-то идет не так, то, возможно, это не из-за темного оттенка кнопок приложения, а из-за самой предоставляемой услуги.
Перевод статьи Джастина Бэйкера
