Спор был о выборе лучшего цвета для тулбара страницы. Команде нравился определенный оттенок синего, а продуктовый менеджер больше склонялся к зеленому оттенку. Обе стороны твердо отстаивали свой выбор. Но кому решать?
Решения по таким вопросам часто принимаются на базе дипломатии, авторитета, или мнения. Упомянутая выше история действительно имела место в Google — в итоге, чтобы понять какой цвет больше нравится пользователям, команда протестировала 41 оттенок синего. Зачем? Здесь речь шла о чем-то большем, чем юзабилити или пользовательский опыт. От того, приведет ли выбор дизайнера к увеличению количества кликов, зависит количество прибыли. Такие компании, как Google, понимают важность проведения А\В тестирования для определения правильного подхода при помощи данных, а не на основе мнений или догадок.
Является ли целью улучшение лендинговой страницы или СТА кнопки, А\В тестирование — лучший способ, помогающий UX командам внедрять инкрементные улучшения. Хорошо построенный А\В тест поможет команде сделать выбор между двумя кнопками, двумя шрифтами, или даже двумя микросайтами. А\В тесты говорят нам что работает хорошо, и где есть проблемы. Вкратце, результаты А\В тестирования могут привести к принятию информированных решений, основанных на данных.
Так что же мешает другим людям его проводить? Ложные представления о его сложности, страх больших массивов цифр, или непонимание возможностей тестирования могут стать преградами на пути к информированному экспериментированию. В этой статье я демистифицирую А\В тестирование и расскажу про то, какие шаги нужно предпринять, чтобы начать проводить простые тесты.
А\В тестирование: Основное определение
А\В тестирование — это эксперимент. Иногда называемый сплит тестом, — это метод сравнения двух версий чего-либо, для определения того, какая версия подходит лучше. Чтобы определить какой дизайнерский подход лучше, две его версии демонстрируются целевой аудитории. Тест определяет какая версия показала себя лучше. В итоге тот вариант, что заставил большую часть пользователей выполнить необходимое действие, выигрывает.
Для проведения А\В теста должно существовать по крайней мере две версии тестируемого элемента: версии А и В. Например, можно протестировать дизайн страницы или только одного экрана мобильного приложения. Половина трафика будет вариантом А, а вторая половина станет модифицированной версией — вариантом В. Разные версии в случайном порядке показываются пользователям. Реакция каждого пользователя, с целью последующего измерения, записывается аналитическим инструментом. По завершении теста, для оценки результата используется статистический анализ. Эксперимент может показать, что изменения произвели положительное, негативное влияние, либо вообще не возымели эффекта.
Зачем проводить А\В тестирование
Помните ситуацию, когда вы сталкивались с новой идеей, и чувствовали сомнения и неуверенность? Сработает ли? Хорошо или плохо повлияет перемена на сайт? А\В тестирование поможет избавиться от большинства сомнений. Команда сможет перестать говорить «мы думаем», и начать говорить «мы знаем». А\В тестирование может помочь:
- Принимать информированные решения
- Подтвердить, что новый дизайн движется в правильном направлении
- Решить, какую версию применить
- Понять, что лучше всего работает среди текстовых и UI элементов
- Понять, как маленькие перемены могут повлиять на поведение пользователей
- Постоянно улучшать пользовательский опыт
- Оптимизировать уровень конверсий
В конечном счете, преимущества A/B тестирования компенсируют время, потраченное на его проведение. Увеличение уровня конверсий, будь то подписка на электронную рассылку или новые потенциальные клиенты, в конечном итоге повлияет на успех вашей инициативы и оправдает рентабельность инвестиций. Если вы можете доказать, что что-то хорошо работает, то сможете легко оправдать продолжение этой практики.
5-ступенчатый план А\В тестирования
Нет одного правильного ответа, который подсказал бы что конкретно нужно тестировать. Тестируйте то, что при наличии данных о поведении пользователей, будет иметь самое большое влияние на проект. Просмотрите аналитику на предмет низких конверсий, уровня отказов, областей повышенного трафика (для быстрого получения результатов), или пустых областей в тех процессах или действиях, в которых вы хотите задействовать пользователей. Знание важных показателей кампании, программы, или бизнеса — это ключ к концентрации на проблеме, которую попытается решить А\В тестирование. Это подводит нас к первому шагу.
1. Определите цель
Тестируете ли вы рекламное объявление, веб страницу или e-mail, все А\В тесты нуждаются в четкой цели. Целью может являться то, что вы хотите узнать, или то, положительно ли повлияет перемена. Какие метрики или конверсию вы хотите улучшить? Подумайте о необходимых результатах, и определите связанную с вашей целью метрику.
2. Сформулируйте гипотезу
А\В гипотеза — это предположение, на котором базируется тест. Чтобы сформулировать гипотезу, задайте вопрос, и попробуйте в ответе предсказать, что стоит на пути конверсий. «Я думаю, что изменение А в В принесет результаты С». Гипотеза должна включать в себя то, что вы хотите изменить, и ваше мнение о том, какое влияние эта перемена окажет.
3. Постройте и проведите тестирование
Для проведения теста создайте две версии — А и В. Затем выберите только одну тестируемую переменную. Выбор нескольких элементов возможен, но такой тест называется мульти-вариантным тестированием, который увеличивает сложность теста. Новичкам стоит начинать с простого. Протестировать можно почти всё, что угодно, но выберите что-то, что проще всего изменить, и что сможет оказать значительное влияние.
Вот несколько примеров простых переменных:
Заголовки и подзаголовки
Длина текста, языковые нюансы, понятность, и настрой могут оказать значительное влияние на то, как пользователи отреагируют на текст. Попробуйте протестировать:
- Язык и стиль
- Длину текста
- Утверждения и вопросы
- Слова триггеры
- Позитивные и негативные послания
СТА
СТА — это ключ к успеху. Как его изменение может заставить людей чаще его использовать? Поэкспериментируйте с:
- Текстом или фразой на кнопке
- Размером, цветом, или формой кнопки
- Использованием только текста или иконки с текстом
- Применением гиперссылок вместо кнопки
- Размещением СТА на странице
- Изменением самого предложения
Изображения и графика
Изображения могут помочь установить связь с пользователем или отдалить его:
- Сравните использование фотографий и иллюстраций на главной странице
- Протестируйте разные вариации изображений людей: пол, раса, возраст, группа людей или один человек.
- Сравните применение изображений людей и продуктов
Формы
Возможно формы важны, но они не должны напрягать пользователей. Небольшие изменения могут сильно повлиять на их производительность. Попробуйте протестировать:
- Длину форм
- Поля
- Размещение и подписи к полям
- Обязательные поля
Помните, изменяйте только одну переменную за раз, тогда ее влияние будет максимально очевидным.
4. Проанализируйте результаты
Следите за проведением теста, чтобы убедиться, что всё идет правильно, но не просматривайте результаты до его окончания. Тест должен продолжаться достаточно долгое время, чтобы предоставить статистически значимые результаты. Это значит, что чтобы производить уверенные изменения вам нужно собрать достаточное количество данных. Это может занять от одной недели до двух месяцев, в зависимости от объема тестирования. Чем больше собрано информации, тем стабильнее будут результаты.
Как только вы определились с объемом тестирования — придерживайтесь его. Определите также минимальное количество ответов, необходимых для получения статистически значимых результатов; в итоге, вы должны быть в состоянии с уверенностью сказать, что такое-то изменение привело к такому-то результату. Не прекращайте тестирование загодя, только потому, что считаете, что определили победителя. Подождите, пока победитель определится результатом.
5. Примените результаты
Примените выигравший вариант, но не прекращайте тестирование. А\В тестирование — это способ инкрементного внедрения улучшений, а данные дополнительных тестов помогут с дальнейшими улучшениями. Чем больше вы тестируете, тем больше знаете.
Не гадайте, тестируйте!
Наличие свидетельств, подкрепляющих внедрение изменений, упрощает принятие хороших решений. А\В тестирование может оказать влияние на результат, давая вам понять что работает, а что нет. После того, как вы проведете несколько тестов, и покажете, как одна версия может работать лучше другой, вам перестанут задавать вопросы о том, почему ваша команда хочет провести А\В тестирование — все будут думать только о том, почему вы не проводили его раньше.
Перевод статьи Дженнифер Леи Браун
