Процесс принятия дизайнерских решений всегда был популярной темой для обсуждения. Почему некоторые дизайнеры делают выбор, который не сделали бы другие, и почему некоторые дизайны, казалось бы, работают лучше, чем другие?
От академического исследования до эскизов и анекдотов, мир дизайна увлечен процессом. Дольше всего задержался анекдот о «Google» и его 41 оттенке синего.
Пытаясь определить, какой из 2 -х оттенков синего цвета использовать для текста ссылки, Google протестировал не только основные 2, но и 39 между ними. История описывает примерно минутное решение, но выделяет быстро растущий подход к принятию решений. Он базируется на экспериментах, альтернативах, и, самое главное, данных.
«A/B тестирование может обеспечить ценность, но оно не должно проводиться за счет других областей дизайна.»
Но почему Google тестировал 41 оттенок синего, и как такой подход сможет помочь вам или вашей организации? В этой статье мы рассмотрим A/B тестирование (или млуьтивариантное тестирование): что это такое, почему его нужно использовать, и его ограничения.
A/B и мультивариантное тестирование в двух словах
Вкратце, A/B тестирование представляет собой метод сравнения 2 версий чего-либо друг с другом, чтобы определить который из них успешнее. Предметом тестирования может быть изображение, кнопка, заголовок, и т.п.
Мультивариантное тестирование — это расширение тестирования A/B, где сравниваются более 2 версий и (часто) включено больше вариаций. Это позволит вам испытать сразу несколько элементов и их способы взаимодействия.
Для простоты, остальная часть этой статьи будет рассказывать только об А/В тестировании, но для мультивариантного тестирования принципы остаются теми же.
Почему А/В тестирование
Цель A/B тестирования заключается в том, чтобы позволить вам производить постепенные улучшения вашего веб — сайта или приложения. Противопоставляя ваше приложение или веб — сайт одной или больше вариациям, вы сможете постоянно улучшать свой дизайн, получать подтверждения от реальных пользователей.
В A/B тестировании, каждый тест генерирует новые данные о том, что работает, а что нет. То, что работает может быть включено в веб-сайт или приложение и станет формировать новый и улучшенный дизайн
Тестирование А / Б в реальном мире
Что бы понять, как можно использовать А/В тестирование и что оно может сделать для вас, вы можете ознакомиться с сотнями примеров на веб — сайтах, вроде Which Test Won. Вы также можете взглянуть на эти популярные исследования:
Основной процесс А/В тестирования
Шаг 1: Где проводить тест
Что бы проводить А/В тестирование вам понадобится веб-сайт или приложение. (A/B тестирование способствует постепенному улучшению существующего продукта и не подходит для тестирования редизайнов или новых продуктов и услуг).
Вы должны решить какую область вашего сайта или приложения вы хотите изучить, и в идеале, постараться улучшить. Область изучения можно подбирать исходя из разных источников:
- Аналитика: показывает ли ваша аналитика, что определенная страница или экран доставляет неудобство пользователям. Все ли ваши пользователи выходят с той же страницы?
- Юзабилити — тестирование: Показало ли юзабилити — тестирование проблемную область или взаимодействие? Вы тестировали новое решение, а теперь хотите проверить его в больших масштабах?
- Интуиция или личная неприязнь: Вы верите, что что-то можно улучшить и хотите проверить это с данными? Есть что-то что вам всегда не нравилось, и где вы хотите применить альтернативы?
Чаще всего эти три источника определяют предмет тестирования. Вооружившись этим знанием вы можете переходить к шагу 2.
Шаг 2: Что тестировать (и что измерять)
Одним из ключевых аспектов тестирования A/B является то, что вы меняете только одну переменную за раз. На первый взгляд, это кажется простой задачей, но можно незаметно перешагнуть отметку и добавить больше переменных.
Например, если вы хотите, протестировать кнопку, вы можете попробовать изменить ее текст:
Или изменить цвет:
Но если вы объедините оба варианта и протестируете кнопку с разным текстом и разным цветом, вы бы резко снизите ценность теста.
Сравнивая эти две кнопки друг с другом, вы не смогли бы указать, почему они дают разный результат: какой прирост производительности принесло изменение текста, или изменение цвета.
«Для проведения ценного A/B тестирования, крайне важно, ограничить изменения в одной переменной.»
Итак, для проведения ценного A/B тестирования, крайне важно, ограничить изменения в одной переменной. Если вы хотите протестировать несколько переменных одновременно, вы должны провести мультивариантный тест, где вы сможете проверить эти несколько вариантов и лучше понять, какой эффект принесло каждое изменение.
Какой бы тест вы не решили провести, вы также должны выделить ключевую метрику, которую вы будете отслеживать. В случае с кнопками, вы скорее всего будете измерять количество людей, которые на нее нажимают. Если речь идет о смене заголовка, то вы наверно будете оценивать показатель отказов, или время, проведенное на сайте.
То, что вы отслеживаете, станет тем, что вы тестируете. Просто убедитесь, что знаете, что вы пытаетесь улучшить, прежде чем начать А/В тестирование.
Шаг 3: Как тестировать
Теперь, когда вы понимаете, что и где вы будете тестировать, поговорим о том, как мы будем это делать. Есть множество приложений для A/B тестирования. Вот наиболее популярные:
- Google Analytics
- Optimizely
- Visual Website Optimizer
- A/B Tasty
Эти (и другие) предлагают базовый процесс A/B тестирования, но различаются функциями. Ваш выбор будет зависеть от ваших навыков разработчика, необходимой вам гибкости, или просто цены.
Многие крупные организации часто используют более одного инструмента, в зависимости от объема необходимой работы, или личных предпочтений, так что выбор правильного инструмента будет зависеть от ваших личных обстоятельств.
Шаг 4: Насколько большой тест
Итак, вы договорились о месте проведения теста, переменных, которые вы будете оптимизировать, и как вы будете технически все это реализовать. Последний вопрос, на который осталось ответить: с каким количество пользователей будет проходить тестирование?
Некоторые инструменты (такие как Google Analytics) не позволяют установить, кто увидит оригинальную версию, а кто альтернативную, или даже, как долго будет длиться тест. Для новичка это может быть полезной функцией, поскольку упрощает весь процесс.
«A/B тестирование не может вам сказать правильную ли проблему вы решаете.»
Если вы хотите установить эти переменные сами, то стоит рассмотреть, как долго будет продолжаться тест, и какой процент пользователь увидит оригинальную версию, а какой альтернативную.
Если вы работаете в организации, которая не приемлет риски, то покажите альтернативу только 5-10% пользователей, а остальным разделите 50:50. В конечном счете выбор будет зависеть от ваших амбиций, а также уровня и типа трафика, который получает ваш сайт или приложение.
Отвечая на вопрос как разделить тест, и как долго он должен проходить спросите себя: насколько большим должно быть тестирование что бы я убедился в правильности результатов?
Это обозначается техническим термином «статистическая значимость», или «статистическая достоверность». Ваша цель: создать тест, с достаточно большим размером выборки, так что вы могли с более чем 95% уверенностью сказать, «Их изменение вызвало этот результат.»
Вам решать, как вы разделите тест, но как долго его проводить может зависеть от объема трафика, который получает веб-сайт или приложение. Не беспокойтесь, как бы пугающе это не звучало, есть много онлайн калькуляторов, которые помогут вам понять, являются ли ваши результаты статистически значимыми или нужно увеличить время проведения тестирования.
- Visual Website Optimizer’s significance calculator
- Kissmetrics significance calculator
Шаг 5: Анализируйте и решайте
Вот и результаты! Вы провели тест, убедились, что он статистически значим, и теперь у вас есть цифры.
С учетом всей проделанной работы, количеством задействованных людей, все ожидают увидеть примерно такой результат:
Но чаще всего, что вы получите такой:
Не расстраивайтесь (и не отчаивайтесь) — A/B тестирование делает постепенные улучшения. И хотя большие изменения возможны, любое улучшение является отличным началом и ставит вас на правильный путь.
Даже если данные показывают, вы не произвели улучшений, то теперь вы находитесь в более сильном положении, потому, что знаете, что работает, а что нет.
«Данные не равны пониманию»
Если тест был успешным, следующие шаги на ваше усмотрение. Вы можете как можно скорее представить новую версию. Или, если вы проводили небольшое тестирование, вы можете провести еще один тест, с большим количеством людей.
Что вы делаете с обретенной информацией, в конечном счете зависит от вас!
Понимание ограничений A/B тестирования
Каким бы мощным не было А/В тестирование, также важно понимать его недостатки и ограничения. Несмотря на растущую популярность, A/B тестирование — это не панацея, которая может спасти любую компанию, а скорее еще один инструмент в вашем арсенале.
Когда вы рассматриваете применение А/В тестирования важно понимать, чего оно не может:
- Сказать почему. Тестирование А/В представляет собой фантастический инструмент, помогающий понять, что работает, а что нет. Однако оно не может сказать вам почему. Для этого вам необходимо провести качественное пользовательское исследование. Очень важно, чтобы вы понимали — данные не равны пониманию.
- Помочь вам протестировать редизайн вашего приложения или веб — сайта. Хотя в теории, вы могли бы сравнить весь дизайн страницы с альтернативой и получить данные о успешности, — вы не смогли бы понять, что именно в дизайне вызывает разницу. Пока вы не проведете пользовательское исследование — результат будет бессмысленным.
- Сказать вам правильную ли проблему вы решаете. Из — за инкрементного характера A/B тестирования, оно может быть мощным инструментом, для постоянного улучшения своего веб — сайта или приложения. A/B тестирование не может сказать вам, правильную ли проблему вы решаете. Вы можете фокусировать свои тесты на домашней странице и видеть улучшения, но проблемой может оказаться другая часть сайта. Это понятие, известное как локальный максимум.
Что может A/B тестирование для вас сделать?
Если все это разожгло в вас аппетит к A/B тестированию, то у вас наверно уже есть информация, необходимая для старта. Некоторые мелкие детали могут отличаться, или ваша организация может выдвигать особые требования, но общие принципы остаются теми же.
A/B тестирование, при правильном использовании, может быть отличным инструментом. Оно может позволить вашей компании постепенно улучшаться и увеличить ваш успех.
Но важно понимать, что A/B тестирование — это всего один инструмент в гораздо более обширном арсенале любого дизайнера. В своей увольнительной записке, Дуг Боумен, бывший глава отдела визуального дизайна в Google, также вспомнил анекдот о 41 оттенке синего Google. Таким образом, даже если A/B тестирование может обеспечить большую ценность, оно не должно проводиться за счет других областей дизайна.
