В противоположность распространенному убеждению, А\В тестирование было изобретено не для дизайна или маркетинга. «А\В тест» — это просто еще одно название контролируемого эксперимента, а они существуют уже на протяжении веков.
Возможно, вы думаете: «и какое это имеет отношение к его проведению?»
Ключ к успешному (читать: правильному) контролируемому эксперименту кроется в научной методике, применяемой при его проведении.
К сожалению, А\В тесты не всегда проводятся с использованием научных методик. Настоящий контролируемый эксперимент должен:
- Определять четкие гипотезы
- Сохранять полный контроль над средой, в которой проводится эксперимент
- Определить и разделить зависимые и независимые переменные
- Быть воспроизводимым
Наши команды UX дизайнеров недавно экспериментировали со способами применения атомного дизайна к контролируемым экспериментам.
Основываясь на заимствованной из химии концепции, атомный дизайн описывает сложные (и простые) взаимоотношения между микро, и макроэлементами дизайна.
В этой статье я буду говорить об этом неисследованном способе применения атомного дизайна, и покажу вам, как его можно применить для создания научного А\В теста.
1. Используйте атомный дизайн для определения гипотез на уровне элементов
Атомный дизайн позволяет вам с удивительной простотой определять очень четкие гипотезы. Если вы не знакомы со структурой атомного дизайна, то можете думать о нем так:
Подумайте о любом сайте, который вы часто посещаете, или даже о том, над которым вы работали. Вы увидите мелкие и массивные элементы. Зачастую, мелкие элементы организуются, и создают массивные элементы. По сути это происходит в большинстве случаев.
Теперь давайте, с учетом картинки, показанной выше, определим переменные, используемые в А\В тестах.
- Атомы: это самые мелкие элементы на странице: иконки, кнопки, текстовые поля, и т.д.
- Молекулы: это завершенные элементы; они состоят из множества атомов: поля поиска, переключатели опций, выпадающие меню, и т.д.
- Организмы: это завершенные структуры; они состоят из множества молекул: панели навигации, боковые панели, и т.п.
- Шаблоны: это, по сути, ваерфрэймы; скопление внедренных организмов.
- Страницы: это идеально реализованные шаблоны.
При создании тестируемых гипотез, главная проблема, с которой сталкивается испытатель заключается в их четких определениях. Четкость определения гипотезы полностью зависит от размера тестируемой переменной.
Вот как выглядит плохая гипотеза, для гипотетического не прибыльного сайта:
«Увеличение количества информации на лендинговой странице увеличит количество доноров».
Теперь, предположим, что вы испытываете 10% увеличение уровня конверсии при 95% доверительном интервале.
Однако гипотеза плохо определена, не конкретизирована, ее сложно доказать или воспроизвести. Какая именно конкретная информация может помочь увеличить количество доноров? Увеличенный уровень конверсии вряд ли можно отнести к воспроизводимому элементу.
Итак, как же использовать атомную методологию для того, чтобы подобрать подходящие переменные?
2. Атомный дизайн порождает четко определенные переменные
Из-за природы атомного дизайна, дизайнеры могут сфокусироваться на эффектах компонентов всех размеров, и функциях. Не зависимо от того, маленькие они, или большие, вы всегда будете контролировать все тестируемые переменные, потому, что атомный дизайн категорирует элементы сайта по их размерам.
Переменные, описанные выше, имеют разное влияние на результаты А\В тестирования, и разный вес, в смысле научной достоверности. При проведении А\В тестирования, чем меньше независимая переменная, тем более научным получится тест из-за меньшего количества зависимостей.
Этому есть простое объяснение: большие переменные, вроде организмов, состоят из множества мелких переменных — это говорит о том, что вы не будете знать, какая именно переменная повлияла на данные.
Используйте это знание в процессе определения переменных для вашей гипотезы.
Всегда разбивайте зависимые и независимые переменные на составляющие их компоненты. По большей части, зависимыми переменными будут конверсии, так что их сложно будет разбить на части. Но в случае с независимыми переменными — чем меньше, тем лучше.
Существует множество способов проиллюстрировать эту концепцию, но для объяснения научной достоверности для каждой отдельной переменной, наши дизайнеры предпочитают использовать панель навигации.
Если бы UX дизайнеру пришлось проводить А\В тестирование на панели навигации, представленной выше, то гипотезой было бы: «улучшение видимости строки поиска увеличит количество его использований»
Последующее А\В тестирование, наверное, будет состоять из замены стиля строки поиска, или ее цвета, с последующим измерением влияния изменений.
Но подобные действия опасны
Влияние какого именно аспекта строки поиска измеряется? Будет сложно ответить на этот вопрос. Что имеется ввиду, цвет или сама строка? Расположение текста? Само слово «search»? Слишком просто вносить в элемент не инкрементные изменения.
Лучшим способов проведения А\В тестирования строки поиска будет следующий процесс:
- Идентифицируйте путь конверсии, который будете тестировать
- Определите, какие элементы с ним связаны. Начните с больших элементов, и продвигайтесь к маленьким, пока у вас не получится список разных «атомов», которые вы сможете проверить
- Индивидуально и систематично протестируйте каждый атом для устранения ненужных переменных
- Убедитесь, что во время проведения теста, не изменяется ничего, что находится за пределами выбранного вами пути конверсии.
Итак, что касается нашего примера, вместо того, чтобы менять всю строку поиска, нужно сделать список под-элементов (атомов), которые стоит исследовать, и протестировать их индивидуально. Список может выглядеть так:
- Иконка поиска (цвет)
- Поле ввода (размер; цвет)
- Размещение (центр заголовка)
Список может быть бесконечным, но несмотря на его длину, помните, что каждое изменение (цвет, размер, и т.п.) должно быть проверено индивидуально.
Цель заключается в использовании списка, приведенного выше, для выведения гипотезы. Иногда гипотез будет несколько. Зачастую, результаты одного тестирования, приведут к возникновению новой гипотезы.
Такова природа науки.
3. Атомное А\В тестирование создает большое количество воспроизводимых результатов
Сколько раз вы читали что-то вроде «Компания А увеличила CTR на ХХ%, внеся изменение в что-то конкретное»? Вы пробовали воспроизвести их результаты?
Удачи в этом начинании.
Я сомневаюсь, что испытатели, которые делают подобные заявления, в состоянии воспроизвести свои же результаты на другой странице. Этому есть несколько причин — самая очевидная заключается в том, что вы не можете просто применить одну и ту же переменную в совершенно другой среде тестирования, и ожидать совпадений результатов.
Другая проблема заключается в четко выраженных переменных. Было бы намного проще создавать воспроизводимые результаты, если бы наше исследование говорило что-то вроде:
Изменение цвета кнопки поиска с голубого на белый добавит строке поиска достаточно контраста для того, чтобы пользователи могли его заметить, и чаще с ним взаимодействовали. Вот 30 отдельных тестов, которые показывают возможность воспроизведения результатов.
Воспроизводимость очень важна. Она и есть обоснованность. В конце концов, существует причина, по которой именно воспроизводимость является главным критерием публикации в научных журналах.
Атомная методология, по своей природе, создает воспроизводимость. Она требует специфики переменных. Если вы можете доказать, что определенный «атом» привязан к увеличению показателей в той, или иной переменной, то вы даете читателю прочную платформу для воспроизведения ваших результатов.
А если вы не уверены, то лучше сказать: «Я изменил этот организм, и это повлияло на уровень конверсии. Но я не знаю, какие именно молекулы или атомы за это отвечают», чем «Изменение цвета этого организма на голубой, изменило уровень конверсии».
Повлияла ли на это голубая кнопка? Белый шрифт на голубом фоне? Контраст, между домашней страницей и строкой поиска? Если вы примете решение в пользу последнего варианта, то на большинство вопросов у вас не будет ответов.
Заключение
Если вы хотите получить настоящую оптимизацию уровня конверсии, вы должны действовать научно, и методично. И если вы готовы принять научную стезю, так сказать, то вы не найдете методологии лучше, чем атомная. Ее не только проще всего применить, но она также несет с собой обоснованность результатов.
Естественно, использование только одной атомной методологии не гарантирует правильных результатов. Вы должны использовать ее в сочетании с твердым контролем за средой тестирования, и инкрементными, систематическими методами.
Когда вы познаете все аспекты научного А\В тестирования, то откроете для себя огромное количество данных, и при этом не будете чувствовать, что палите наугад.
Перевод статьи Йоны Гидалевица
