Некоторые люди считают юзабилити очень дорогим и сложным удовольствием, и думают, что пользовательское тестирование — это привилегия проектов с большим бюджетом и щедрыми сроками. Это не так. Сложные юзабилити тесты — это пустая трата ресурсов. Лучшие результаты можно получить, проводя тесты только с пятью пользователями.
В нашем последнем исследовании Том Ландауэр и я показали, что количество проблем юзабилити, определенных при проведении юзабилити теста с n пользователями равно:
N (1-(1- L ) n )
Где N — общее количество проблем юзабилити, а L — доля проблем юзабилити, определенных при тестировании одного пользователя. Типичное значение L равно 31% — это среднее значение, полученное после анализа всех изученных нами проектов. Построение кривой для L = 31% дает следующий результат:
Ноль пользователей не приносит никаких результатов.
Но как только вы протестируете одного пользователя, то получите почти треть всей информации о проблемах юзабилити. Разница между нулем и одним пользователем просто поразительна.
При тестировании второго пользователя, вы заметите, что он делает то же самое, что и первый, так что какие-то данные будут совпадать. Все люди разные, так что от второго пользователя, вы, таки, узнаете что-то новое. Так что в результате, второй пользователь прибавит информации, но и приблизительно не столько, сколько первый.
Третий пользователь продемонстрирует поведение, схожее с первым и вторым пользователем, или какие-то отдельные действия. К тому же, он сгенерирует небольшое количество новых данных, которое будет меньше, чем количество, полученное от первого и второго пользователя.
Увеличивая количество респондентов, вы будете получать всё меньше и меньше информации, поскольку каждый новый пользователь будет повторять предыдущих. Нет смысла в сборе одних и тех же данных.
После увеличения количества респондентов свыше пяти, вы будете наблюдать одно и то же, не получая новой, существенной информации.
Итеративный дизайн
Кривая ясно показывает, что для того, чтобы обнаружить все проблемы юзабилити, тесты нужно проводить с по крайней мере 15 пользователями. Так почему же я рекомендую всего 5?
Основная причина заключается в том, что бюджет лучше будет распределить на несколько небольших тестов, вместо того, чтобы тратить всю сумму на одно сложное тестирование.
Нужно проводить несколько тестов потому, что цель юзабилити тестирования заключается в усовершенствовании дизайна, а не только в документировании его слабостей. После того, как первый тест с пятью участниками выявит 85% проблем юзабилити, исправьте эти проблемы в редизайне.
После создания новой версии дизайна, повторите тест. Хотя я сказал, что редизайн исправит проблемы, найденные при первом тестировании, правда заключается в том, что вы только думаете, что редизайн их решит. Но поскольку никто не может создать идеальный пользовательский интерфейс, нет никакой гарантии, что новый дизайн решит все проблемы. Второй тест покажет, были исправлены ошибки или нет. Также, новый дизайн может принести с собой новые проблемы, даже если старые исчезнут.
Помимо прочего, второе тестирование с 5 пользователями выявит оставшиеся 15% проблем, которые не были найдены при первом тестировании.
И наконец, второе исследование позволит глубже изучить юзабилити самой структуры сайта, оценивая такие вопросы, как информационная архитектура, поток задач, и соответствие ожиданиям пользователей. Эти важные детали, часто упускаются из виду в первых исследованиях, где пользователи сталкиваются с поверхностными проблемами.
Таким образом, второе исследование будет служить гарантией качества результатов первого, и поможет глубже проникнуть в суть проблемы. Второе исследование всегда приведет к новому (но не такому большому) списку проблем юзабилити, которые необходимо будет исправить в редизайне. При этом, к новому редизайну можно будет применить всё вышесказанное: не все правки сработают; вы обнаружите более глубокие проблемы. А, следовательно, нужно провести третье тестирование.
Почему бы не проводить тестирование только с одним пользователем?
Вы можете подумать, что 15 исследований с 1 пользователем это еще лучший вариант. Ведь кривая показывает, что от первого пользователя мы получаем информации больше, чем от всех последующих, так зачем же увеличивать их количество? Тому есть две причины:
- Один человек может совершать какие-то действия случайно. А 3-х пользователей будет достаточно, чтобы получить представление о разнообразии их поведения и понять, что уникально, а что можно обобщить.
- Оптимальное количество пользователей (англ.) для проведения пользовательского тестирования в соотношении цена-качество, равно, примерно 3 или 5 человекам, в зависимости от стиля тестирования.
Когда имеет смысл привлекать больше пользователей
Привлекать дополнительных пользователей имеет смысл тогда, когда у сайта есть несколько, существенно отличающихся друг от друга групп пользователей.
Если, например, взять сайт, который будут использовать и дети, и родители, то эти две группы пользователей будут вести себя по-разному, а, следовательно, тестировать нужно будет обе группы по отдельности.
Даже когда группы пользователей сильно отличаются друг от друга, результаты их наблюдения будут довольно схожими. В конце концов, все пользователи — люди. Кроме того, многие проблемы юзабилити связаны с тем, как люди взаимодействуют с сетью, и с влиянием других сайтов на их поведение.
При тестировании разных групп пользователей не стоит включать в каждую группу столько же респондентов, сколько вы использовали бы при проведении теста только с одной группой. Снижение количества одинаковых наблюдений гарантирует лучший результат при тестировании небольшого количества людей в каждой группе. Я рекомендую:
- Привлечь 3-4 пользователя из каждой категории, если вы тестируете две группы пользователей
- Привлечь 3 пользователя из каждой категории, если вы тестируете 3 или более группы пользователей
Перевод статьи Джейкоба Нильсена
