Недавно по электронной почте я получил опрос от одной государственной организации, в котором мне предлагалось ответить на несколько вопросов, касающихся моего опыта с деревьями. Да, вы правильно прочитали — деревьями.
В частности, там были такие вопросы:
- Забирались ли вы когда-нибудь на дерево?
- Отдыхали ли вы когда-нибудь в тени дерева?
- Играли ли вы среди деревьев, когда были ребенком?
Откровенно говоря, этот опрос меня озадачил. С какой стати для этой организации вообще имеет значение забирался ли я на деревья или играл я среди них или нет? (К тому же, насколько вероятно, что существует человек, который никогда не сидел в тени дерева?) Каким образом такого рода данные, собранные среди сотен респондентов, можно применить к бизнес-решениям? В конце концов, я понял, что скорее всего, основной целью этого исследования было не улучшение их бизнес-стратегии, а попытка заставить меня задуматься о ценности деревьев, что бы я пожертвовал деньги на их нужды.
Опросы используются очень часто, разными людьми, и организациями, для разного рода целей. Иногда они хорошо разработаны и используются надлежащим образом, но часто это не так. Конечно, много было написано о хорошем дизайне опросов, и в то время как большая часть написанного сосредотачивается на том, как создать эффективные вопросы, правильно структурировать опрос и т.д., эта статья посвящена конкретно тому, как дизайн вариантов ответов может повлиять на результаты.
Варианты ответов: открытые и закрытые форматы
При создании опроса, одно из первых решений, которые необходимо принять — это будут ли ваши варианты ответов открытыми, или закрытыми. Открытый формат позволяет респонденту написать ответ в свободной форме, в то время как закрытый формат, как правило, состоит из нескольких вариантов, из которых респондент может выбрать.
Даже это начальное решение по дизайну опроса может повлиять на его результаты. В одном исследовании респондентов спросили, что они считают самым важным, в подготовке детей к взрослой жизни. Когда был предложен список ответов, 61,5 процента выбрали, «Принимать решения за самого себя» в то время как лишь 4,6 процента ответили подобным образом, когда был предоставлен выбор свободного ответа.
В действительности, выбор из списка вариантов никогда не эквивалентен составлению свободного ответа, потому, что он сужает вселенную возможных вариантов ответов, до вариантов, которые, возможно, никогда не происходили с респондентом. Таким образом, дизайн самого опроса представляет собой искажение реальности, которое может загнать в тупик его результаты.
Шкала рейтинга: Положительные и отрицательные числа
Закрытые форматы ответов могут принимать различные формы, один из примеров — шкала рейтинга, т.к. она часто используется в дизайне опросов. Один из способов создать такую шкалу — использовать ряд последовательных чисел. Например, вы можете задать вопрос: «Насколько успешным вы себя считаете?» Вы можете использовать шкалу от 0 до 10, где 0 — «совершенно не успешен», и 10 — «абсолютно успешен».
Также, вы можете использовать шкалу в диапазоне от -5 (совершенно не успешен) до +5 (абсолютно успешен). При том, что количество возможных вариантов остается тем же, в какой степени используемые значения влияют на ответы?
Исследование, разработанное что бы разобраться в этом вопросе, показало, что тип используемой шкалы на самом деле имеет значение. В исследовании, количество респондентов, сделавших выбор в левой части шкалы заметно отличалось, в зависимости от того, который тип шкалы был использован. 34% респондентов выбрали значение в левой части шкалы, которая состояла из отрицательных и положительных значений, в отличие от всего 13%, выбравших левую сторону шкалы, с диапазоном от 0 до 10!
Исследователи утверждают, что респонденты соотносят цифры с доступными вариантами ответов. Стоит ли считать «совершенно не успешен» отсутствием заметных достижений, или наличием определенного количества неудач? Респонденты использовали числа на шкале, чтобы сообщить свое понимание. Сочетание с нулевым значением, «совершенно не успешен» намекало им на не наличие заметных достижений, в то время как сочетание с -5 (наряду с нулем в середине шкалы) намекало на то, чтобы респонденты приняли во внимание свои неудачи.
Даже когда количество вариантов выбора было одинаковым на разных типах оценочных шкал, используемые числовые значения влияли на то, как респонденты понимали вопросы, и, как результат, на их ответы.
Упорядочивание вопросов
Еще один аспект дизайна опроса, который может повлиять на результаты исследований является упорядочивание ваших вопросов. Например, предположим, вы собираете информацию об уровне удовлетворенности семейной жизнью. В дополнение к этому, вы также собираете информацию об уровне удовлетворенностью жизнью в общем. Будет ли порядок вопросов иметь значение?
Оказывается, что, если вы попросите людей, оценить их семейное счастье, а затем попросите оценить их общую удовлетворенность жизнью, ответ на второй вопрос может быть «окрашен» их ответом на первый вопрос. Это происходит потому, что существует много аспектов жизни, которые могут иметь отношение к общей ей удовлетворенности, и эти ассоциации могут отличаться у разных людей. Но если вопрос стоит только о семейном счастье, то, конечно, ответ будет касаться только его, тем более, что оно способствует общей удовлетворенностью жизнью.
Этот «эффект порядка» особенно ярко проявляется с неполными вопросами, в которых спрашивается о части целого (например, о семейном счастье), с последующим вопросом, охватывающим более широкую тему (например, удовлетворенность жизнью в целом). Влияние эффекта порядка при создании опроса можно легко упустить из виду. Нужно не торопясь пройтись по опросу, как это сделал бы респондент, внимательно рассмотрев, как любой заданный вопрос может «окрасить» ваш следующий ответ.
Вопросы об общей оценке
Исследования часто включают в себя вопрос, предназначенный для получения общей оценки той или иной темы или опыта. Часто, это один из самых важных вопросов, и его можно сформулировать различными способами.
Например, каждый из перечисленных ниже вопросов — это разные способы спросить об одном и том же:
- В целом, как бы вы оценили…
- Как часто вы сожалеете (если вообще сожалеете) о покупке того, или иного товара, или услуги?
- По сравнению с тем, что вы ожидали, как бы вы оценили…
- По сравнению с идеалом, как бы вы оценили…
Стоит рассмотреть в какой степени эти разные варианты вопросов могут повлиять на результаты. В одном исследовании сравнили результаты различных версий этого типа вопросов и обнаружили, что люди, использующие варианты с общей оценкой и сожалением (№ 1 и 2), как правило, дают более высокие оценки, чем те, которые выбрали варианты ожидания и идеала (№ 3 и 4). Это происходит потому, что версии с ожиданиями и идеалом устанавливают четкий и более требовательный стандарт, к тому, с чем сравнивается продукт или опыт.
То, как задается вопрос, может непосредственно влиять на полученную оценку — даже если каждая версия вопроса спрашивает об одном и том же. Это еще один пример того, как дизайн опроса может повлиять на его результаты.
Лучшие практики дизайна опроса
В свете всего, что мы обсудили в этой статье, можно скептически отнестись к вопросу: «можно ли разработать исследование, которое принесет достоверные результаты?». Но, по крайней мере, вы должны понимать, что может спутать его результаты, и уже с этого можно начинать! Как только мы поймем, как дизайн опроса влияет на поведение респондентов, то сможем использовать эту важную информацию.
Из этой статьи, мы увидели, что есть несколько вещей, которые необходимо учитывать:
- Осознайте, насколько закрытые форматы ответов могут сузить вселенную того, что обычно может прийти на ум респондентов, когда они продумывают возможные ответы, и как это может повлиять на результаты исследования.
- Примите во внимание то, как различные вариации числовой рейтинговой шкалы могут повлиять на то, как респонденты интерпретируют вопросы. Отрицательные числа, скорее всего, будут подсказывать другое значение, нежели положительные.
- Продумайте, как упорядочить вопросы (особенно не полные), так что бы предвидеть, как упорядочение повлияет на то, как респонденты интерпретируют (последующий) вопрос.
- При включении в опрос просьбы общей оценки, тщательно продумайте, как ее формулировка может повлиять на построение ответа. Особенно, если она включает в себя процесс сравнения одного, с другим, или с определенным стандартом
Заключение:
Даже мелкие детали дизайна могут повлиять на результаты опроса. Очень важно, что бы опрос измерял то, что он должен измерять. О «лучших практиках» много было написано, и легко предположить, что пока вы соблюдаете общие принципы, ваш опрос принесет достоверные результаты. Но мы часто видели, что люди используют опрос в качестве источника информации — например, как средство интерпретации вопросов. Даже незначительные изменения в формате, формулировке вопросов или контексте, могут привести к значительным различиям в результатах. Когда дизайнеры поймут, как нюансы дизайна могут влиять на результаты, они станут более уверенны в результатах.
Перевод статьи Колина Роллера
