Оценочные шкалы в UX-исследованиях

Как профессиональные UX-исследователи используют вопросы с оценочными шкалами?

Шкалы Лайкерта и семантический дифференциал — это два типа оценочных шкал, которые часто используются в UX-исследованиях. Их часто путают, так как разница между ними довольно тонкая. Тем не менее, они проливают свет на мнения и предпочтения респондентов немного разными способами.

Мы часто измеряем отношение, восприятие, убеждения, предпочтения, используя самоотчетность респондента и оценочные шкалы. Этот тип вопросов нужен для учета степеней мнения.

Оценочные шкалы используются в разных исследовательских методах. Чаще всего они применяются в опросах. Однако их используют и в качественных исследованиях. Данные об установках респондентов, собранные с помощью оценочных шкал, помогают понять восприятие продуктов или сервисов, и это дополняет наблюдения о том, как респонденты справляются с заданиями. Эти данные дают более подробную картину пользовательского опыта.

Шкала Лайкерта

Этот тип шкал назван в честь психолога Рениса Лайкерта, изобретшего этот метод в 1930-ых годах.

Шкала Лайкерта измеряет согласие. Респондентов спрашивают, насколько они (не)согласны с утверждениями. Обобщенный результат получается после сведения воедино ответов всех респондентов. Опросники для оценки юзабилити, такие как SUS и SUPR-Q, используют шкалы Лайкерта. Технически один отдельный такой вопрос — это еще не шкала Лайкерта, а вопрос с Лайкерто-подобным форматом ответа.

Шкалы Лайкерты уязвимы к двум типам искажений:

1. «Молчаливое согласие». Это искажение происходит из склонности людей соглашаться. Этот феномен неудивителен — в конце концов, такова наша природа.

Такое искажение проявляется, когда респондент поставлен перед позитивным или негативным высказыванием, с которыми должен согласиться, или не согласиться. Это частный случай эффекта фрейминга — когда позитивный аспект ситуации подчеркивается, люди склонны видеть всю ситуацию более позитивно.

Прим. переводчика: проще говоря, если спросить «насколько вам понравилось…» люди чаще отвечают, «сильно понравилось» или «скорее понравилось».

Один из способов бороться с этим — чередовать позитивные высказывания с негативными. К примеру, так составлен SUS (еще раз взгляните на высказывания с изображения выше). Но и этот способ не лишен своих проблем. Соро и Льюис выяснили, что чередование приводит к замешательству респондентов, которые не читают все утверждения внимательно, и исследователей, которые не учитывают, что ответы для негативных и позитивных формулировок стоит кодировать по-разному.

2. Социально-желательные ответы происходят из склонности ретранслировать взгляды, которые благоприятно воспринимаются окружающими. Когда респондент знает, что есть общепринятая позиция по заданному вопросу, он склонен высказывать именно ее — из опасений, что несогласие с ней выставит его в плохом свете. К примеру, если политкорректность является общепринятой позицией, респонденты могут не высказывать мнений, которые ей противоречат.

Чтобы снизить влияние этого фактора, не спрашивайте у респондентов их имена или другую информацию, по которой их можно идентифицировать. Из исследований известно, что наличие имен и другой подобной информации повышает такие искажения в ответах респондентов.

Семантический дифференциал

Этот тип вопросов был представлен Осгудом, Сучи и Тенненбаумом в книге The Measurement of Meaning в 1957 году и популярен до сих пор.

Вопросы с семантическим дифференциалом предлагают респонденту выразить свое отношение к чему-либо, выбрав позицию на двухполюсной шкале. На полюсах этой шкалы представлены антонимы (красивый-уродливый, простой-сложный). The Single Ease Question (SEQ) — это пример такой шкалы. Условно, в SEQ вопрос вида «Насколько сложно было справиться с этим заданием?» и 7 возможных ответов, от «Очень просто» до «Очень сложно».

В большинстве случаев, когда используется семантический дифференциал, промежуточные отметки шкалы никак не подписаны, т.к. под ними подразумеваются абстрактные величины; однако, бывают и варианты, где деления шкалы подписаны цифрами (например, от -3 до 3), или оценочными суждениями, например «очень» или «ни легко, ни сложно».

Из исследований известно, что людям проще разобраться, когда деления шкал подписаны, однако в отдельных случаях исследователю может быть сложно подобрать подходящие смысловые высказывания для всех делений.

Данные, собранные вопросом с такой шкалой, надежны только если вопрос соответствует двум требованиям:

1. Использованы пары действительно противоположных по смыслу значений. Не всегда возможно подобрать подходящую пару антонимов.
2. Респонденты одинаково понимают разницу между противоположными полюсами шкалы и смысловую разницу между делениями. Если деления не подписаны, респонденты могут по-разному интерпретировать их смысл.

Семантический дифференциал vs Шкала Лайкерта

Хотя обе оценочные шкалы нужны, чтобы учитывать степень мнений, между ними есть тонкая разница. Ответ на вопрос с семантическим дифференциалом требует больших когнитивных усилий, т.к. респонденты должны осмыслить свой опыт в более абстрактных значениях, чтобы соотнести его с делениями шкалы, когда не все деления подписаны. В то же время, смысловая гибкость не-подписанных делений означает, что респонденты не зажаты в границах выбранных исследователем формулировок, как это случается в случае со шкалой Лайкерта.

Ниже представлена сравнительная таблица, где акцентированы различия между двумя типами вопросов:

В некоторых ситуациях можно использовать и тот, и другой тип вопросов. Например, если мы хотим понять удовлетворенность респондента, мы можем спросить:

1. «Насколько вы удовлетворительным вы находите использование этого сайта?» Полюса шкалы с ответами могут содержать слова «Удовлетворительно» и «Неудовлетворительно».
2. «Насколько вы согласны с тем, что использование этого сайта удовлетворительно?»

Оба вопроса помогут нам понять легкость/сложность пользования сайтом в восприятии респондента.

Однако, в некоторых ситуациях затруднительно использовать семантический дифференциал. Например, утверждения, взятые из одного опроса UX-профессионалов:

• Мы не начинаем думать о решениях, пока не закончим исследования
• У нас есть достаточно времени на исследования, прежде чем мы приступим к разработке новых функций, продуктов и услуг
• Команда, вовлеченная в исследование, работает сообща и делится результатами
• Наши исследования сосредоточены вокруг пользовательского опыта наших текущих пользователей

Предполагается использование шкалы Лайкерта для оценки согласия с этими утверждениями, но превратить это в вопросы с семантическим дифференциалом не получится без изменения типа информации, которую мы получим от респондентов.

‍

(Прим. пер.: придется ввести противоположный полюс шкалы и сформулировать для него высказывания, ровно противоположные приведенным выше — и по сути это будет уже другой вопрос).

Таким образом, вопросы со шкалой Лайкерта более гибкие и подходят для большего количества ситуаций.

Советы по использованию оценочных шкал в UX-исследованиях

• Если вы хотите оценить легкость использования интерфейса, используйте стандартизированные опросники, которые были опробованы, проверены и валидированы.
• Если вы не уверены, какой тип оценочных шкал использовать, проверьте оба варианта:

а) Проведите пробную очную сессию, чтобы проверить понимание респондентами вопросов и вариантов ответа. Попросите респондентов думать вслух, пока они проходят исследование.

б) Можете попробовать разные варианты шкал на разных респондентах и сравнить ответы.

в) Подумайте об аудитории этого исследования: будет ли им затруднительно разбираться с семантическим дифференциалом, будут ли они склонны излишне соглашаться с любыми предложенными утверждениями?

• Используйте существующие формулировки для значений шкал в вопросах со шкалой Лайкерта. Придерживайтесь типичных формулировок (Полностью согласен — Согласен — Ни то, ни другое — Не согласен — Полностью не согласен).
• Убедитесь в смысловой противоположности понятий, которые используете для семантического дифференциала. Например, используйте распространенные антонимы интересный-скучный, вместо клевый-странный. Проверьте на очной сессии, воспринимают ли люди подобранные вами слова, как противоположные по смыслу.
• Добавляйте открытые вопросы, чтобы получить больше инсайтов. Вопрос вроде «Почему вы выбрали этот вариант ответа» раскроет для вас мыслительный процесс, который стоял за выбором значения на шкале.
• Добавляйте вариант со смыслом «Затрудняюсь ответить» для вопросов, на которые какие-то респонденты не смогут ответить. Этот дополнительный вариант ответа позволит вам разделять тех, которые занимают среднюю позицию между доступными вариантами ответов и тех, кто не может ответить на вопрос.

(Прим. переводчика: «затрудняюсь ответить» и «ни то, ни другое» — это разные по смыслу варианты ответа)

Заключение

Шкала Лайкерта и семантический дифференциал это два типа оценочных шкал, используемых в UX-исследованиях. Оба типа вопросов — это испытанный и проверенный способ измерить выраженность какого-либо мнения в отношении продуктов и сервисов; однако они делают это немного разными путями. Подбирайте наиболее подходящий тип вопросов, исходя их целей вашего исследования, а также ограничений и нюансов каждого типа вопросов.

‍

Источник: статья Maria Rosala

Перевод: Виктор Купцов, UX-аналитик Фабрики Юзабилити

‍