Измерения юзабилити: от SUS к UMUX-Lite

SUS - System Usability Scale

Многие исследователи знакомы с System Usability Scale (SUS), и не случайно.

Это самый распространенный и цитируемый опросник для оценки мнения о легкости использования систем (программ, сайтов и иных интерфейсов).

Несмотря на краткость (10 пунктов), SUS переусложнён, учитывая, что он измеряет только один параметр — юзабилити системы по мнению пользователя.

Такая избыточность полезна, чтобы повысить надежность данных. Однако более короткие опросники предпочтительны, когда:

• ограничено время на юзабилити-исследование
• измерение юзабилити требуется в рамках более подробного исследования продукта, которое и так может быть слишком долгим.

UMUX - Usability Metric for User Experience

Чтобы закрыть потребность в более коротком опроснике, Крэйг Финстэд разработал Usability Metric for User Experience (UMUX).

UMUX похож на SUS, но короче и нацелен на определение юзабилити из ISO 9241 — эффективность, производительность и удовлетворенность. В UMUX два позитивных и два негативных высказывания с 7-балльной шкалой согласия для каждого:

• Возможности [название продукта] отвечают моим требованиям
• Использование [название продукта] разочаровывает
• [Название продукта] легко пользоваться
• Мне пришлось потратить много времени, исправляя что-то в [название продукта]

[Прим. пер.: можно конкретизировать для респондента сценарий, к которому относится высказывание, например:

«С помощью Яндекс.Пробок легко оценить ситуацию на дорогах»]

Хотя укорачивание опросника полезно, это не единственная вещь, о которой стоит беспокоиться при разработке эффективного опросника. Анализы от Льюиса и Борсчи и их соавторов выявили некоторые недостатки в вопросах UMUX. Прежде всего, Льюис и соавторы обнаружили, что позитивные и негативные высказывания создают искусственную двухфакторную структуру, вместо задуманной однофакторной (одномерной). Это та же самая проблема, которую мы с Льюисом обнаружили в SUS.

UMUX-Lite

В ходе совершенствования UMUX, Льюис и соавторы предложили более короткий опросник только с двумя положительными высказываниями и 7-балльной шкалой их оценки:

• Возможности [название продукта] отвечают моим требованиям
• [Название продукта] легко пользоваться.

Эта короткая версия UMUX хорошо имитирует модель принятия технологий в плане содержания, на выходе давая оценку восприятия полезности и удобства использования.

Модель принятия технологий была разработана в то же время, что и SUS, и предназначена для прогнозирования:

• примут ли респонденты новый продукт/технологию
• будут ли респонденты ими пользоваться.

По сути, нечто должно быть одновременно удобным и применимым, чтобы гарантировалось его принятие и использование.

Льюис и соавторы проверили UMUX-Lite в последующих исследованиях с дополнительными данными и обнаружили, что он все еще показывал высокую надежность данных, близкую к SUS (UMUX-Lite alpha= .86, и SUS alpha = .91).

[Прим.пер.: речь о коэффициенте альфа Кронбаха, его используют в гуманитарных науках для оценки надежности тестов.]

Также UMUX-Lite сильно коррелирует с SUS при r = .83 и с NPS при r = .72, аналогично нашим выводам о прогнозе NPS, исходя из показателей SUS. Льюис с соавторами представили уравнение регрессии для прогнозирования показателя SUS всего по двум вопросам (они называют это UMUX-LITEr), и обнаружили, что по результатам UMUX-Lite можно предсказать показатель SUS с точностью в 99%. Это уравнение регрессии представлено ниже:

SUS Score = 0.65 ∗ ((UMUX-Lite Item1 + UMUX-Lite Item2 − 2) ∗ (100/12))+22.9

Эта взаимосвязь была подтверждена еще раз позже, на другом наборе данных, когда Льюис и Борсчи с соавторами вновь нашли лишь 1% погрешности между показателями UMUX-Lite и SUS. Похожие результаты получили также Беркман и Карахока.

UMUX-Lite. 5-балльная версия

Заинтригованные этими результатами, мы начали сами собирать данные по SUS и UMUX-Lite в рамках наших постоянных сравнительных анализов. Это было весьма действенно, т.к. второй вопрос UMUX-Lite (“[Название продукта] легко пользоваться”) часто встречается в UX-опросниках. Он есть в SUS, SUPR-Q, TAM, и в немного другой форме в SEQ.

Несмотря на некоторые преимущества 7-балльной шкалы, которую использовали Финстэд и Льюис, мы хотели опробовать 5-балльную шкалу по двум причинам:

• Чтобы сопоставить результаты с имеющимися образцами SUS (У нас в базе более 10 тысяч показателей SUS, собранных по 5-балльной шкале)
• Потому что многие опросники используют 5-балльную шкалу Лайкерта, и к ним проще добавлять вопросы с тем же форматом.

Как использовать UMUX-Lite

Чтобы использовать UMUX-Lite, предъявляйте их респондентам так же, как и SUS с 5- и 7-балльными шкалами согласия/несогласия. Как и SUS, UMUX-Lite можно предъявлять респонденту в конце юзабилити-теста, или в составе большого опроса. Мы находим UMUX-Lite особенно полезным при сравнительном анализе многих внутренних IT-продуктов — т.к. он короткий и легко вписывается в другие опросы.

Как собирать и представлять данные

Есть несколько способов описать результаты UMUX-Lite:

1. Представить средние значения для каждого из двух параметров [юзабилити и полезность — прим пер.], или одно обобщенное среднее для обоих (см. рисунок ниже)

2. Преобразовать обобщенное среднее значение в эквивалент параметра SUS, используя вариацию регрессионного уравнения Льюиса.

3. Процентный показатель для каждого параметра. Мы создаем для UMUX-Lite нормализованную базу данных, подобную той, что есть для SUS, чтобы результаты UMUX-Lite можно было отразить процентами.

В данный момент, мы используем общий порог в 4 и преобразуем необработанные оценки в z-оценки, а затем в процентные значения . Затем эти процентные значения могут быть отображены на координатной плоскости из 4 квадрантов, где в качестве осей заданы юзабилити и полезность (см. ниже изображение из отчета о ПО для конечного пользователя).

Этот квадрант показывает, что Microsoft Word попал в область «выше среднего» по параметрам юзабилити и полезности. На контрасте с ним, iCloud попал по обоим параметрам в область «ниже среднего».

Текущие и будущие исследования

UMUX-Lite постоянно проверяется, и для подтверждения валидности и надежности этого метода нужно больше исследований (особенно, если он станет альтернативой SUS).

Требуется и совершенствование уравнения для прогнозирования SUS по результатам UMUX-Lite.

Открытым вопросом остается и то, насколько гибкой может быть формулировка первого выражения («Возможности [название продукта] отвечают моим требованиям»). К примеру, один из наших клиентов спрашивал, можно заменять термин “возможности”.

Небольшие изменения в формулировках в SUS, например, «громоздкий» на «неудобный», делают его более понятным, без ущерба надежности метода. И мы проверим, верно ли то же самое для UMUX-Lite. UMUX-Lite показывает перспективы более короткого, но столь же эффективного аналога SUS в оценке восприятия пользовательского опыта.

‍

Источник: статья Джеффа Соро

Перевод: Виктор Купцов, UX-аналитик Фабрики Юзабилити

‍