Сколько нужно респондентов в UX для юзабилити-тестирования

‍

И еще один дисклеймер для тех, кто не любит читать до конца: есть полное обоснование от Джеффа Соро, сколько респондентов нужно для проверки гипотез в UX-исследованиях. Текст ниже объясняет логику этого обоснования простым языком, без логарифмов, слов «выборка» и «биномиальный», простым языком, на пальцах, с монеткой.

В основе нашего объяснения лежит ситуация, при которой нужное событие может произойти, либо не произойти.

Пример: при подбрасывании монеты с вероятностью 50% выпадет решка или орел.

В нашем случае ситуация такая: человек взаимодействует с интерфейсом. Этот человек может столкнуться, либо не столкнуться с интерфейсной проблемой.

Нам нужно, чтобы человек столкнулся с проблемой — так мы находим проблемы, чтобы их исправить и улучшить интерфейс.

Проблемой мы считаем ситуацию, когда использование интерфейса не приводит к желаемому результату, например, когда человек:

• не может выполнить в интерфейсе желаемое действие;
• не понимает, какое действие нужно выполнить, чтобы получить желаемый результат;
• ошибочно понимает информацию, данную в интерфейсе.

Вероятность обнаружения проблемы — не 50%, как в случае с монеткой. Эта вероятность может быть разной.‍

Обнаружение проблемы зависит от многих факторов, среди которых:

• путь, которым пользователь пошел в интерфейсе;
• (не)совпадение способов мышления пользователя и дизайнеров/проектировщиков, которые работали над интерфейсом;
• ситуации, в которой используется интерфейс;
• внимательность пользователя.

Таких факторов бесконечное множество, мы не можем заранее предусмотреть все и не можем повлиять на многие из них. Тем не менее, при достаточном количестве попыток (респондентов) мы так или иначе станем свидетелями даже тех проблем, которые случаются лишь в 1% случаев.

К сожалению, чтобы гарантировано найти все возможные проблемы, надо превратить в респондентов все человечество. Чтобы сделать задачу выполнимой, придется немного снизить планку.

Сначала мы решаем, насколько редкие проблемы мы хотим найти. Это и есть вероятность обнаружения проблемы, которую мы назначаем для исследования.

Например, мы хотим найти проблемы, с которыми люди столкнутся с 10% вероятностью.

= представьте кривую монету, при подбрасывании которой нам с 10% вероятностью выпадает орел.

Чтобы выяснить, есть ли в наем интерфейсе проблемы, мы берем нашего реального либо потенциального пользователя и помещаем его в ситуацию, в которой он пользуется нашим интерфейсом.

Представьте, что мы подбрасываем кривую монету один раз.

С вероятностью в 10% мы получаем орла с первого раза

= мы находим нашу «редкую» проблему на первом же респонденте.

Если не находим с первой попытки, то бросаем кривую монетку еще и еще раз = зовем новых респондентов

Чтобы узнать, сколько попыток респондентов требуется для того чтобы точно случилось событие, которое случается с определенной вероятностью при каждой попытке, можно воспользоваться спецкалькуляторами:

Нам потребуется задать:

• Вероятность события / вероятность обнаружения проблемы
• Количество попыток респондентов
• (Опционально) желаемое количество раз, чтобы событие случилось. Тогда можно рассчитать вероятность, что проблема случится именно столько раз при заданном кол-ве попыток.

Выше пример расчета, когда у нас:

• 10% вероятность события-проблемы
• 21 попытка-респондент

В этом случае мы обнаруживаем проблему с 30% вероятностью (см. самый высокий столбик графика).

Выше пример ситуации, где:

• 30% вероятность события-проблемы
• 8 попыток-респондентов
• Желание наблюдать событие-проблему как минимум 3 раза
• Мы видим, что есть 30% вероятность увидеть событие-проблему дважды .

Выше пример ситуации, где:

• 30% вероятность обнаружить проблему
• 5 попыток-респондентов
• Мы с 30% вероятностью увидим, что проблема случается дважды.

‍Нам важно: повторяемость дает понять, что причина в интерфейсе, а не в человеке. На этом основывается практика UX-исследований.

5 респондентов были долгое время рекомендованным по умолчанию количеством респондентов (исторически). В расчете Джеффа Соро используется более сложная формула, в которой учитывается процент всех имеющихся в интерфейсе проблем. При желании можно ознакомиться как с обоснованием, так и с критикой [1],[2] такого способа расчета, основанной на теории вероятности.

Согласно этой формуле, если мы хотим найти 85% всех проблем, которые обнаруживаются с 30% вероятностью, нам понадобится 5 респондентов.

А например в ситуации, если мы хотим найти 90% всех проблем, которые обнаруживаются с 10% вероятностью, эта формула дает нам рекомендацию пригласить 21 респондента.

‍

Итого: для каждой отдельной ситуации можно посчитать количество респондентов, определившись с редкостью и процентной долей проблем, которые вы хотите найти. Но можно срезать путь так: когда количество респондентов перевалит за 20, вы зацепите исследованием большинство проблем, даже редчайших. Единственное, что сможет помешать — плохие вопросы и задания. Но об этом в следующий раз.

‍

Еще одно полезное замечание: тестировать и проводить UX-исследования всегда лучше, чем не тестировать — это основное золотое правило создателей цифровых продуктов!

‍

Источник: NNGroup.com

Подготовлено: Виктор Купцов, UX researcher