Модерируемое и немодерируемое юзабилити-тестирование: что лучше?

Какой метод выбрать?

Когда естественное поведение пользователя генерирует наиболее точные данные об удобстве использования, тогда, конечно, тестирование должно быть немодерированным, верно? Но если эти данные не сфокусированы и направлены неправильно, разве вы не хотите модерировать тесты? В таком случае, разве вы не пристрастны к результатам с кем-то еще в комнате?

Вы, наверное, слышали об эффекте наблюдателя, даже если не знаете его имени. Идея заключается в том, что люди, за которыми наблюдают, действуют иначе, чем когда они одни.

Это явление хорошо задокументировано, но оно не должно быть единственным фактором, влияющим на решение, использовать ли модератора или нет.

Бюджеты, графики, рабочая сила, типы тестов, необходимые данные — это наиболее важные аспекты, которые мы обсуждали в Руководстве по тестированию удобства использования.

Давайте погрузимся глубже, чтобы вы могли принять наиболее обоснованное решение.

Модерируемые тесты юзабилити

Это правда, что модерируемые тесты дают вам больше контроля. Модераторы могут ответить на любые вопросы, которые задает пользователь, и направить тест для достижения целей исследования.

Конечно, для модерируемых тестов, чтобы все прошло гладко, требуется модератор - человек, обладающий навыками работы с людьми и знанием продукта.

Это также означает дополнительные трудности при составлении расписания с пользователем и ограничении времени на прохождение теста. Если вы проводите очный тест, это потребует еще больше ресурсов и затруднит набор участников.

С другой стороны, многие из этих трудностей устраняются посредством удаленного тестирования. Эта тактика позволяет респондентам проходить тест там, где они хотят, и дает им некоторую свободу действий при планировании, но при этом оставляет вам часть контроля.

Поскольку модерируемое тестирование требует больше усилий, оно настоятельно рекомендуется на ранних этапах проектирования. Когда вы работаете с концепциями и прототипами, вы определенно захотите иметь возможность задавать пользователям дополнительные вопросы.

Для работы с концепциями и прототипами

Модерируемое тестирование требует больше усилий, оно настоятельно рекомендуется на ранних этапах проектирования.

Мы согласны с этим советом:

1. Неполные или глючные интерфейсы - другими словами, прототипы на ранней стадии. Если вы тестируете продукт, который может ввести пользователя в заблуждение, вам потребуется модератор, который поможет ответить на вопросы и направит пользователя. Хотя это может показаться необычным, всегда полезно начинать юзабилити-тест как можно раньше.

2. Сложные интерфейсы. Если у вашего продукта высокий порог обучения, модератор может спасти тест, который в противном случае мог бы не дать полезных результатов. Например, модерируемый тест имеет смысл для продуктов, которые не всегда имеют линейную последовательность шагов для выполнения задач.

3. Продукты с проблемами безопасности. В редких случаях, если вы тестируете продукт с доступом к данным, которые вы не хотите публиковать, модератор остановит пользователя в месте, где начинаются эти данные, хотя есть и другие способы ограничить доступ в этом сценарий.

Вывод

Помните, что модерируемое и немодерируемое тестирование дополняют друг друга, а не конкурируют. Например, вы можете запустить модерируемый тест на своем прототипе, а затем устранить любые серьезные проблемы юзабилити. Когда вы доработаете свой продукт, вы можете запустить немодерируемый тест, чтобы оценить, как он работает в реальных условиях.

Когда вы будете готовы начать работу, обязательно следуйте 20 советам Джеффа Соро по модерированному юзабилити-тестированию.

‍

Немодерируемые юзабилити-тесты

Немодерируемые тесты дешевле и проще для быстрого набора пользователей.

Давайте посмотрим на плюсы и минусы на практике.

Плюсы

Меньше времени — немодерируемые тесты позволяют тестировать пользователей одновременно и в любое время без проблем с расписанием и прочими ограничениями. Это означает больше данных за более короткое время. Так мы писали в Руководстве по юзабилити.

Меньшая вероятность предвзятости. Хотя эффект наблюдателя не является единственным негативным фактором, он, как и некоторые другие типы социальных и технических пристрастий, по-прежнему актуален. Отсутствие модератора смягчит многие из них, давая вам более естественные и надежные результаты.

Дешевле - если вам нужно нанять стороннюю компанию по исследованию пользователей, то стоимость, безусловно, превысит немодерируемые тесты. Немодерируемые тесты не требуют зарезервированного места, и все оборудование может быть предоставлено с помощью множества рерурсов. Фактически, стоимость этих инструментов масштабируема, поэтому вы можете платить любую сумму, которую сочтете подходящей.

Более легкий набор - расслабленная среда для немодерируемых тестов создает больший пул желающих кандидатов. Немодерируемые тесты могут быть выполнены практически в любом месте и в любое время любым, кто соответствует вашим критериям.

Конечно, немодерируемое тестирование обладает меньшей степенью контроля и имеет свои недостатки.

Минусы

Никаких дополнительных вопросов. Хотя вы можете включать формы для открытых вопросов пользователям, ничто не сравнится с беседой между модератором и пользователем. Модерируемое тестирование дает вам редкую возможность заглянуть внутрь поведения пользователей. Если позволяет время, мы рекомендуем связаться с пользователями по электронной почте или в Skype для обсуждения после тестирования.

Менее сложные задания. Поскольку решение о завершении задачи зависит от пользователя, а не от модератора, пользователи могут перейти к следующей задаче преждевременно. Вот почему вы должны писать четкие задачи с легко определяемым критерием успеха или неудачи.

Чуть больше времени тратится на фильтрацию качественных данных.

В то время как модерируемое тестирование может внести некоторую предвзятость, немодерируемое тестирование сопряжено с риском пользователей, мотивированных исключительно компенсацией. Хотя вы потратите меньше времени на набор людей, вам нужно будет потратить больше времени на настройку фильтров для уточнения данных.

Заключение

Немодерируемые тесты дают статистически значимые результаты по удобству использования за короткий период времени. Однако здесь гораздо меньше места для ошибки, поскольку вы не можете изменять задачи и вопросы после начала теста, если только вы не хотите потратить деньги впустую.

Помните, что вам также нужно будет снова просмотреть данные для полного анализа, поскольку вам не удастся понять, что можно сделать из диалога модерируемого сеанса. Однако для более целостных продуктов немодерируемое тестирование является серьезным фактором, обладающее дополнительной силой, при увеличении масштабов юзабилити-исследования.

Ответ на вопрос, что лучше, который вы ждёте на большинство вопросов о дизайне, такой:

все зависит от обстоятельств. Вы проводите тестирование на ранней стадии или позже? Хватает или нет вам времени и денег?

У каждого типа тестирования есть свое место и цель, и лучший совет, который мы можем предложить, — рассматривать юзабилити-тестирования как регулярное упражнение. Различные этапы проектирования выигрывают от модерируемого и немодерируемого тестирования, поэтому не бойтесь совмещать их.

Источник: при подготовке использованы материалы сайта UserZoom
Подготовлено: Дмитрий Филёв, UX-аналитик Фабрики Юзабилити