Дистанционные юзабилити-тесты: модерируемый и немодерируемый формат

‍

Дистанционные юзабилити-тесты похожи на классические тесты, но имеют одно важное отличие: респондент и модератор физически находятся в разных локациях.

Вместо того, чтобы модератор приезжал к респонденту (или наоборот), респондент взаимодействует с продуктом дома, в офисе или другом месте, а модератор наблюдает за ним дистанционно.

Модерируемые юзабилити-тесты

Как правило, мы рекомендуем очные тесты, модерируемые, когда это возможно. Для модератора проще читать язык тела респондента и своевременно задавать уточняющие вопросы, находясь в одной комнате с респондентом. К тому же это позволяет продуктовой команде увидеть своими глазами, как реальные люди взаимодействуют с их продуктом, вместо того, чтобы наблюдать это в трансляции.

Однако, когда очные тесты затруднены из-за ограничений бюджета или времени, провести дистанционные тесты – отличная альтернатива.

Немодерируемые юзабилити-тесты

Дистанционные тесты не требуют перемещений от респондента или модератора.

Это хорошее решение для команд с ограниченным бюджетом или большим географическим разбросом пользователей. Серия онлайн-тестов предпочтительнее и гораздо дешевле поездок по стране и миру.

Онлайн-тесты также упрощают исследование при сжатых сроках – так как не нужно заниматься организацией поездок и заботиться об оборудовании для тестирования. Кроме того, нет требования к проживанию респондентов в нужной локации, и это существенно упрощает и ускоряет рекрут.

Дистанционный формат позволяют респондентам использовать в тесте свое устройство. Благодаря этому вы и команда увидите, как респонденты работают со своим рабочим столом, переключаются между программами, вкладками, и т.д. Этот инсайт ценен, но также усложняет борьбу с трудностями респондентов по использованию инструмента, который нужен, чтобы участвовать в тесте.

В модерируемых тестах респондент и модератор одновременно присутствуют в одном «виртуальном»пространстве – модератор в трансляции наблюдает за тем, как респондент использует устройство, и одновременно общается с ним при помощи телефона, почты, сообщений, или комбинации всех методов.

В немодерируемых тестах, респондент проходит исследование в удобное ему время, а сессия записывается для последующего просмотра исследователем.

Модерируемые тесты

Модерируемые тесты допускают общение между модератором и респондентом, т.к. одновременно присутствуют в онлайн-сессии. Модератор может задавать уточняющие вопросы в ходе выполнения заданий или после них.

Однако, в дистанционном тесте может быть сложно понять, когда именно стоит задавать вопросы. Молчание на стороне респондента может означать растерянность, погруженность, просмотр страницы или отвлечение от теста. Может быть сложно найти баланс между поддержанием активного слушания и прерыванием собеседника. Хотя это справедливо и для очных тестов, в дистанционном формате проблема усиливается.

Немодерируемые тесты

В таких тестах респонденты участвуют в одиночку (без собеседника). Хотя в таком формате нет прямого общения с респондентом, некоторые инструменты для дистанционных тестов позволяют задавать в ходе исследования заранее предусмотренные вопросы - их можно показывать после заданий или в конце сессии. Также вопросы можно отправить респонденту отдельно после завершения сессии. В любом случае, вопросы одинаковые для всех респондентов. Нельзя задавать вопросы об отдельных действиях отдельных респондентов.

У респондентов не будет онлайн-поддержки в случае, если у них возник вопрос, нужны пояснения, или они не могут заставить что-то работать. Однако вы можете оставить для них контакты, по которым они могут обратиться, если понадобится помощь. Этот разрыв также означает, что вы не узнаете, как проходила сессия, пока она не кончится. Если респондент столкнулся с проблемой или провалил задание, вы не узнаете об этом в ходе сессии. Некоторые сессии могут оказаться частично или полностью бесполезными, в зависимости от трудностей, с которыми столкнулся респондент.

Немодерируемые тесты тише модерируемых. Обычно для очных тестов используется т.н. think-aloud protocol, когда респондент комментирует все свои действия. В модерируемом формате, исследователь может стимулировать респондента комментировать больше. В немодерируемом формате, можно попросить об этом респондента заранее, но не будет никого, кто постоянно напоминал бы ему о необходимости комментировать.

Из-за отсутствия полного контроля, предпочтительно использовать немодерируемые тесты в случаях когда исследование сфокусировано на проверке конкретных деталей, а не на полноценном пользовании продуктом. Дистанционные тесты хороши для сбора наблюдений о взаимодействии с конкретными элементами интерфейса или влиянии небольших изменений интерфейса на поведение пользователей.

Немодерируемые исследования полезны при сжатых сроках: респонденты проходят тесты в удобное им время, в т.ч. одновременно. В этом случае нет необходимости в графике тестирований.

Советы по дистанционным юзабилити-тестам

Практикуйте технологию.

Даже вы пользовались инструментом для тестов уже миллион раз, проверяйте его на ком-то, кто не принадлежит к компании, моделируя ситуация теста. Удостоверьтесь что инструкции для респондентов ясны. Попрактикуйтесь в рассылке приглашений на участие в исследование, и удостоверьтесь, что знаете, как все работает с вашей стороны и со стороны респондентов.

Переписывайте все.

Прописывайте задания заблаговременно, чтобы иметь возможность проверить их в пробном запуске теста. В модерируемой сессии, модератор может вернуть респондента на нужный путь, если респондент сойдет с него. В немодерируемом формате такой возможности нет. Каждая инструкция, задание и вопрос должны быть четко сформулированы, чтобы избежать их неверной трактовки. Как мы знаем из всех исследований инструкций, все что может быть понято неправильно – будет понято неправильно.

Будьте на связи.

‍Даже в случае немодерируемых тестов, будьте доступны (например по почте или телефону) насколько это возможно - чтобы помочь с потенциальными вопросами респондентов. В случае модерируемых тестов, подключайтесь как можно раньше, чтобы быть готовыми встретить респондента и помочь ему.

Рекрутируйте больше респондентов.

‍Неявка для дистанционных исследований может быть выше, чем для очных. Также вы не узнаете о качестве проведенных сессий, пока не посмотрите их. Чтобы быть готовыми к таким проблемам, лучше приглашать чуть больше респондентов, чем нужно.

Источник: статья Amy Schade.

Перевод: Виктор Купцов,UX-аналитик Фабрики Юзабилити

‍