Методы оценки эффективности интерфейса

1. Введение.

В процессе работы с программным обеспечением мы сталкиваемся с разными представлениями пользовательского интерфейса. У каждого из них есть свои плюсы и минусы, но как узнать какое из них более удобное и эффективное? Для этого существуют различные количественные характеристики, о которых будет идти речь дальше, но для начала уясним основные понятия. 
 Пользовательский интерфейс, или интерфейс пользователя – это совокупность средств и методов, по средствам которых пользователь взаимодействует с программным обеспечением. 
 Эффективность пользовательского интерфейса – это продуктивность использования пользовательского интерфейса, с целью достижения каких-либо результатов. 

2. Методы оценки эффективности пользовательского интерфейса.

Существует множество методов оценки эффективности пользовательского интерфейса, но все их можно разделить на две большие группы:

• методы оценки группой пользователей;
• методы, основанные на формальных расчетах.

Обе группы методов равносильны, и выбор группы зависит, главным образом, от таких факторов как: возможность оценки тем или иным методом (возможна ли оценка группой пользователей или возможен только формальный расчет),   располагаемым временем и бюджетом. Оценка эффективности пользовательского интерфейса является процессом субъективным, так как зависит от   личного отношения и восприятия людей проводящих оценку.

Конечный пользователь интуитивно будет отдавать предпочтение тому интерфейсу, который в большей степени удовлетворяет следующим критериям:

• лучше тот интерфейс, при котором время выполнения задачи меньше;
• лучше тот интерфейс, в котором число непроизвольных ошибок пользователя меньше;
• неоднозначность в понимании интерфейса должна быть минимальной;
• необходима высокая стандартизация интерфейса;
• объем вводимой пользователем информации должен стремиться к минимуму;
• в выводимой информации не должно быть лишнего и ее не должно быть мало;
• простота и визуальная привлекательность.

 

Эти критерии лежат в основе конкретных методов оценки эффективности пользовательского интерфейса. К методам оценки группой пользователей относят:

 

• метод фокус-групп;
• прототипирование;
• анализ задач.

К методам на формальных расчетах:

• метод GOMS;
• экспертная оценка.

Рассмотрим их подробнее.

1. Метод фокус-групп.

Метод фокус-групп – это метод качественных исследований, заключающийся в задаче вопросов группе людей, состоящей из пользователей, не знакомых с  предлагаемым им для оценки интерфейсом.

Работа фокус-группы ведется по определенному сценарию под руководством ведущего, имеющего социально-психологическое образование. Весь диалог ведущим и группой записывается на видео или аудио носители, с целью последующего анализа. С помощью этого метода можно выявить особенности поведения пользователей и лучше понять их пожелания. Для полноценной оценки опрос проводится в нескольких группах, отличающихся по своему составу. При этом, для наблюдения динамики, проводятся повторные опросы тех же групп, но уже после внесения в интерфейс изменений.

Эффективность пользовательского интерфейса можно косвенно оценить через следующие формальные соотношения:

 

= , где

 

 – фактор  продуктивности работы фокус  группы;

 – количество проблем, для которых предложено решение;

 – количество найденных проблем в интерфейсе;

– номер итерации.

 

, где

SR – общая оценка неудовлетворенности эффективностью интерфейса;

 – общее количество проблем, первоначальное решение для которых оказалось ошибочным или недостаточным;

 – общее количество проблем, для которых предложено решение;

2. Прототипирование.

Прототипирование – это метод исследований, заключающийся в создании большого набора прототипов будущего пользовательского интерфейса, которые подвергаются сравнению. Обычно, прототип содержит реализацию лишь самого интерфейса, без его функционального наполнения.

Цель данного метода заключается в определении, насколько то или иное решение перспективно, и последующей реализации лучшего из возможного.

Созданные прототипы подвергаются сравнительному анализу. Для определения критериев оценки служит та проблема, ради решения которой были созданы прототипы. Ей может быть время ввода данных пользователем, время принятие пользователем решения на основе предоставленной информации, субъективная оценка эффективности интерфейса по некоторой шкале и т.п. Как правило, наиболее эффективен сопоставительный анализ прототипов по нескольким методам: GOMS, Фокус-группы, Экспертная оценка.

3. Анализ задач.

Данный анализ состоит из двух аспектов – в выявлении, какие конкретно задачи пытается выполнить пользователь с помощью предлагаемого интерфейса, а также в выявлении насколько эффективно пользователь выполняет поставленную перед ним руководителем тестирования задачу.

Для проведения тестирования нужно иметь несколько человек представляющих предполагаемый круг будущих пользователей системы, которые незнакомы с интерфейсом. Исследования показывают, что нет необходимости проводить тестированием с большим числом пользователей, оптимальным число является 7-12 субъектов. При таком небольшом числе пользователей можно обнаружить около 80% ошибок и неточностей в интерфейсе (неудачное расположение интерфейсных элементов, неудобное меню, непонятные надписи и т.п.) и получить при этом достоверный результат.

Тестирование начинается с предварительного анкетирования пользователей, цель которого – выявить, насколько пользователи знакомы с теми или иными аспектами предметной области, типовыми задачами, есть ли у них опыт работы с подобным программным обеспечением.

Пользователям предлагается выполнить простую задачу в соответствии с подготовленным сценарием (который содержит необходимые исходные данные и действия необходимые для его выполнения). Если пользователи хорошо знакомы с предметной областью, то им предлагается самостоятельно выполнить задачу, которую, по их мнению, должно решать приложение. В ходе этого процесса измеряется затраченное пользователем время, количество обращений за помощью, ошибки пользователя, вопросы и комментарии пользователя.

Проводится анкетирование пользователей с целью выявить степень удовлетворенности пользователя: насколько полно приложением выполняется задача, предоставлена ли вся необходимая информация, а лишняя скрыта и т.п.

На основе полученных данных формируется отчетность:

·       Анализ портрета типичного пользователя.

·       Анализ продуктивности работы пользователя.

·       Оценка общего уровня удовлетворенности пользователей.

·       Наиболее часто встречающиеся замечания и жалобы пользователей.

·       Список приоритетных проблем (по числу жалоб пользователей и времени выполнения задачи).

Далее в рамках полученных данных идет работа по улучшению интерфейса.

4. Метод GOMS.

GOMS это семейство  методов позволяющих провести  моделирование выполнения той  или иной задачи пользователем  и на основе такой модели  оценить качество интерфейса (точнее  говоря оценить время выполнения  задачи как основной критерий  качества). GOMS это сокращение от  английского Goals, Operators, Methods, and Selection Rules – Цели, Операторы, Методы и Правила выбора. Данный способ был предложен S. K. Card, T. P. Moran и A. Newell в 1983 году.

Идея метода заключается в том, что все действия пользователя можно представить как набор типовых составляющих составляющие (например, нажать ту или иную кнопку на клавиатуре, передвинуть мышь, и т.п.). Для этих типовых составляющих можно провести измерения времени их выполнения (на большом числе пользователей) и получить статистические оценки времени выполнения того или иного элементарного действия. Оценка качества интерфейса заключается в разложение выполняемой задачи на типовые составляющие, и вычисление времени, которое будет в среднем затрачиваться пользователем на выполнение этой задачи.

В данном методе каждая цель или задача (Goal), которую хочет достичь пользователь с помощью интерфейса, состоит их набора методов (Methods) которые в свою очередь построены из операторов (Operators). Если цель может быть достигнута несколькими способами, то выбор осуществляться по правилам выбора (Selection Rules).

Простым примером может служить выбор пользователем пиктограммы на рабочем столе в графическом интерфейсе ОС Windows:

Операторы:

М – передвинуть указатель мыши в нужную точку (1.1сек);

П – перенос руки между мышью на клавиатурой (0.4сек);

К – нажать клавишу на клавиатуре (0.28сек);

Л – щелчок левой кнопкой мыши (0.1сек);

А – анализ дальнейших действий (1.2сек);

Задача: Выбрать пиктограмму.

Метод: Выбор с помощью мыши.

 

         К: нажать Win-D для перехода на рабочий стол;

 

         А: поиск  пиктограммы находится на рабочем  столе;

 

         П: перенести руку на мышь;

 

         М: переместить  курсор в нужную точку;

 

         Л: выбор  пиктограммы.

Формально метод GOMS может быть описан следующим способом:

 – множество операторов

 – оператор есть некое действие пользователя   и среднее время  , затрачиваемое пользователем на это действие

 – множество целей (задач) которые пользователь выполняет с помощью имеющегося интерфейса

, где:

 – множество методов достижения цели 

 – множество критериев выбора метода достижения цели 

 – метод есть упорядоченный набор операторов, применяя которые достигается цель 

Применение метода заключается в определении множества   (оно, как правило, определяется устройством взаимодействующих с пользователем аппаратных средств и функциями операционной системы), выявлении множества   и построении всевозможных последовательностей действий   приводящих к цели и определении критериев выбора  между ними. Затем для каждой последовательности производится расчет времени   которое будет затрачено на достижении цели, его минимум и является главным критерием выбора того или иного варианта пользовательского интерфейса.

Данный метод, как и любой другой, имеет свои преимущества и недостатки.

Преимущества метода:

·       простота и удобство расчетов;

·       отсутствие параметров в модели позволяет проводить оценочные сравнение двух разных вариантов интерфейса;

·       дает прогноз времени работы пользователя с данным вариантом интерфейса;

·       модель не требует создания рабочего прототипа;

·       анализ по этой модели может быть автоматизирован.

Наиболее заметными являются следующие ограничения:

·       метод ориентирован на средних пользователей, и не учитывает особенностей работы новичков и специалистов, а также индивидуальных различий пользователей;

·       метод не учитывает возникновение случайных ошибок в работе;

·       модель не учитывает, что в процессе работы происходит научение, а при простое – забывание;

·       модель не учитывает насколько представляемая интерфейсом информация сложна для понимания пользователем;

·       модель не учитывает насколько интерфейс отвечает требованиям пользователей и их ожиданиям.

5. Экспертная оценка.

В области проектирование и разработки интерфейсов наработано большое количество эвристических  правил, рекомендаций и методик, следуя которым можно создать качественный (хотя и относительно типовой) интерфейс.

Метод экспертной оценки качества интерфейса заключается в исследовании, насколько анализируемый интерфейс соответствует известным правилам, рекомендациям и методикам. В ходе такой оценки выявляются несоответствия и противоречия, которые и должны быть устранены.

Перед проведением оценки эксперт составляет список правил в порядке их важности, которые должны быть соблюдены. В этот список входят как рекомендации поставщика ОС и инструментальных средств, так и наработанные в данной предметной области типовые решения. При оценке проверяют насколько тот или иной интерфейс соответствует списку требований.

Данный метод во многом полагается на опыт, компетентность и профессионализм проводящих анализ специалистов.

Экспертная методика оценки определена и в [ГОСТ 28195-89] и [ГОСТ Р ИСО/МЭК 9126-93]. Так, эти стандарты определяют показатели качества ПО и методики их оценки, данные показатели позволяют оценить качество ПО в целом, и в том числе удобство использования.

Так, [ГОСТ Р ИСО/МЭК 9126-93] вводит понятие практичности ПО – Набор атрибутов, относящихся к объему работ, требуемых для использования и индивидуальной оценки такого использования определенным или предполагаемым кругом пользователей.

А так же следующие характеристики практичности:

·       понятность (усилия пользователя по пониманию общей логической концепции ПО и ее применимости);