Лекция по "Архитектуре ЭВМ"

Следует отметить, что как  и любой другой тест, ни один тест TPC не может измерить производительность системы, которая применима для  всех возможных сред обработки транзакций, но эти тесты действительно могут  помочь пользователю справедливо сравнивать похожие системы. Однако, когда пользователь делает покупку или планирует решение о покупке, он должен понимать, что никакой тест не может заменить его конкретную прикладную задачу.

Тест TPC-A

Выпущенный в ноябре 1989 года, тест TCP-A предназначался для оценки производительности систем, работающих в среде интенсивно обновляемых  баз данных, типичной для приложений интерактивной обработки данных (OLDP - on-line data processing). Такая среда характеризуется:

• множеством терминальных сессий в режиме on-line
• значительным объемом ввода/вывода при работе с дисками
• умеренным временем работы системы и приложений
• целостностью транзакций.

Практически при выполнении теста эмулируется типичная вычислительная среда банка, включающая сервер базы данных, терминалы и линии связи. Этот тест использует одиночные, простые транзакции, интенсивно обновляющие базу данных. Одиночная транзакция (подобная обычной операции обновления счета клиента) обеспечивает простую, повторяемую единицу работы, которая проверяет ключевые компоненты системы OLTP.

Тест TPC-A определяет пропускную способность системы, измеряемую количеством  транзакций в секунду (tps A), которые система может выполнить при работе с множеством терминалов. Хотя спецификация TPC-A не определяет точное количество терминалов, компании-поставщики систем должны увеличивать или уменьшать их количество в соответствии с нормой пропускной способности. Тест TPC-A может выполняться в локальных или региональных вычислительных сетях. В этом случае его результаты определяют либо "локальную" пропускную способность(TPC-A-local Throughput), либо "региональную" пропускную способность (TPC-A wide Throughput). Очевидно, эти два тестовых показателя нельзя непосредственно сравнивать. Спецификация теста TPC-A требует, чтобы все компании полностью раскрывали детали работы своего теста, свою конфигурацию системы и ее стоимость (с учетом пятилетнего срока обслуживания). Это позволяет определить нормализованную стоимость системы ($/tpsA).

Тест TPC-B

В августе 1990 года TPC одобрил TPC-B, интенсивный тест базы данных, характеризующийся  следующими элементами:

• значительный объем дискового ввода/вывода
• умеренное время работы системы и приложений
• целостность транзакций.

TPC-B измеряет пропускную  способность системы в транзакциях  в секунду (tpsB). Поскольку имеются существенные различия между двумя тестами TPC-A и TPC-B (в частности, в TPC-B не выполняется эмуляция терминалов и линий связи), их нельзя прямо сравнивать. На рисунке 3.2 показаны взаимоотношения между TPC-A и TPC-B.

Тест TPC-C

Тестовый пакет TPC-C моделирует прикладную задачу обработки заказов. Он моделирует достаточно сложную систему OLTP, которая должна управлять приемом  заказов, управлением учетом товаров  и распространением товаров и  услуг. Тест TPC-C осуществляет тестирование всех основных компонентов системы: терминалов, линий связи, ЦП, дискового в/в и базы данных.

TPC-C требует, чтобы выполнялись  пять типов транзакций:

• новый заказ, вводимый с помощью сложной экранной формы
• простое обновление базы данных, связанное с платежом
• простое обновление базы данных, связанное с поставкой
• справка о состоянии заказов
• справка по учету товаров

Среди этих пяти типов транзакций по крайней мере 43%должны составлять платежи. Транзакции, связанные со справками о состоянии заказов, состоянии поставки и учета, должны составлять по 4%. Затем измеряется скорость транзакций по новым заказам, обрабатываемых совместно со смесью других транзакций, выполняющихся в фоновом режиме.

База данных TPC-C основана на модели оптового поставщика с удаленными районами и товарными складами. База данных содержит девять таблиц: товарные склады, район, покупатель, заказ, порядок  заказов, новый заказ, статья счета, складские запасы и история.

Обычно публикуются два  результата. Один из них, tpm-C, представляет пиковую скорость выполнения транзакций (выражается в количестве транзакций в минуту). Второй результат, $/tpm-C, представляет собой нормализованную стоимость системы. Стоимость системы включает все аппаратные средства и программное обеспечение, используемые в тесте, плюс стоимость обслуживания в течение пяти лет.

Тесты AIM

Одной из независимых организаций, осуществляющей оценку производительности вычислительных систем, является частная  компания AIM Technology, которая была основана в 1981 году. Компания разрабатывает и поставляет программное обеспечение для измерения производительности систем, а также оказывает услуги по тестированию систем конечным пользователям и поставщикам вычислительных систем и сетей, которые используют промышленные стандартные операционные системы, такие как UNIX и OS/2.

За время своего существования  компания разработала специальное  программное обеспечение, позволяющее  легко создавать различные рабочие  нагрузки, соответствующие уровню тестируемой  системы и требованиям по ее использованию. Это программное обеспечение  состоит из двух основных частей: генератора тестовых пакетов (Benchmark Generator) и нагрузочных смесей (Load Mixes) прикладных задач.

Генератор тестовых пакетов  представляет собой программную  систему, которая обеспечивает одновременное  выполнение множества программ. Он содержит большое число отдельных  тестов, которые потребляют определенные ресурсы системы, и тем самым  акцентируют внимание на определенных компонентах, из которых складывается ее общая производительность. При  каждом запуске генератора могут  выполняться любые отдельные  или все доступные тесты в  любом порядке и при любом  количестве проходов, позволяя тем  самым создавать для системы  практически любую необходимую  рабочую нагрузку. Все это дает возможность тестовому пакету моделировать любой тип смеси при постоянной смене акцентов (для лучшего представления  реальной окружающей обстановки) и  при обеспечении высокой степени  конфигурирования.

Каждая нагрузочная смесь  представляют собой формулу, которая  определяет компоненты требуемой нагрузки. Эта формула задается в терминах количества различных доступных  тестов, которые должны выполняться  одновременно для моделирования  рабочей нагрузки.

Используя эти две части  программного обеспечения AIM, можно  действительно создать для тестируемой  системы любую рабочую нагрузку, определяя компоненты нагрузки в  терминах тестов, которые должны выполняться  генератором тестовых пакетов. Если некоторые требуемые тесты отсутствуют  в составе генератора тестовых пакетов, то они могут быть легко туда добавлены.

Генератор тестовых пакетов  во время своей работы "масштабирует" или увеличивает нагрузку на систему. Первоначально он выполняет и  хронометрирует одну копию нагрузочной  смеси. Затем одновременно выполняет  и хронометрирует три копии нагрузочной  смеси и т.д. По мере увеличения нагрузки, на основе оценки производительности системы, выбираются различные уровни увеличения нагрузки. В конце концов может быть нарисована кривая пропускной способности, показывающая возможности системы по обработке нагрузочной смеси в зависимости от числа моделируемых нагрузок. Это позволяет с достаточной достоверностью дать заключение о возможностях работы системы при данной нагрузке или при изменении нагрузки.

Очевидно, что сам по себе процесс моделирования рабочей  нагрузки мало что дал бы для сравнения  различных машин между собой  при отсутствии у AIM набора хорошо подобранных  смесей, которые представляют собой  ряд важных для пользователя прикладных задач.

Все смеси AIM могут быть разделены  на две категории: стандартные и  заказные. Заказные смеси создаются  для точного моделирования особенностей среды конечного пользователя или  поставщика оборудования. Заказная смесь  может быть тесно связана с  определенными тестами, добавляемыми к генератору тестовых пакетов. В  качестве альтернативы заказная смесь  может быть связана с очень  специфическим приложением, которое  создает для системы необычную  нагрузку. В общем случае заказные смеси разрабатываются на основе одной из стандартных смесей AIM путем  ее "подгонки" для более точного  представления определенной ситуации. Обычно заказные смеси разрабатываются  заказчиком совместно с AIM Technology, что позволяет использовать многолетний опыт AIM по созданию и моделированию нагрузочных смесей.

К настоящему времени AIM создала  восемь стандартных смесей, которые  представляют собой обычную среду  прикладных задач. В состав этих стандартных  смесей входят:

1. Универсальная смесь для рабочих станций (General Workstation Mix) - моделирует работу рабочей станции в среде разработки программного обеспечения.
2. Смесь для механического САПР (Mechanical CAD Mix) моделирует рабочую станцию, используемую для трехмерного моделирования и среды системы автоматизации проектирования в механике.
3. Смесь для геоинформационных систем (GIS Mix) - моделирует рабочую станцию, используемую для обработки изображений и в приложениях геоинформацинных систем.
4. Смесь универсальных деловых приложений (General Business) - моделирует рабочую станцию, используемую для выполнения таких стандартных инструментальных средств, как электронная почта, электронные таблицы, база данных, текстовый процессор и т.д.
5. Многопользовательская смесь (Shared/Multiuser Mix) моделирует многопользовательскую систему, обеспечивающую обслуживание приложений для множества работающих в ней пользователей.
6. Смесь для вычислительного (счетного) сервера (ComputeServer Mix) - моделирует систему, используемую для выполнения заданий с большим объемом вычислений, таких как маршрутизация PCB, гидростатическое моделирование, вычислительная химия, взламывание кодов и т.д.
7. Смесь для файл-сервера (File Server Mix) - моделирует запросы, поступающие в систему, используемую в качестве централизованного файлового сервера, включая ввод/вывод и вычислительные мощности для других услуг по запросу.
8. Смесь СУБД (RBMS Mix) - моделирует систему, выполняющую ответственные приложения управления базой данных.

Одним из видов деятельность AIM Technology является выпуск сертифицированных отчетов по результатам тестирования различных систем. В качестве примера рассмотрим форму отчета AIM Performance Report II - независимое сертифицированное заключение о производительности системы.

Ключевыми частями этого  отчета являются:

• стоимость системы,
• детали конфигурации системы,
• результаты измерения производительности, показанные на трех тестовых пакетах AIM.

Используются следующие  три тестовых пакета:

• многопользовательский тестовый пакет AIM (набор III),
• тестовый пакет утилит AIM (Milestone),
• тестовый пакет для оценки различных подсистем (набор II).

В частности, набор III, разработанный  компанией AIM Technology, используется в различных формах уже более 10 лет. Он представляет собой пакет тестов для системы UNIX, который пытается оценить все аспекты производительности системы, включая все основные аппаратные средства, используемые в многопрограммной среде. Этот тестовый пакет моделирует многопользовательскую работу в среде разделения времени путем генерации возрастающих уровней нагрузки на ЦП, подсистему ввода/вывода, переключение контекста и измеряет производительность системы при работе с множеством процессов.

Для оценки и сравнения  систем в AIM Performance Report II используются следующие критерии:

• Пиковая производительность (рейтинг производительности по AIM)
• Максимальная пользовательская нагрузка
• Индекс производительности утилит
• Пропускная способность системы

Рейтинг производительности по AIM - стандартная единица измерения  пиковой производительности, установленная AIM Technology. Этот рейтинг определяет наивысший уровень производительности системы, который достигается при оптимальном использовании ЦП, операций с плавающей точкой и кэширования диска. Рейтинг вездесущей машины VAX 11/780 обычно составляет 1 AIM. В отчетах AIM представлен широкий ряд UNIX-систем, которые можно сравнивать по этому параметру.

Максимальная пользовательская нагрузка - определяет "емкость" (capacity) системы, т.е. такую точку, начиная с которой производительность системы падает ниже приемлемого уровня для N-го пользователя (меньше чем одно задание в минуту на одного пользователя).