Методы испытаний программ на надежность

1. Основные понятия теории надежности

Надежность - это свойство объекта выполнять заданные функции, сохраняя во времени значения установленных  эксплуатационных показателей в  заданных пределах, соответствующих  заданным режимам и условиям использования, технического обслуживания, ремонта, хранения и транспортирования, т.о., надежность является внутренним свойством системы, заложенным при ее изготовлении и проявляющимся при эксплуатации. Это свойство проявляется только во времени и без более или менее длительного наблюдения нельзя сделать заключения о надежности системы.

Характеристики надежности зависят от условий эксплуатации, поэтому при определении их значений необходимо учитывать ее особенности. Свойства надежности изделия изучаются  теорией надежности.

Теория надежности - это  система определенных идей, математических моделей и методов, направленных на решение проблем предсказания, оценки и оптимизации различных  показателей надежности. Для количественной оценки надежности применяется ряд  показателей, выбор которых зависит  от конкретного типа и области  применения системы. В основе этих характеристик  лежат понятия о двух возможных  состояниях объекта или системы: работоспособном и неработоспособном.

1. Методы испытаний программ на надежность

В теории надежности разработан ряд методов позволяющих определить характеристики надежности сложных  систем. Эти методы можно свести к трем основным группам:

- прямые экспериментальные методы определения показателей надежности систем в условиях нормального функционирования

- форсированные методы испытаний реальных систем на надежность

- расчетно-экспериментальные методы при использовании которых ряд исходных данных для компонент получается экспериментально а окончательные показатели надежности систем надежности рассчитываются с использованием этих данных.

Прямые экспериментальные  методы определения интегральных показателей безопасности программ и баз данных в нормальных условиях функционирования в ряде случаев весьма трудно использовать при испытаниях на безопасность из-за больших значений времени наработки на отказ (десятки и сотни тысяч часов). Сложность выявления и регистрации редких отказов, а также высокая стоимость экспериментов при длительном функционировании сложных ИС приводят к тому, что на испытаниях получаются малые выборки зарегистрированных отказов. Кроме того, при таких экспериментах трудно гарантировать полную представительность выборки исходных данных, так как проверки определяются конкретными условиями использования данной ИС на испытаниях.

Для выявления тенденции  изменения показателей надежности и безопасности их значения обрабатываются статистическими методами. Изменения  этих показателей необходимо связывать  во времени с моментами корректировки  программ и данных. Анализируя корреляцию между значениями надежности и процессом  изменения программ, можно выявить  действия, которые содержат ошибки и ухудшают надежность. Получающиеся при этом показатели позволяют прогнозировать число ошибок, подлежащих исправлению  для достижения заданных значений надежности и безопасности в зависимости  от длительности тестирования. При  высокой надежности ИС на стадии завершающих  испытаний может быть полезным использование  данных об отказах программ при отладке, что позволяет повысить достоверность  моделей прогнозирования проявления ошибок и оценки показателей надежности. Математические модели оценки наработки  на отказ по совокупности значений моментов выявления отказов позволяют  определить параметры модели для  данной ИС и условий ее отладки  и испытаний. В результате может  быть оценена наработка до следующего выявления ошибки или отказа. Таким  образом, при испытаниях появляется возможность использовать опорное  значение наработки на отказ, базирующееся на всех результатах выявления ошибок при комплексной отладке. Последующее  обнаружение ошибок в ходе испытаний  способствует уточнению параметров модели, которая используется для  прогнозирования и планирования испытаний на надежность и безопасность.

При заключительных испытаниях для достаточно достоверного определения  надежности и безопасности ИС организуются многочасовые и многосуточные прогоны  функционирования ИС в реальной или  имитированной внешней среде  в условиях широкого варьирования исходных данных с акцентом на стрессовые ситуации, стимулирующие угрозы безопасности. Такие прогоны позволяют измерить и зафиксировать достигнутые  показатели надежности и безопасности и степень их соответствия требования технического задания, а также закрепить  их в технических условиях на ИС.

Форсированные методы испытаний  на надежность программ отличаются от традиционных методов испытаний аппаратуры. Основными факторами, влияющими на надежность комплексов программ, являются исходные данные и их взаимодействие с ошибками программ или сбоями в аппаратуре ВС. Поэтому форсирование испытаний выполняется повышением интенсивности искажений в сообщениях и увеличением загрузки комплекса программ.

Планирование форсированных  испытаний предусматривает последующий  пересчет полученных показателей надежности на условия нормального функционирования. Для этого необходимо изучить  зависимости надежности испытываемых программ от интенсивности искажений  и от характеристик перегрузки, способы  корректного пересчета получаемых показателей на нормальные условия  эксплуатации.

Особым видом форсированных  испытаний являются специальные  проверки средств контроля и восстановления программ, данных и вычислительного  процесса. При этом должны имитироваться  запланированные экстремальные  условия функционирования комплекса  программ, при которых стимулируется  срабатывание испытываемого средства программного контроля или восстановления. При таких испытаниях основная задача состоит в проверке реализации и  качества логики функционирования средств  повышения надежности.

Форсированные методы испытаний  программ иногда применяются заказчиком без предварительного согласования с разработчиком условий таких  испытаний и методики пересчета  получаемых показателей на нормальный режим функционирования. В результате показатели надежности оказываются  ниже заданных техническим заданием. Поэтому выбранные заказчиком форсированные  условия функционирования должны быть включены в состав требований технического задания по дополнительному соглашению. В любом случае при использовании  форсированных методов испытаний  заказчиком недопустимо произвольное варьирование исходных данных за пределами  требований согласованного задания.

Расчетно-экспериментальные  методы определения надежности сложной аппаратуры базируются на экспериментальном определении показателей надежности компонент (деталей, микросхем и т. д.) и аналитическом расчете надежности систем, построенных из таких компонент. При анализе надежности программ применение расчетно-экспериментальных методов ограничено. Это обусловлено неоднородностью характеристик надежности основных компонент: программных модулей, групп программ, массивов данных и т. д. Однако в некоторых случаях расчетным путем можно оценить некоторые характеристики надежности комплексов программ.

Если экспериментально определены характеристики искажения массива  данных при функционировании комплекса  программ, то аналитически можно рассчитать надежность хранения данных при типовых  схемах их дублированного хранения и  оперативного восстановления при искажениях. Аналитически на основе экспериментальных  исходных данных можно оценить изменение  наработки на отказ при введении методов оперативного контроля и  восстановления. Сочетание экспериментальных  и аналитических методов применяется  для определения пропускной способности  комплекса программ наконкретной ВС и влияния перегрузки на надежность его функционирования.

Следует выделить использование  расчетно-экспериментального метода испытаний  на надежность при длительном хранении программ на магнитных носителях. Ряд  комплексов программ может эксплуатироваться  в течение 10-20 лет. Экспериментально установить надежность хранения программ на таком интервале невозможно. Консервируемые комплексы программ имеют эталонную  версию магнитных носителей (диски, ленты), которая с высокой вероятностью должна сохраняться в течение этого времени. Для этого готовится несколько копий эталонной версии комплекса программ, которые периодически контролируются, сопоставляются и восстанавливаются. Экспериментально определяется вероятность разрушения программ на одной копии в течение небольшого времени (недели, месяца) между последовательными фазами контроля. По этим данным рассчитывается число необходимых копий и период их контроля и восстановления, гарантирующие заданную вероятность сохранения программ в течение установленного времени "жизни" комплекса.

При проверке аппаратуры применяются  определительные и контрольные  испытания. Эти же виды испытаний  могут использоваться при определении  характеристик надежности программ. Определительным испытаниям подвергается опытный образец комплекса программ, для которого перечисленными методами оцениваются основные показатели надежности. В большинстве случаев при  этом получают усредненные показатели (среднюю наработку на отказ, среднее  время восстановления, коэффициенты готовности и др.). Эти испытания  проводятся на ограниченном интервале  времени либо до получения заданного  числа отказов с полным восстановлением  после каждого отказа. В отдельных  случаях возможно определение доверительных  интервалов для некоторых показателей  надежности. Значения доверительных  интервалов более полно характеризуют  надежность программ и позволяют  корректнее сравнивать надежность разных программ или одного и того же комплекса  программ на разных этапах разработки. Основным препятствием для получения  таких показателей является малый  объем экспериментальных данных.

2. Методы обеспечения надежности комплексов программ при эксплуатации исопровождении 

После завершения испытаний  и сдачи комплекса программ заказчику  он может тиражироваться и эксплуатироваться 10-20 лет. В этой части жизненного цикла программ расширяются условия  их использования и характеристики исходных данных, вследствие чего могут  потребоваться изменения в программах. Кроме того, возможны искажения программ в процессе их хранения и регулярной эксплуатации. Эти факторы способны значительно изменять достигнутые  показатели надежности. Достаточно одной, не тщательно проверенной корректировки  в программе, для того чтобы снизить  характеристики t наработки на отказ  всего комплекса на один - два  порядка.

Для сохранения и улучшения  показателей надежности комплексов программ в процессе длительного  сопровождения необходимо четко  регламентировать передачу комплексов программ пользователям или ввод их в состав систем управления. Целесообразно  накапливать необходимые изменения  в программах и вводить их группами, формируя очередную версию комплекса  программ с измененными характеристиками. Версии комплекса программ можно разделить на эталонные и пользовательские (или конкретного объекта управления).

Эталонные версии развиваются, дорабатываются и модернизируются основными разработчиками комплекса программ или специалистами, выделенными для их сопровождения. Они снабжаются откорректированной технической документацией, полностью соответствующей программам, и точным перечнем всех изменений, введенных в данную версию по сравнению с предыдущей. После оформления очередной эталонной версии она подвергается испытаниям, особенно тщательным в той части программ, которая подверглась изменениям. Однако необходимы также общие проверки работоспособности и сохранности всех программ комплекса, так как некоторые некорректные изменения могут иметь отдаленные трудно предсказуемые последствия, нарушающие работоспособность некорректировавшихся программ.

Пользовательские  версии или версии конкретной системы управления формируются из эталонных по инструкциям и правилам, содержащимся в эксплуатационной документации. Допустимые изменения ограничены и локализуются в выделенных компонентах комплекса. Для корректности выполнения изменений они снабжаются методиками проверки и правилами подготовки контролирующих тестов. Относительная легкость изменения отдельных программ и комплектации версий комплекса способствует появлению у пользователей (особенно малоквалифицированных) стремления к самостоятельному "улучшению" комплекса программ за пределами, разрешенными инструкциями для пользовательских версий. Такие изменения должны быть организационно заблокированы правилами внедрения комплексов программ и технически ограничены передачей эксплуатационной документации, минимально необходимой для правильной подготовки пользовательской версии и работы с ней. Целесообразно ограничивать доступ широких пользователей к технологической документации, содержащей подробные сведения о содержании и логике функционирования программ. Такие меры в некоторой степени предотвращают возможность резкого ухудшения показателей надежности и других характеристик комплекса программ из-за неквалифицированного вмешательства пользователей.

Для корректного изменения  программ специалистами, ответственными за сопровождение, необходима технологическая  документация, более полная, чем  эксплуатационная. В технологической  документации раскрываются все детали содержания программ и данных, позволяющие  новому квалифицированному специалисту  полностью понять функционирование программ и корректно их модифицировать. Для каждой очередной эталонной  версии регистрируются и документально  оформляются все изменения, которые  позволяют сформировать комплект технологической  документации, полностью адекватный данной эталонной версии. Таким образом, могут сопровождаться 2-4 эталонные  версии с разной номенклатурой изменений. Более старые версии целесообразно снимать с эксплуатации и сопровождения.

Большие затраты, необходимые  для достижения и проверки высоких  значений показателей надежности в  сложных комплексах программ, сочетаются с относительной легкостью резкого  ухудшения этих показателей при  корректировках программ. Отсюда возникает  необходимость особенно тщательной проверки влияния на надежность каждого  изменения эксплуатируемых программ. Локальные проверки и форсированные  испытания на надежность, направленные на контроль конкретных изменений, обычно более экономичны, чем полные повторные  испытания всего комплекса программ. Однако некоторые эталонные версии в процессе сопровождения необходимо периодически подвергать полным контрольным  испытаниям для корректного подтверждения  достигнутых показателей надежности.