Методы и стандарты тестирования программного обеспечения

6.4.5.3.2.2 Комплексированная система должна быть оценена с учетом следующих критериев:

a) тестовое покрытие  системных требований;

b) применимость методов  тестирования и используемых  стандартов;

c) соответствие ожидаемым  результатам;

d) осуществимость квалификационного  тестирования системы;

e) осуществимость функционирования  и сопровождения. Результаты оценки  должны быть документированы.

6.4.6 Процесс квалификационного  тестирования системы

Примечание - Процесс квалификационного  тестирования системы в настоящем  стандарте дополняет выходы процесса верификации в [18]. Пользователи могут  рассматривать требуемое соответствие по отношению к процессу в [18] в  большей степени, чем к процессу в настоящем стандарте.

6.4.6.1 Цель процесса квалификационного тестирования системы заключается в подтверждении того, что реализация каждого системного требования тестируется на соответствие и система готова к поставке. 
 6.4.6.2 Выходы. В результате успешного осуществления процесса квалификационного тестирования системы:

a) разрабатываются критерии  для оценки соответствия системным требованиям;

b) комплексированная система тестируется, используя определенные критерии;

c) документируются результаты тестирования;

d) гарантируется готовность  системы для поставки.

6.4.6.3 Виды деятельности  и задачи 

При реализации проекта  необходимо осуществлять следующие  виды деятельности и задачи в соответствии с принятыми в организации  политиками и процедурами в отношении  процесса квалификационного тестирования системы.

6.4.6.3.1 Квалификационное тестирование

Данный вид деятельности состоит из решения следующих задач:

6.4.6.3.1.1 Квалификационное  тестирование системы должно  проводиться в соответствии с  квалификационными требованиями, установленными  для системы. Должны обеспечиваться  гарантии проверки выполнения  каждого системного требования  и готовности системы к поставке. Результаты квалификационного тестирования должны быть документированы

Примечание - В квалификационные требования для системы следует включать критерии оценки соответствия системным требованиям.

Примечание - Процесс  квалификационного тестирования системы  может использоваться в процессе верификации программных средств (см. 7.2.4) или в процессе валидации программных средств (см. 7.2.5).

6.4.8.3.1.1 Разработчик должен  поддерживать ревизии и тестирование  программного продукта, проводимые  приобретающей стороной в процессе  приемки. Ревизии и тестирование  должны учитывать результаты  процессов ревизии программных  средств (см. 7.2.6), аудита программных  средств (см. 7.2.7), квалификационного  тестирования программных средств  и квалификационного тестирования  системы (если оно проводилось). Результаты ревизий и тестирования  должны быть документированы.

Примечание - Эта задача включает в себя документирование и  передачу проблем, обнаруженных в течение  приемочного тестирования, ответственным за их решение.

7.1.4 Процесс детального проектирования  программных средств

7.1.4.3.1.5 Исполнитель должен  определять и документировать  требования к тестированию и  графики работ по тестированию  программных блоков. Необходимо, чтобы требования к тестированию включали в себя проведение проверок программных блоков при граничных значениях параметров, установленных в требованиях.

7.1.4.3.1.6 Исполнитель должен  обновлять требования к тестированию  и графики работ по комплексированию программных средств.

7.1.5.3.1.4 Исполнитель  должен совершенствовать требования  к тестированию и графики работ  по комплексированию программных  средств. 
 7.1.6.3.1.4 Исполнитель должен разработать и документально оформить для каждого квалификационного требования к программной составной части комплект тестов, тестовых примеров (входов, результатов, критериев тестирования) и процедур тестирования для проведения квалификационного тестирования программных средств. Разработчик должен гарантировать, что после комплексирования программная составная часть будет готова к квалификационному

7.1.7.3.1.1 Исполнитель должен  проводить квалификационное тестирование  в соответствии с квалификационными  требованиями к программному  элементу. Должна обеспечиваться  гарантия того, что реализация  каждого требования к программным  средствам тестируется на соответствие. Результаты квалификационного тестирования  должны быть документально оформлены. 
 7.1.7.3.1.3 Исполнитель должен оценивать проект, код, тесты, результаты тестирования и пользовательскую документацию, учитывая следующие критерии:

a) тестовое покрытие  требований к программной составной части;

b) соответствие с ожидаемыми результатами;

c) осуществимость системного  комплексирования и тестирования, если они проводятся;

d) осуществимость  функционирования и сопровождения. 
     Результаты оценки должны быть документально оформлены

7.2.4.3.2.3 Верификация кода

Код должен быть верифицирован  с учетом следующих критериев:

a) код является следствием  проекта и требований тестируемости,  правильности и соответствует  установленным требованиям и  стандартам, относящимся к кодированию;

b) код осуществляет  надлежащую последовательность  событий, согласованные интерфейсы, корректные данные и поток  команд управления, завершений, адекватного  распределения времени и размеров  финансирования, а также определение  ошибок, локализацию и восстановление;

c) выбранный код может  следовать из проекта или требований;

d) код корректно реализует  требования по безопасности, защищенности  и другим критическим свойствам,  как показано соответствующими строгими методами.

7.2.5.3.2.1 Готовить выбранные  требования к тестированию, тестовые  примеры и спецификации для  анализа результатов тестирования.

7.2.5.3.2.2 Гарантировать,  что требования к тестированию, тестовые примеры и спецификации  отражают частные требования  для конкретного применения.

7.2.5.3.2.3 Провести проверки  выполнения 7.2.5.3.2.1 и 7.2.5.3.2.2, включая:

a) тестирование в условиях  повышенной нагрузки, граничных  значений параметров и необычных входов;

b) тестирование программного  продукта на его способность  изолировать и минимизировать  влияние ошибок; то есть осуществлять  плавную деградация после отказов,  обращение к оператору за помощью  в условиях повышенной нагрузки, граничных значений параметров и необычных входов;

c) тестирование того, что  основные пользователи могут  успешно решать намеченные задачи, используя данный программный продукт.

7.2.5.3.2.4 Подтвердить, что  программный продукт удовлетворяет своему назначению.

7.2.5.3.2.5 Провести  тестирование программного продукта  в выбранных областях заданной  среды применения по назначению.

 

ЗАКЛЮЧЕНИЕ

Существующие на сегодняшний  день методы тестирования ПО не позволяют  однозначно и полностью выявить  все дефекты и установить корректность функционирования анализируемой программы, поэтому все существующие методы тестирования действуют в рамках формального процесса проверки исследуемого или разрабатываемого ПО.

Такой процесс формальной проверки, или верификации, может доказать, что дефекты отсутствуют с точки зрения используемого метода. (То есть нет никакой возможности точно установить или гарантировать отсутствие дефектов в программном продукте с учётом человеческого фактора, присутствующего на всех этапах жизненного цикла ПО).

 

СПИСОК ЛИТЕРАТУРЫ

1. Определение термина «Тестирование программного обеспечения» [Электронный ресурс] URL: http://ru.wikipedia.org/wiki/%D2%E5%F1%F2%E8%F0%EE%E2%E0%ED%E8%E5_%EF%F0%EE%E3%F0%E0%EC%EC%ED%EE%E3%EE_%EE%E1%E5%F1%EF%E5%F7%E5%ED%E8%FF
2. ГОСТ Р ИСО/МЭК 12119-2000 «ИТ. Пакеты программ. Требования к качеству и тестированию».
3. Тестирование черного и белого ящика [Электронный ресурс] URL: http://blog.beitnelly4u.com/testing-qa/white-box-black-box-testing-qa.html
4. Гленфорд Майерс, Том Баджетт, Кори Сандлер Искусство тестирования программ, 3-е издание = The Art of Software Testing, 3rd Edition.-М.: «Диалектика», 2012.- 272 с.-ISBN 978-5-8459-1796-6
5. Лайза Криспин, Джанет Грегори Гибкое тестирование: практическое руководство для тестировщиков ПО и гибких команд Agile Testing: A Practical Guide for Testers and Agile Teams.М.: «Вильямс», 2010.- 464 с.- (Addison-Wesley Signature Series). - 1000 экз. - ISBN 978-5-8459-1625-9
6. Канер Кем, Фолк Джек, Нгуен Енг Кек Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений. Киев: ДиаСофт, 2001.- 544 с.— ISBN 9667393879
7. Калбертсон Роберт, Браун Крис, Кобб Гэри Быстрое тестирование. - М.: «Вильямс», 2002. 374 с. ISBN 5-8459-0336-X
8. Синицын С. В., Налютин Н. Ю. Верификация программного обеспечения. - М.: БИНОМ, 2008. – 368 с. - ISBN 978-5-94774-825-3
9. Бейзер Б.Тестирование чёрного ящика. Технологии функционального тестирования программного обеспечения и систем. - СПб.: Питер, 2004. – 320 с. - ISBN 5-94723-698-2
10. Степанченко И.В. Методы тестирования программного обеспечения: Учеб. пособие / Степанченко И.В. - ВолгГТУ, Волгоград, 2006. - 76 с.
11. Фолк Д. Тестирование программного обеспечения Д. Фолк, Е. К. Нгуен, С. Канер; - Диасофт, 2003 , 400 с. ISBN 966-7393-87-9.
12. Международный стандарт ICO/IEC 12207. [Электронный ресурс]. – URL:  http://do.gendocs.ru/docs/index-161242.html