Методы обеспечения надежности программных средств.

В современных автоматизированных технологиях создания и развития сложных ПС с позиции обеспечения их необходимой и заданной на­дежности можно выделить методы и средства позволяющие:

- создавать программные модули и функциональные компоненты высокого, гарантированного качества (см.гл.2);

- предотвращать дефекты проектирования за счет эффективных технологий и средств автоматизации обеспечения всего жизненного цикла комплексов программ и баз данных

- обнаруживать и устранять различные дефекты и ошибки проектирования, разработки и сопровождения программ путем систематического тестирования на всех этапах жизненного цикла ПС (см.п.3.2);

- удостоверять достигнутые качество и надежность функционирования ПС в процессе их испытаний и сертификации перед передачей в регулярную эксплуатацию;

- оперативно выявлять последствия дефектов программ и данных и восстанавливать нормальное, надежное функционирование комплексов программ.

Тестирование - основной метод измерения качества, определения корректности и реальной надежности функционирования программ на любых этапах разработки Результаты тестирования и измерения показателей качества должны сравниваться с требованиями технического задания или спецификаций для определения степени соответствия предъявлявшимся требованиям, полученным разработчиком от заказчика. Такие достаточно полные эталоны, как совокупность требований технического задания и поэтапная их декомпозиция в спецификациях, необходимы для тестирования при промежуточных и завершающих испытаниях.

Важная особенность тестирования сложных ПС - необходимость достаточно полной их проверки при ограниченной длительности испытаний. Это определяет целесообразность тщательного планирования тестирования с учетом всех результатов, полученных на предыдущих этапах разработки. При планировании основная задача состоит в достижении максимальной достоверности испытаний, определения качества и надежности ПС при ограниченных затратах ресурсов на проведение тестирования.

Основными особенностями процесса тестирования программ являются:

- отсутствие полностью определенного достоверного эталона программы, которому должны точно соответствовать все результаты тестирования проверяемой программы;

- высокая сложность комплексов программ и принципиальная невозможность построения полных комплектов тестовых наборов, достаточных для их исчерпывающей проверки, в том числе, на надежность функционирования;

- относительно невысокая степень формализации критериев качества процесса тестирования и достигаемых при этом корректности и надежности функционирования объектов испытаний.

Тестирование сопровождает весь жизненный цикл ПС и на его основе формируются, уточняются и детализируются технические требования, спецификации и проект в целом. На начальных этапах проекта процессы разработки и тестирования часто практически смыкаются, однако целесообразно, по возможности, их разделять методически, инструментально и по исполняющим специалистам. Для сложных ПС систематическому тестированию их программ приходится уделять зачастую столько же времени и сил, сколько их непосредственной разработке. Недооценка необходимости планомерного тестирования в процессе разработки проекта приводит к резкому возрастанию затрат на выявление и исправление ошибок в процессе эксплуатации, а также к снижению надежности использования таких ПС. Систематическое, скоординированное тестирование реализации функций ПС во всем доступном разнообразии возможных ситуаций и условий внешней среды способствует обнаружению внутренних дефектов, угрожающих катастрофическими последствиями для надежности и безопасности ПС.

Сертификация

Для удостоверения качества, надежности и безопасности применения сложных, критических ИС, используемые в них ПС следует подвергать обязательной сертификации аттестованными, проблемно-ориентированными испытательными лабораториями. Такие испытания необходимо проводить, когда программы управляют сложными процессами или обрабатывают столь важную информацию, что дефекты в них или недостаточное качество могут нанести значительный ущерб. Сертификационные испытания должны устанавливать соответствие комплексов программ документации и допускать их к эксплуатации в пределах изменения параметров внешней среды, исследованных при проведенных проверках. Эти виды испытаний характеризуются наибольшей строгостью и глубиной проверок и должны проводиться специалистами, независимыми от разработчиков и от заказчиков (пользователей). Испытания ПС должны опираться на стандарты, формализованные методики и нормативные документы разных Уровней. Множество видов испытаний целесообразно упорядочивать и проводить поэтапно в процессе разработки для сокращения затрат на завершающих сертификационных испытаниях.

Сертификация комплексов программ является их испытанием в наиболее жестких условиях тестирования особым третейским коллективом специалистов, имеющим право на официальный государственный или ведомственный контроль функций и качества ПС и гарантирующим их соответствие стандартам и другим нормативным документам, а также надежность и безопасность применения. Получение и обобщение результатов испытаний, а также принятие решения о выдаче сертификата является прерогативой испытательных лабораторий. Они должны быть специализированными для проведения испытаний объектов определенных классов и целенаправленно систематически работать по созданию и совершенствованию методик и средств автоматизации испытаний ПС конкретного функционального назначения.

Специалисты - сертификаторы имеют право на расширение условий испытаний и на создание различных критических и стрессовых ситуаций в пределах нормативной документации, при которых должно обеспечиваться заданное качество и надежность решения предписанных задач. Если все испытания проходят успешно, то на соответствующую версию ПС оформляется специальный документ - сертификат соответствия. Этот документ официально подтверждает соответствие стандартам, нормативным и эксплуатационным документам функций и характеристик испытанных средств, а также допустимость их применения в определенной области.

Работы по сертификации объединяются технологический процесс, на каждом этапе которого регистрируются документы, отражающие состояние и качество результатов разработки ПС. В зависимости от характеристик объекта сертификации на ее выполнение выделяются ресурсы различных видов. В результате сложность программ, а также доступные для сертификации ресурсы становятся косвенными критериями или факторами, влияющими на выбор методов испытаний, а также на достигаемое качество и надежность ПС.