Аттестация безотказности

Как уже отмечалось в главе 17, для специфицирования требований безотказности систем разработано множество различных числовых показателей. Чтобы быть уверенным, что система соответствует требованиям, необходимо измерить ее показатели безотказности, учитывая работу типичного пользователя.

Процесс измерения показателей безотказности системы представлен на рис. 21.1; он состоит из четырех этапов.

1. На этапе определения операционного профиля изучаются аналогичные существующие системы. Операционный профиль задает разные классы входных данных системы и вероятность их ввода в нормальных режимах ее работы. Этот этап рассматривается в следующем разделе.

2. Подбирается множество тестовых данных (иногда с помощью генератора тестовых данных), соответствующих операционному профилю.

3. Проводится тестирование системы с подобранными данными и подсчитывается число отказов. Также фиксируется количество повторов этих отказов. Как отмечалось в главе 17, выбранные временные единицы должны подходить для используемых показателей.

4. После получения статистически значимого количества отказов следует этап вычисления показателей безотказности системы.

Рис. 21.1. Процесс измерения показателей безотказности

Данный метод иногда называют статистическим тестированием. Цель статистического тестирования – оценить безотказность системы [284]. Статистическое тестирование противоположно тестированию дефектов, проводимому в целях обнаружения ошибок в системе.

Этот концептуально привлекательный метод измерения безотказности не так прост для применения на практике. Принципиальные трудности возникают по нескольким причинам.

1. Неопределенность операционного профиля. Профили могут неточно отражать реальное использование системы.

2. Высокая стоимость генерации тестовых данных. Если нет возможности автоматической генерации тестовых данных, то создание большого количества тестовых данных занимает много времени.

3. Статистическая неопределенность в случае высокой безотказности. Для точного измерения показателей безотказности необходимо сгенерировать статистически значимое число отказов.

Конечно, разработка точного операционного профиля возможна только для систем, имеющих стандартный шаблон использования. Что касается других систем, то здесь каждый пользователь может обращаться с системой по-своему. Как уже отмечалось в главе 16, разные пользователи могут иметь различные взгляды на безотказность системы именно потому, что они используют разные ее функции и средства.

Не самым лучшим методом генерации большого множества данных, используемого для измерения безотказности, оказывается применение некоторых видов генераторов тестовых данных, которые могут автоматически создавать входные данные, соответствующие операционным профилям. Как правило, невозможно автоматизировать создание всех необходимых тестовых данных для интерактивных систем. Наборы данных для них должны создаваться вручную, а следовательно, с более высокими затратами.

Статистическая неопределенность – одна из основных проблем при измерении безотказности системы. Чтобы оценка показателей безотказности была наиболее точной, недостаточно просто спровоцировать в системе один сбой. Для точной оценки безотказности необходимо сгенерировать статистически значимое количество сбоев. В такой ситуации задача оценивания безотказности сводится в лучшем случае к минимизации количества ошибок в системе, в худшем – к измерению эффективности метода минимизации ошибок. Если в спецификации определен очень высокий уровень безотказности, то, как правило, генерация достаточного количества отказов в системе становится экономически невыгодной.